Чем можно выводить большие тексты? - Поиск компонентов, модулей, плагинов

Здравствуйте!

Сервер Intel Core2 CPU  6600  2.40GHz, 2 Gb RAM

FreeBSD 10, MySQL 5.6., nginx 1.6.2, php56-fpm, Joomla 3, K2 2.6.8

Есть архив документов в текстовом файле вот такого формата.
Около 50000 записей объемом ~3 Гб
Название документа
<Текст названия>
Примечание к документу
<Текст примечания>
Текст документа
<Текст документа>

Название документа
Федеральный закон от 21.11.2011 N 323-ФЗ
(ред. от 22.10.2014)
"Об основах охраны здоровья граждан в Российской Федерации"
Примечание к документу
О вступлении в силу отдельных положений см. статью 101 данного документа.
Текст документа

21 ноября 2011 года N 323-ФЗ

------------------------------------------------------------------

РОССИЙСКАЯ ФЕДЕРАЦИЯ

ФЕДЕРАЛЬНЫЙ ЗАКОН
....
здесь текст на несколько (иногда десятков) страниц

Текст загружен в такую таблицу.

CREATE TABLE IF NOT EXISTS `articles` (
  `name` mediumtext,
  `body` mediumtext,
  `comments` text
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
Всего около 50000 записей.

Нужно, чтобы выводилось скажем 5-10 последних добавленных документов с вводным текстом и ссылкой "Далее" на полный текст документа и пагинацией.
Как это можно организовать?

Посоветовали ознакомится с поисковой системой sphinx
Есть компонент http://www.ivinco.com/software/joomla-sphinx-search-component-tutorial/ , но он заточен под стандартные материалы Joomla, боюсь сервер не выдержит, если попытаться в БД Joomla, т.к. в k2 уже 33000 новостей на ~350 мб.

Подскажите пожалуйста, как можно все это оптимизировать для создания поиска на по базе сайте? Индексы как-то создавать? Формат таблицы может быть поменять?

Вопрос то в чем?

Я так понимаю, надо компонент написать.

была та же проблема.
около 10 000 документов в Wordе, при этом при копипасте из Wordа в Joomla вставлялось куча мусора.
задачу решил, правда несколько оригинальным и не оч эффективным способом, но это лучше чем ничего:

при помощи программы uopilot записал макрос, путем нажатие кнопок на клавиатуре, типа
стрелка вниз, энтер, ctrl+a, ctrl+c, alt+tab (в окно дримвивера, чтоб код очистился), ctrl+v, снова ctrl+a, ctrl+c, alt+tab (окно добавления материала Joomla), ctrl+v, опять альтаб, скопировать название файла (его номер и дата) и вставить в заголовок материала.

ну как-то так, суть думаю ясна, можно и мышкой, но мышка иногда чето глючит бывает + на клавиатуре быстрее идет процесс.

Оригинально. Спасибо за наводку, попробую программку, может пригодится для другой нудной задачи.
А по поводу этой, как ты это циклически делал? Ведь нужно записать 1 раз, а потом указать повторить это 10000 раз.

Magi
Еще раз давайте
Где хранятся данные (файлы, бд)?
В каком формате (plain text или аля xml)?
Я пока не очень понимаю где что вы храните, потому не могу дать советов

Виноват, недочитал до конца
Вижу таблицу

1 - нужно добавить индексы, если по этой таблице идет поиск
2 - можно вынести блок dody в текстовый файл и подгружать по необходимости, база будет легче, поиска нет
3 - полнотекстовый индекс по ячейке боди не поможет, если там много мегабайт

С момента написания первого сообщения кое-что изменилось. Знакомый написал конвертор на питоне, который отпарсил текстовые файлы и загрузил их в com_content. Т.е. name - стал title, body - fulltext, comments - introtext.
Всего было 11 больших текстовых файлов объемом 2 ГБ с документами (БД по законодательству, могу поделится, если кого-то интересует - способ универсальный), которые загружены в 11 подкатегорий в Joomla. Теперь основная проблема - организация поиска в этом массиве, т.к. стандартный не справляется - очень долго ищет, затем nginx выдает ошибку по таймауту.
Хочу использовать поисковый движок Sphinx, но пока безуспешно.
Проблему описал тут http://joomlaforum.ru/index.php/topic,305256.msg1514968.html#msg1514968

И еще один момент скрипт парсинга не учитывает форматирование текста - поэтому на сайте все выглядит сплошным текстом, что трудночитаемо и тут или нужна помощь сообщества для доработки парсера с учетом форматирования текста или приходится обращаться к вышеприведенному примеру с uopilot.

И еще один момент скрипт парсинга не учитывает форматирование текста - поэтому на сайте все выглядит сплошным текстом, что трудночитаемо и тут или нужна помощь сообщества для доработки парсера с учетом форматирования текста или приходится обращаться к вышеприведенному примеру с uopilot.

Это уже после конвертера от знакомого? Можно увидеть кусок текста в бд, что на фронте не отображается форматированием?

Всего было 11 больших текстовых файлов объемом 2 ГБ с документами, которые загружены в 11 подкатегорий в Joomla.

Сколько теперь материалов в этих категориях и какого они объема (всего и каждый)?

Это уже после конвертера от знакомого? Можно увидеть кусок текста в бд, что на фронте не отображается форматированием?
Сколько теперь материалов в этих категориях и какого они объема (всего и каждый)?

Посмотрел в базу через phpMyAdmin. В поле fulltext нормально.

"ПРАВИТЕЛЬСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ

ПОСТАНОВЛЕНИЕ
от 2 августа 2014 г. N 766

О ПОДГОТОВКЕ И ПРЕДСТАВЛЕНИИ
ПАЛАТАМ ФЕДЕРАЛЬНОГО СОБРАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
ГОСУДАРСТВЕННОГО ДОКЛАДА О РЕАЛИЗАЦИИ ГОСУДАРСТВЕННОЙ
ПОЛИТИКИ В СФЕРЕ ОХРАНЫ ЗДОРОВЬЯ
...."

Но на сайте текст сплошняком (другой документ):
"ПРАВИТЕЛЬСТВО МОСКВЫ КОМИТЕТ ЗДРАВООХРАНЕНИЯ ПРИКАЗ 8 сентября 1997 г. N 483 О МЕРАХ ПО РЕАЛИЗАЦИИ СОГЛАШЕНИЙ О СОТРУДНИЧЕСТВЕ В ОБЛАСТИ ЗДРАВООХРАНЕНИЯ МЕЖДУ МИНИСТЕРСТВОМ ЗДРАВООХРАНЕНИЯ АЗЕРБАЙДЖАНСКОЙ РЕСПУБЛИКИ, ГЛАВНЫМ УПРАВЛЕНИЕМ ЗДРАВООХРАНЕНИЯ БАКУ И КОМИТЕТОМ ЗДРАВООХРАНЕНИЯ Г. МОСКВЫ Во исполнение Распоряжения Мэра Москвы Ю.М.Лужкова N 645-РМ от 20.08.97 г. "Об обеспечении выполнения Соглашений между Правительством Москвы и Правительством Азербайджанской Республики, Исполнительной властью г. Баку", 1. Объявляю: 1.1. Соглашения о сотрудничестве в области здравоохранения между Министерством здравоохранения Азербайджанской Республики, Главным управлением здравоохранения г. Баку и Комитетом здравоохранения г. Москвы (приложения N 1 и 2 к настоящему приказу); 2. ПРИКАЗЫВАЮ: "

69919 документов в utf-8, общий объем 3,3 Гб

69919 документов в utf-8, общий объем 3,3 Гб

Оно ж жутко тормозить будет если через стандартный com_content выводить.
Вот тестил.

а средний объем одного документа?
Как вообще сайт ворочается при таких объемах контента? Хостинг виртуальный обычный?

Применить полнотекстовый индекс пробовали? http://habrahabr.ru/post/40218/

В общем задачка интересная, если есть возможно сделать резервную копию для текстов и экспериментов я бы поковырялся

Вот тестил.

Там ни слова про параметры сервера, на виртуалке будет тупить, под такие объемы нужен хотя бы вдс, вот там и сравнивать

Сейчас в личку расскажу.
 

Сейчас в личку расскажу.
 

Это voland на моей старой базе тестил!

Там ни слова про параметры сервера, на виртуалке будет тупить, под такие объемы нужен хотя бы вдс, вот там и сравнивать

Как это ни слова?

тесты выполнялись на VDS 2000Мгц\2Гб ненагруженном

, винт был обычный, не SSD, сама ВДСка без оверселла, от ihc