Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 13 Ответов
  • 8522 Просмотров
*

snikolai

  • Захожу иногда
  • 221
  • 20 / 0
Файл robots.txt , который идет с Joomla имеет вид:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Нужно ли туда добавить :
Disallow: /index.php?option=com_content

или
Disallow: /index.php?*

Если в общих настройках сайта включена поддержка SEO, то получается, что на один и тот же материал есть две разные ссылки.

К примеру:
http://имя.сайта/раздел/2-категория/9-альяс-статьи
и
http://имя.сайта/index.php?option=com_content&view=article&id=9&catid=2&Itemid=3

Так же есть повторяющиеся ссылки вида:
http://имя.сайта/раздел/2/3

Так понимаю их тоже нужно запретить...
Тогда еще вопрос как запретить такие ссылки?
« Последнее редактирование: 02.07.2009, 12:23:54 от snikolai »

Re: Что запретить в файле robots.txt
« Ответ #1 : 02.07.2009, 15:35:20 »
Disallow: /index.php?* - могу ошибаться, но таким образом Вы запретите индексацию практически всего сайта.
анализатор файла роботс.тхт от Яндекса:
http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml
правила составления:
http://help.yandex.ru/webmaster/?id=996567
*

snikolai

  • Захожу иногда
  • 221
  • 20 / 0
Re: Что запретить в файле robots.txt
« Ответ #2 : 02.07.2009, 19:20:56 »
Нет, анализатор файла роботс.тхт пропускает SEF ссылки при Disallow: /index.php?*
*

snikolai

  • Захожу иногда
  • 221
  • 20 / 0
Re: Что запретить в файле robots.txt
« Ответ #3 : 03.07.2009, 12:01:08 »
Как запретить индексацию не SEF ссылок понятно.
А вот как запретить индексацию ссылок вида :
http://имя.сайта/раздел/2/3

оставить для индексации только http://имя.сайта/раздел/2-альяс-категории/9-альяс-статьи
*

Maksimcase

  • Осваиваюсь на форуме
  • 20
  • 0 / 2
Re: Что запретить в файле robots.txt
« Ответ #4 : 06.09.2009, 15:52:27 »
Меня тоже интересует вопрос как запретить индексацию SEF ссылок, вот пример:
 sh404SEF создает ЧПУ ссылки вида  http://www.k-volt.ru/view-document-details........., я не хочу, чтобы роботы индексировали эти страницы, если я напишу так  Disallow: /view-document-details*, роботы оставят в покое или нет эти страницы?
*

faraon_x

  • Захожу иногда
  • 362
  • 27 / 1
  • Чем смогу, тем помогу )))
Re: Что запретить в файле robots.txt
« Ответ #5 : 07.09.2009, 13:47:01 »
http://www.k-volt.ru/view-document-details........., я не хочу, чтобы роботы индексировали эти страницы, если я напишу так  Disallow: /view-document-details*, роботы оставят в покое или нет эти страницы?
Приведите пример полного адреса одной страницы, которые хотите закрыть от ПС.
Если это для docman, то закроете.
« Последнее редактирование: 07.09.2009, 13:50:05 от faraon_x »
Вопросы по JFORMS, можно ещё попробовать задать здесь
Российский 3d сканер от разработчиков и производителей
*

fenixv

  • Осваиваюсь на форуме
  • 16
  • 0 / 0
  • Интересует ВСЕ!
Re: Что запретить в файле robots.txt
« Ответ #6 : 12.11.2009, 12:09:14 »
Подскажите,
вот содержание файла robots.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /script/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: script.php

Не перегнул ли я палку, запрещая к индексации script и script.php? И обязательно ли запретить индексирование images?

*

romans13

  • Захожу иногда
  • 122
  • 4 / 0
  • Присоединяюсь к вышеВЫсказанному
Re: Что запретить в файле robots.txt
« Ответ #7 : 19.11.2009, 01:33:34 »
Кстати, нужно ли запрещать

Disallow: /index2.php/
Disallow: /index2.php?
Disallow: /index.php/
Disallow: /index.php?
Disallow: /component/

спасибо
*

monah46

  • Захожу иногда
  • 87
  • 0 / 1
Re: Что запретить в файле robots.txt
« Ответ #8 : 26.11.2009, 14:27:34 »
Есть еще проблемка...
Joomla автоматически создает копию материалов для печати и в формате PDF - их тоже надо запретить индексировать!
может кто подскажет?
*

monah46

  • Захожу иногда
  • 87
  • 0 / 1
Re: Что запретить в файле robots.txt
« Ответ #9 : 26.11.2009, 17:41:42 »
Нет, анализатор файла роботс.тхт пропускает SEF ссылки при Disallow: /index.php?*

это точно? Вы проверяли?
*

Joober

  • Осваиваюсь на форуме
  • 18
  • 0 / 0
Re: Что запретить в файле robots.txt
« Ответ #10 : 25.07.2010, 02:18:52 »
Цитировать
http://имя.сайта/раздел/2-категория/9-альяс-статьи
и
http://имя.сайта/index.php?option=com_content&view=article&id=9&catid=2&Itemid=3

Так же есть повторяющиеся ссылки вида:
http://имя.сайта/раздел/2/3

Ну может кто-нибудь вынести вердикт:

можно ли запретить индексацию страниц типа
Цитировать
http://имя.сайта/index.php?option=com_content&view=article&id=9&catid=2&Itemid=3
таким образом:

Disallow: /index.php?*
или
Disallow: /index.php?option=com_content


и можно ли запретить индексацию страниц типа
Цитировать
http://имя.сайта/раздел/2/3
*

Solvedor

  • Захожу иногда
  • 376
  • 33 / 0
  • Масенький Йожик
Re: Что запретить в файле robots.txt
« Ответ #11 : 30.07.2010, 13:45:47 »
index.php запрещать надо обязательно, поскольку в противном случае поисковики создадут дубликат главной страницы как мойсайт.ru и мойсайт.ru/index.php
*

Joober

  • Осваиваюсь на форуме
  • 18
  • 0 / 0
*

Geks

  • Осваиваюсь на форуме
  • 35
  • 1 / 0
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Роботу Googlebot заблокирован доступ в файле robots.txt

Автор illimited

Ответов: 3
Просмотров: 4063
Последний ответ 29.05.2022, 14:57:55
от web1
Правильный robots.txt? [вопросы/обсуждение]

Автор wishlight

Ответов: 447
Просмотров: 210059
Последний ответ 20.11.2021, 16:53:49
от Byzi
Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 1251
Последний ответ 25.07.2021, 21:38:12
от web1
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 1235
Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 1126
Последний ответ 10.07.2020, 13:12:46
от HolySong