Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 21 Ответов
  • 12994 Просмотров
*

-L-

  • Осваиваюсь на форуме
  • 31
  • 1 / 0
Полтора месяца назад перешел на Joomla. До этого был обычный html.
Google индексирует идеально без вопросов. Ему отдан xml сайтмап
Яндекс индексирует лишь главную страницу сайта.
Более того дал через форму добавления url  html версию сайтмапа он ее проглотил, но опять же дальше нее не идет
Нужна помощь. >:(
мой robots.txt
Код
User-agent: *
Disallow: /index2.php?
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Host: www.saveicq.ru

на каждой странице:
Код
<meta name="robots" content="index, follow" />

+1 помогите, такая же беда
а ещё в панеле вебмастеряндекс, внутренних ссылок-0
« Последнее редактирование: 06.03.2008, 19:23:05 от diesel111 »

помогите решить проблему

Google индексирует идеально без вопросов. Ему отдан xml сайтмап
Яндекс индексирует лишь главную страницу сайта.

Вот мой файл. Пропуски оставил специально - это то что я выкинул.
Яша проиндексировал все страницы и сайт на первых местах в поиске.
По картинкам тоже.
Еще добавьте RSS в Яшу и Гугл.

User-agent: *
Disallow: /administrator/
Disallow: /cache/

Disallow: /editor/
Disallow: /help/


Disallow: /language/

Disallow: /media/

Disallow: /templates/
Disallow: /installation/
*

rustik23

  • Осваиваюсь на форуме
  • 43
  • 4 / 1
  • http://ybr125parts.ru
Незнаю как у вас!
но у меня стоит джустина + artio sef + JAaccelerator + xmap
1.Меню на верху (много кровневое)
2.справа просто, со всеми ссылками
3.в самом низу, 3-4сылки...главная, ...., ....., карта сайта
*

tazhudin

  • Захожу иногда
  • 57
  • 0 / 0
Не подскажите, кому -нибудь помогло, как написал sarportal?самое интересное, что я перешел на движок Joomla еще полтора месяца назад. В поиске выдает только главную и описание сайта. Также в поиске нормально индексируется форум и галерея. А сайт пока никак
*

-L-

  • Осваиваюсь на форуме
  • 31
  • 1 / 0
Вышеописанный способ помог!
*

urik

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
У меня та же ситуация, проиндексировалась только главная страница. Сайту уже 3 мес. Гугл кушает отлично.

Вот что мне пишет яндекс по поводу моего робот.тхт:
Запрещающие правила:

/administrator/
/cache/
/components/
/editor/
/help/
/images/
/includes/
/language/
/mambots/
/media/
/modules/
/templates/
/installation/


*

urik

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Сделал как рекомендовал sarportal.
Позже обязательно отпишусь.
*

urik

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Ну вот, сделал. Теперь выдает следующее:

Запрещающие правила:

/administrator/
/cache/

КТо подскажет, надо эти две строчки убивать?
Вот ссылка по которой проверял
_http://yandex.ru/cgi-bin/test-robots?host=http%3A%2F%2Fautohome.com.ua
*

urik

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Нашел ответ на все вопросы:
Оказуется Joomla по умолчанию робот.тхт создает в таком виде, что робот для робота яндекса все разделы запрещены. А мы просто выкидуем нужные разделы из запрещенных и все.


ВОт как это трактует яндекс:
Я не хочу, чтобы робот Яндекса посещал определённый раздел моего сайта. Что нужно для этого сделать?

Чтобы прекратить индексирование раздела сайта, запретите его в файле robots.txt. Для этого укажите
User-agent: *
Disallow: /раздел/

При следующем обращении к сайту робот «прочитает» указание и вскоре удалит указанный раздел.


Всем успехов.
*

Yakuza

  • Осваиваюсь на форуме
  • 29
  • 0 / 0
Что это за ерунда ? Зачем разрешать индексировать каталоги Joomla ?  Если с главной страницы можно по ссылкам добраться до любой страницы сайта - то рано или поздно они окажутся в яндексе. Исключения могут составить лишь хитро написанные ссылки на яве или на флеше, их может яндекс просто не понять. Верните запреты обратно! Не зря создали их. Для поисковика должен быть доступен лишь index.php. Ну если не жалко - каталог с картинками.
*

Yakuza

  • Осваиваюсь на форуме
  • 29
  • 0 / 0
Ну вот, сделал. Теперь выдает следующее:

Запрещающие правила:

/administrator/
/cache/

КТо подскажет, надо эти две строчки убивать?
Вот ссылка по которой проверял
_http://yandex.ru/cgi-bin/test-robots?host=http%3A%2F%2Fautohome.com.ua

Да вы хоть обудаляйтесь... Весь сайт набит стыренными с других сайтов новостями, слово в слово. Даже в форуме не лень было вывешивать сообщения с других досок ! Яндекс не любит плагиаторов.
*

urik

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Да плагиат, и могу в этом признаться, а рассчитывать на уникальность, а тем более на "непохожесть" проекта на других я не планировал. А кто из вас может признаться что с самого начала его проект был уникален?
С таким подходом как Ваш, интернет бы свелся по 1-му проекту по каждой тематике.

З.Ы. Зачем изобретать велосипед, если его уже изобрели?
*

Yakuza

  • Осваиваюсь на форуме
  • 29
  • 0 / 0
Так какие же вы претензии предъявляете к яндексу, гуглу и, тем более, Joomla ? Зачем поисковикам тратить время и средства на индексирование того, что и так уже есть в базе ? Почитайте инфу для вебмастеров от гугла и яндекса, там вкратце описано, КАК и ЧТО они индексируют, читайте между строк, где явно написано - "мы приветствуем контент уникальный, полезный для пользователя". Там не зря программеры свой хлеб едят, алгоритмы поиска теперь очень сильно отличаются от простого внесения в базу всех встречающихся слов на сайте.

Я могу, кстати, похвастаться, что мой проект, начиная с 1999 года, являлся всегда уникальным. Новости я не тырю, а сам пишу на основе прочитанных мною сведений в других источниках,  и переведенных импортных.
« Последнее редактирование: 23.05.2008, 10:53:21 от Yakuza »
*

urik

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Гугл мой сайт полюбил с первого дня его существования. По многим словам я в первых позициях.

А на счет уникальности контента, то я к этому прийду немного позже. Уже по немногу действую как и Вы, есть пару статей на основе других новостей, а так же есть несколько статей уникальных.
*

tazhudin

  • Захожу иногда
  • 57
  • 0 / 0
А может ли такое редактирование файла робот.тхт привести к замедленной работе сайта?просто часто стали не открываться страницы...
*

Yakuza

  • Осваиваюсь на форуме
  • 29
  • 0 / 0
Нет, роботс не имеет никакого влияния на работу броузера. Скорее всего, проблема с хостингом.
*

urik

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Люди, помогите кто чем может, описанный выше метод не помог.
То что контент не уникален не может повлиять на то что яндекс вообще не индексит сайт?
*

чикаго

  • Захожу иногда
  • 144
  • 12 / 1
Имея в штате двух переводчиков можно неплохо насытить сайт информацией. Знаю по крайней мере два крупных портала. которые именно так наполняют сайты.

Проще работать командой нежели одному, с разграничением обязанностей по наполнению. ...Одиночкой работать всегда сложно и в 85% случаев проект обречён на провал.

*Люди, помогите кто чем может, описанный выше метод не помог.
То что контент не уникален не может повлиять на то что яндекс вообще не индексит сайт?* - Тут время лучший помощник. Так что наберись терпения и Жди не опуская рук в саморазвитии.
*

zalipp

  • Новичок
  • 9
  • 1 / 0
У меня другая проблема.. В индексе страниц примерно 200. Много повторных. Страницы с материалом pdf  и так далее. Иконки все я отключил, в роботсе прописал запрет на ненужные страницы! Из индекса пока ничего не уходит... Со временем переиндексирует или нет??
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Google не индексирует страницы через ajax ссылки

Автор illimited

Ответов: 0
Просмотров: 1425
Последний ответ 31.03.2022, 23:53:05
от illimited
Закрыть страницу со знаком? от индексации

Автор Андрей Нестеров

Ответов: 2
Просмотров: 1418
Последний ответ 28.02.2022, 22:38:44
от Андрей Нестеров
Убрать из URL GET-параметр и сделать редирект на главную

Автор zeus07

Ответов: 8
Просмотров: 1086
Последний ответ 19.11.2021, 13:10:41
от zeus07
Яндекс и его роботы

Автор Захар

Ответов: 2
Просмотров: 857
Последний ответ 22.10.2021, 09:52:59
от Захар
Оригинальные тексты на только стартующем сайте

Автор AlexP750

Ответов: 2
Просмотров: 1260
Последний ответ 25.07.2021, 13:25:57
от AlexP750