Всем привет.
Столкнулся с такой ситуацией, что многие не знают об этих параметрах, а самое главное и них не знают или не хотят реализовывать разработчики Joomla и в частности Joostina.
Давайте разберемся, что это за заголовки и силами сообщества попробуем допилить Joomla и Joostina, так как я сам поковырялся, но сделать не смог.
Как ведут себя Поисковики.Как часто поисковики индексируют ваш сайт? Зависит от многих факторов, но что Яндекс, что Google всегда имеет какой-то лимит загруженных за раз страниц с вашего сайта. У Google это от 10 до 150-200, у Яндекса и того меньше. Я думаю, что лимит устанавливается для каждого сайта свой и берется в каком - то процентном соотношении от общего числа страниц. Теперь допустим, что поисковик за раз индексирует 20 ваших страниц. Допустим вы создали 5 новых страниц и передали поисковику карту сайта, а также внесли изменения в 5 других страниц. Поисковик кончено сходит по новым 5 - ти страницам, а что делать с остальными? Далее он поступает практически рандомно и посетит еще 15 страниц сайта и совершенно не обязательно, что он попадет на страницы с изменениями, так как он об изменениях то ничего не знает. Таким образом переиндексация измененных страниц затягивается случайным образом.
Вся проблемы в заголовке ответа сервера last-modified, который у большинства сайтов он либо вообще отсутствует, либо ставится текущая дата. Если стоит дата текущая, или даже дата в будущем, то поисковик на второй или третий раз не заметив изменений перестанет обращать на этот заголовок внимание. Этот заголовок должен быть добросовестно заполнен.
Допустим в заголовке ответа last-modified у нас стоит добросовестная дата, тогда поисковик сравнив дату своего индекса и поняв, что изменений не было пропустит эту страницу и перейдет к следующей рандомной. На самом деле даже загрузки страницы не произойдет. Боты используют заголовок if-modified-since, а сервер должен ответить 304 на это и заткнуться, ничего не передав. В общим другими словами, если last-modified работает правильно, то в окошко индексирования (20 страниц) можно за раз запихать как можно больше страниц с изменениями, быстрее получить результат продвижения, снизить нагрузку на свой сервер (в ответ только заголовки), облегчит работу боту.
Про это свободно говорит сам Яндекс:
Насколько критично, что мой сервер не выдает last-modified? Я пытался настроить этот параметр, но ничего не вышло.
Даже если сервер не выдает дату последней модификации документа (last-modified), ваш сайт будет проиндексирован. Однако в этом случае следует учитывать следующее:
в результатах поиска не будет показываться дата рядом со страницами вашего сайта;
при сортировке по дате сайт не будет виден большинству пользователей;
робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. А так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.
Теперь про if-modified-since.
Сейчас боты добавляют к своем запросу последней строчкой вот такую конструкцию:
GET / HTTP/1.1
Host:
www.site.ru...
...
Cache-Control: max-age=0
if-modified-since: #дата страницы в индексе#
И надеется, что сервер им отдаст правильный ответ. То есть если страница с того момента изменилась - получают ее, если нет, то выдается 304 и все дела.
Если на сервере реализован last-modified, то обработку if-modified-since сделать очень просто.
Яндекс также серьезно обращает на это внимание:
Следите за корректностью http-заголовков. В частности, важно, содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа.
Как помочь роботу быстрее индексировать сайт
Чтобы ускорить появление страниц сайта в поиске, воспользуйтесь нашими рекомендациями — во-первых, исключите из индексирования ненужную информацию, во-вторых, сообщайте роботу о новых страницах. Для этого:
.....
настройте сервер на выдачу корректных заголовков ответов (например, если страница не существует, выдавать ошибку 404, а если поступил запрос If-Modified-Since, то выдавать код 304, если страница с указанной в запросе даты не изменялась).
Проблема.Почему то не Joomla 1.5 ни 1.7 не отправляют и не обрабатывают этих заголовков, а также Joostina, которая меня интересует. В Joostine даже есть файл page.php и соответствующий класс, где эти заголовки обрабатываются, но в моей (1.3) версии не используется никак вообще по - моему.
А эти два заголовка действительно важная вещь. Если у вас на сайте больше 1000 страниц, то боту отыскать страницу с изменениями, достаточно сложно, что затягивает скорость индексации.
Давайте допили Joomla и Joostina и сделаем эти проекты более SEO привлекательными. Ведь делов то не много... нужны хорошие руки.
Заранее, спасибо.
UPD:Решение для Joomla 2.5Решение для Joomla 1.5Плагин для J2.5 
24.11.2023, 10:24:11