Решение проблемы с дублями страниц в Joomla 1.5 - SEF (ЧПУ)

Здравствуйте.

В данной теме я решил поделиться своими наработками по Joomla 1.5. Может кому-то пригодятся.


Недавно в процессе поискового продвижения сайта на Joomla 1.5 столкнулся с одной весьма серьезной проблемой встроенного механизма ЧПУ (SEF).

Суть проблемы заключается в том, что в Joomla одна и та же страница site.ru/news/tech/1-news.html, например, может быть доступна по очень многим адресам:

site.ru/index.php?option=com_content&view=article&id=22
site.ru/news/tech/1.html/
site.ru/news/2-tech/1-news.html
site.ru/1-news/2-tech/1dsfsdkgjdfgklhfdgjf
site.ru/home/1.html
site.ru/component/content/frontpage....

Проблема весьма серьезная. Аналогично и с категориями, с site.ru/, site.ru/index.php, с разделами и так далее.

Проблема, как видите, серьезная.

Особого желания играться с редиректами в htaccess у меня не было, robots.txt тоже не вариант. Ну закрою я в robots.txt site.ru/index.php, ну а что делать с вариантами вроде site.ru/news/2-tech/1-news.htgjfhgsldfjkgd ?

Как частичное решение ситуации можно было бы рассмотреть sh404SEF, но опять же. Это стороннее решение, оно все же снижает производительность и стабильность работы системы в целом, ИМХО.

Вот и стал я искать выход. Решение оказалось очень простым: нужно при генерации страницы раздела, категории, статьи, главной страницы сравнивать адрес в запросе с вычисленным адресом страницы в системе. Вычисляется он на основе расположения страницы в меню, на основании псеводонимов (alias), идентификаторов, а также на основании раздела/категории. Для одной страницы существует лишь один так называемый системный адрес. Он используется по-умолчанию при генерации ссылок в системе.

Если адрес в запросе не совпадает с системным адресом страницы, то движок с помощью 301 редиректа перебросит пользователя или поискового бота на нужную страницу. Таким вот образом дубли страниц оперативно склеиваются поисковиками по 301 редиректу.

Для лучшей совместимости эту проверку я вынес в код шаблона. Да, это прямое нарушение концепции MVC, но это все же лучше чем правка системных файлов ручками при каждом обновлении. Если кому-то решение не понравится - можете аналогичным образом поправить контроллер com_content.

Данный модуль был протестирован на Joomla 1.5.22 со стандартным ЧПУ и com_content. Данный модуль должен заработать и на 1.6.


Ссылки на код модуля с подробным описанием и установкой: скачать / скачать.

Большая человеческая просьба не перезаливать архивы на другие файлообменники и не публиковать код с описанием на других страницах без моего разрешения. Просто кидаете ссылки на архивы. Отнеситесь к этому с пониманием.

Ссылки нерабочие(((

исправил

А зачем два одинаковых файла? И это не модуль, это правка кода...  К тому же голый код в пдф засовывать... Ну, не знаю, проще было бы в txt формате дать.

А зачем два одинаковых файла? И это не модуль, это правка кода...  К тому же голый код в пдф засовывать... Ну, не знаю, проще было бы в txt формате дать.

Одна ссылка запасная, вторая резервная. В PDF текст выделять и копировать можно

проверил, работает! даже в паре с HPRouter.
Автору респектос!
давно меня бесила эта тема и странно, что за столько лет никто не решил ее. А нет варианта, чтобы на 404 перебрасывала, а не на страницы?

Можно и с 404 ошибкой.

Для этого нужно в модуле для статьи, например,

if ($this->article->readmore_link != JRequest::getURI()) JApplication::redirect($this->article->readmore_link);

заменить на

if ($this->article->readmore_link != JRequest::getURI()) {
header("HTTP/1.0 404 Not Found");
header('Location: /');
die();
}

Будет сгенерирована 404 ошибка с редиректом на главную. Аналогично делается и для других шаблонов.

доволен как удав
Спасибо.

Спасибо большое за данное решение, но есть проблема. Пожалуйста, подскажи что и где нужно дописать чтобы от него избавиться.

Страницы вида
http://www.сайт.ru/раздел/категория
так и остаются в  виде
http://www.сайт.ru/раздел/категория
а нужно
http://www.сайт.ru/раздел/категория.html
Как это сделать?

Время от времени Яндекс индексирует некоторые страницы с расширением htm вместо HTML. Иногда редирекчу 301м, но через какое-то время вылезают другие, тоже htm. Что за бред, никак не пойму...

А у меня еще появилась индексе страница http://ввв.сайт.ru/2011-01-06-08-52-31.html, которая по содержимому является копией главной. Что за бред? Из какого она компонента? И как ее удалить не ясно. Может кто подскажет?

Время от времени Яндекс индексирует некоторые страницы с расширением htm вместо HTML. Иногда редирекчу 301м, но через какое-то время вылезают другие, тоже htm. Что за бред, никак не пойму...

Действительно, данный глюк тоже замечал((

Спасибо большое за данное решение, но есть проблема. Пожалуйста, подскажи что и где нужно дописать чтобы от него избавиться.

Страницы вида
http://www.сайт.ru/раздел/категория
так и остаются в  виде
http://www.сайт.ru/раздел/категория
а нужно
http://www.сайт.ru/раздел/категория.html
Как это сделать?

В настройках ЧПУ расширение HTML указано?

А у меня еще появилась индексе страница http://ввв.сайт.ru/2011-01-06-08-52-31.html, которая по содержимому является копией главной. Что за бред? Из какого она компонента? И как ее удалить не ясно. Может кто подскажет?

Пропишите для той страницы псевдоним.

после такого хака главная будет иметь адрес http://site.ru/glavnaya , тоесть просто http://site.ru всегда будет переадресовываться на http://site.ru/glavnaya.. неуверен что это хорошее решение. отныне адреса http://site.ru просто небудет существовать в индексе.

сорри - затупил. хорошее решение - тестим.

В настройках ЧПУ расширение HTML указано?

Да. но уже убрал суффиксы. Получается та же страница доступна по адресам:
http://www.сайт.ru/раздел/категория
и
http://www.сайт.ru/раздел/категория/

 

у меня почему-то не работает((
после добавления кода в файлы - появляется белый экран (я понимаю проблемы с php)
после удаления добавленного куска всё работает

Отличное решение. На скорую руку поганял - работает. +
В закладки однозначно

люди, подскажите как можно установить? Не получается, выскакивает белый экран и всё...

люди, подскажите как можно установить? Не получается, выскакивает белый экран и всё...

Если вы просто копируете с файла, там перенос строки получается на -
>
А нужно так ->

Огромнейшая благодарность автору за единственное достойное пока решение по склейке дублей)))  и Efanych за быстрый отклик и помощь в настройке. +

Столкнулся с проблемой, у меня один сайт заканчивается на /
Соответственно в .htaccess прописано:
RewriteCond %{REQUEST_URI} (.*/[^/.]+)($|\?)
RewriteRule .* %1/ [R=301,L]

И если добавить предложенный код в article  (<?php defined('_JEXEC') or die('Restricted access');
if ($this->article->readmore_link != JRequest::getURI()) JApplication::redirect($this->article->readmore_link);
?> )  то получаю бесконечное перенаправление.
Если это правило закоментирую то все нормально перенаправляется, но сайт уже проиндексирован с /
Подскажите кто может, как вылечить?

А на Joomla 1.6 данные изменения работают?

Подскажите кто может, как вылечить?

Добавляем . '/' в условие по сравнению ссылок

<?php defined('_JEXEC') or die('Restricted access');
if ($this->article->readmore_link . '/' != JRequest::getURI()) JApplication::redirect($this->article->readmore_link);
?>

Может заработает.

А на Joomla 1.6 данные изменения работают?

По идее должны.

TwistedAndy

Спасибо огромное. Работает.

А на Joomla 1.6 данные изменения работают?

В /templates/название_вашего_шаблона/html/com_content/article/default.php после
добавляем
И все...
В категориях и так редиректит на 404, т.е. достаточно только этой строчки чтобы склеить сразу все дубли. В чем подвох ?

TwistedAndy
Как через php сделать, чтобы страницы, заканчивающиеся на "/" и на ".html" выдавали 404? Чтобы при этом не пострадали страницы находящиеся на следующем уровне

не работает.
Joomla 1.5.21
Сделал все как указано в прикрепленном файле, при переносе кусков кода следил, чтобы не было неправильных переносов строк.
Главная страница открывается, но ни одна ссылка не работает везде пишет "бесконечное перенаправление".

везде пишет "бесконечное перенаправление".

А SEF включён?

А SEF включён?

да, включен стандартный джумловский.

TwistedAndy
Как через php сделать, чтобы страницы, заканчивающиеся на "/" и на ".html" выдавали 404? Чтобы при этом не пострадали страницы находящиеся на следующем уровне

На уровне htaccess делайте

не работает.
Joomla 1.5.21
Сделал все как указано в прикрепленном файле, при переносе кусков кода следил, чтобы не было неправильных переносов строк.
Главная страница открывается, но ни одна ссылка не работает везде пишет "бесконечное перенаправление".

Значит проверяйте ваш htaccess и почему происходит перенаправление.