Появились дубли после обновления Joomla! 3.9.8 Stable - Joomla 3.x: Общие вопросы

Перешел на версию Joomla! 3.9.8 Stable - через неделю в вебмастере Яндекс стали появляться дубли материалов с корнем из категорий, т.е. http://www.site/yes-category/sitepage-1.html, при этом являясь дублем http://www.site/sitepage-1.html. Далее заметил, но не могу понять как такое возможно и откуда растут ноги, в индексе появилась страница такого плана:  http://www.site/sitepage-1.htmlремнь привода -  причем она является дублем http://www.site/sitepage-1.html - что за бред и как бороться? Страница доступна и проиндексирована. Никаких сторонних SEF плагинов не использую.

Еще появились и проиндексировались страницы: http://www.site/yes-category.html - в которые, каким-то образом записалось несколько страниц из различных материалов

В настройках материалов включен современный роутер ?

Нет...я так понимаю нужно включить Маршрутизация URL-современная и добавить - удалить Идентификаторы из url?

Тогда что с категориями которые вылезли как дубли делать?

Спасибо, категории теперь отдают 404  ответ, те выйдут из индекса. А вот...с припиской не удалось побороться. Те я вообще не могу понять откуда эти страницы появляются и как они генерируются и почему вообще индексируются. Еще раз, в Вебмастере есть дубли страниц такого плана:
http://site.ru/page.html%20%20покрышка%20на%20основе%20резки

Их несколько - но они висят в индексе, я даже не знаю как сделать редирект в .htaccess - так там кирилица в адресе. В robots если закрыть, то наверно не спасет, он дубль все равно будет лезть в индекс и выпадать периодически

Фильтр есть на сайте ? Задайте вопрос Платону .

Нет, фильтров нет. Спрошу , спасибо

Собственно платон ответил:

роботу стало известно из обхода по счетчикам Метрики, то есть, после ее посещения пользователями. Откуда же пользователям могли стать известны такие ссылки, мы сказать затрудняемся.

Если вы не хотите, чтобы робот обращался к этим страницам, вы можете запретить их индексирование в файле robots.txt. В этом случае робот будет знать, что индексировать их не нужно, и не будет к ним обращаться, в течение двух недель такие страницы будут исключены из по иска. А если на страницы не ведут внешние ссылки, со временем информация о них будет удалена из Яндекс.Вебмастера.


Может кто-нибудь подскажет, каким образом закрыть сие дело в robots? те нужно запретить для индексации:

/page.html%20%20покрышка%20на%20основе%20резки

в файле robots - как корректно задать символы пробела? %20 - это некорректно.
 Или настроить правило на редирект лучше? а в этом случае как правильно написать, чтобы отсекать кириллицу после названия страницы .html?

RewriteRule ^(.*).htm$ /$1.html [R=301,L]

Скорее всего правило будет:
RewriteRule (.+?)\.html.+$ http://%{HTTP_HOST}/$1.html [L,R=301]
Только...вот...интересно, а исключить-то дубли как можно будет?

Я вот думаю, в перспективе буду переводить сайт на https, придется все правила в .htaccess?

Я вот думаю, в перспективе буду переводить сайт на https, придется все правила в .htaccess?

Ну да, замените потом протоколы в .htaccess
Вы проверили мой из поста ? Появились дубли после обновления Joomla! 3.9.8 Stable

Ваш не подошел. Такое условие работает:

RewriteRule (.+?)\.html.+$ http://%{HTTP_HOST}/$1.html [L,R=301]

https://htaccess.madewithlove.be/

Ваш не подошел.

На локалке работает . Нужно кеш чистить каждый раз, когда изменяешь редирект.