Дубли - как найти на них ссылки? - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

За последний месяц и Google и Яндекс нашли на моем сайта в 1000 страниц еще 2000 сверху. Основная проблема заключается в том, что я не помню, какие изменения делал месяц назад =)
Можно ли как-то найти, какие страницы ссылаются на эти нежелательные?
Р.С. Эти страницы нашли только поисковики. Интернет-сервис (забыл адрес) по поиску внутренних и внешних ссылок на сайте до этих страниц не дошел. Скачал полностью сайт, задал в поиске по всем страницам нужные страницы - тоже пусто.

Вопрос - что происходит? Как такое может быть?

Узнать все страницы что попали в индекс вы можете так - (для Google)
site:domen.ru

Также в теме FAQ: robots.txt для Joomla найдете инструкции со скриншотами

Можно ли как-то найти, какие страницы ссылаются на эти нежелательные?

Это можно посмотреть в панели Вебмастера Яндекса и Google (это не обязательно могут быть внутренние ссылки)

Вопрос не в том, какие страницы попали в Google или Яндекс, а КАК эти ненужные страницы туда попали! Какие страницы есть в индексе я вижу в Вебмастерах Google и Яндекс.

В панелях Яндекса есть список страниц в индексе и исключенных. Рядом есть кнопочка - страницы, которые ссылаются на эту страницу. Но нажав на нее, пишет, что страниц таких нет. Поскольку я перепробовал все первые шаги по поиску страниц, которые ссылаются на ненужные, то я и обратился за помощью сюда.

Программа для поиска битых ссылок. - Xenu's Link Sleuth
Site Analysis от Microsoft. Бесплатный SEO Toolkit

Вопрос не в том, какие страницы попали в Google или Яндекс, а КАК эти ненужные страницы туда попали!

К сожалению, такое случается.
Основная причина возникновения нежелательных страниц - ссылка (внутренняя или внешняя)
Возможно вы что-то настраивали на сайте - в этот момент пришел бот и проиндексировал
Иногда такие страницы долго висят в вебмастере - там у них тоже глюки случаются.
Необходимо настроить или 301 редирект с них или чтоб они отдавали ошибку 404 и в роботсе закрыть - тогда пропадут

Программа для поиска битых ссылок. - Xenu's Link Sleuth
Site Analysis от Microsoft. Бесплатный SEO Toolkit

Xenu не помог.

К сожалению, такое случается.
Основная причина возникновения нежелательных страниц - ссылка (внутренняя или внешняя)
Возможно вы что-то настраивали на сайте - в этот момент пришел бот и проиндексировал
Иногда такие страницы долго висят в вебмастере - там у них тоже глюки случаются.
Необходимо настроить или 301 редирект с них или чтоб они отдавали ошибку 404 и в роботсе закрыть - тогда пропадут

Настраивалось, но оно не за 1 раз нашло все эти ссылки, а продолжает находить. В этом-то и печалька. Но при этом никакие сервисы, кроме ПС этих ссылок не видят...
А как настроить отдачу ошибки 404?

Примеры покажите, что за нежелательные ссылки

/ru/d-rus/125-a-ya/p/pileya/207-pileya-polzuchaya-pilea-repens.html
/ru/d-rus/125-a-ya/p/pileya/208-pileya-sprusa-pilea-spruceana.html
/ru/d-rus/125-a-ya/p/pileya/209-pileya-bronza-pilea-bronze.html
/ru/d-rus/125-a-ya/p/pileya/210-pileya-norfolk-pilea-norfolk.html
/ru/d-rus/131-a-ya/f/fatsiya/196-fatskhedera-litse-fatshedera-lizei.html
/ru/e-rus/132-a-ya/kh/khojya/193-khojya-prekrasnaya-noya-bella.html

Их больше 2000, а всего на сайте 3000 страниц =)
Эти все материалы технические... Или как иначе сказать. Они не предназначены для показа в виде материалов. Они выводятся как модули в статье. А теперь какого-то начали жить собственной жизнью...

Карту сайта случайно не ставили? Могли так попасть...
Ну и закройте в роботсе по маске

Карту сайта ставил... Но довольно давно, поэтому на нее не грешу.
Это просто один тип ссылок, есть другие. слишком много масок прописывать...

/ru/e-rus/200-knigi/295-vse-o-komnatnykh-rasteniyakh.html
*-rus/*-knigi*

/ru/d-rus/125-a-ya/p/pileya/207-pileya-polzuchaya-pilea-repens.html
*-rus/*-a-ya*

/ru/d-ukr/125-a-ya/p/pileya/207-pileya-polzuchaya-pilea-repens.html
*-ukr/*-a-ya*

А главное, что лучше, наверное, убрать причину, а не последствия...

Вы правы, это из-за Xmap компонента. Не понятно, почему он решил отображать пункт меню, в примеру, /ru/d-rus.html, если этот пункт меню - разделитель... Почему он показывает там карту сайта - не понятно. Теперь два варианта развития... Либо отключить Xmap, либо переделать пунткы меню с разделителя на какие-то другие...

В Xmap насколько помню можно было исключать ненужные меню.
Ну и в любом случае уже не поможет даже его отключение, так как это же материалы - отдают 200, из индекса просто так не выкинуть
Только если все таки в роботс закрыть. Или что-то еще думать, зависит от вашей конкретной ситуации.

Можно закрыть в роботс, но он роботы все равно будут помнить об этих страница и "муляти мені очі".
Можно потратить неделю и всем ненужным категориям и материалам проставить noindex, nofollow.

Тут назрело несколько вопросов, частично не относящихся к делу, но ковенно таких задевающих его.
Как можно сделать пункт меню на список материалов категории, чтобы в списке отображались материалы только родительской категории. На данный момент показывает материалы и из родительской и из подкатегорий... Никакие манипуляции не помогают

По логам сервера обнаружил, что первым ссылки на ненужные страницы нашел робот
Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)
В сети посоветовали закрыть ему доступ для индексирования в .htaccess таким образом
правильно ли это?

А в ответ - тишина...

Чтобы страницы отдавали ошибку 404, можно просто сменить алиас категории, в которой находятся материалы, которые не предназначены для индексирования? А все проиндексированные уже страницы, но не нужные, предварительно исключить в роботсе?

Чтобы страницы отдавали ошибку 404, можно просто сменить алиас категории, в которой находятся материалы, которые не предназначены для индексирования?

не факт, что будет отдавать 404

ну, если есть пять сотен ссылока типа /ru/k-rus/12-a-ya/i/irezine.html
и поменяв алиас категории А-Я, получим, что новые ссылки будут, к примеру, /ru/k-rus/12-a-ya-RU/i/irezine.html
и соответственно старые работать не будут... и Яндекс выбросит их со временем из индекса... Не?

они могут не отдавать 404, а спокойно отдать 200...это косяк двига, но может вы ставили какие SEF компоненты...

SEF джумловский...