0 Пользователей и 1 Гость просматривают эту тему.
  • 17 Ответов
  • 2176 Просмотров
*

Gerostrat

  • Захожу иногда
  • 361
  • 2 / 0
  • Свидетель чайной ложки
За последний месяц и Google и Яндекс нашли на моем сайта в 1000 страниц еще 2000 сверху. Основная проблема заключается в том, что я не помню, какие изменения делал месяц назад =)
Можно ли как-то найти, какие страницы ссылаются на эти нежелательные?
Р.С. Эти страницы нашли только поисковики. Интернет-сервис (забыл адрес) по поиску внутренних и внешних ссылок на сайте до этих страниц не дошел. Скачал полностью сайт, задал в поиске по всем страницам нужные страницы - тоже пусто.

Вопрос - что происходит? Как такое может быть?
*

ELLE

  • Глобальный модератор
  • 4513
  • 890 / 0
Re: Дубли - как найти на них ссылки?
« Ответ #1 : 16.10.2012, 12:24:29 »
Узнать все страницы что попали в индекс вы можете так - (для Google)
site:domen.ru

Также в теме FAQ: robots.txt для Joomla найдете инструкции со скриншотами

Цитировать
Можно ли как-то найти, какие страницы ссылаются на эти нежелательные?
Это можно посмотреть в панели Вебмастера Яндекса и Google (это не обязательно могут быть внутренние ссылки)
*

Gerostrat

  • Захожу иногда
  • 361
  • 2 / 0
  • Свидетель чайной ложки
Re: Дубли - как найти на них ссылки?
« Ответ #2 : 16.10.2012, 12:46:36 »
Вопрос не в том, какие страницы попали в Google или Яндекс, а КАК эти ненужные страницы туда попали! Какие страницы есть в индексе я вижу в Вебмастерах Google и Яндекс.

В панелях Яндекса есть список страниц в индексе и исключенных. Рядом есть кнопочка - страницы, которые ссылаются на эту страницу. Но нажав на нее, пишет, что страниц таких нет. Поскольку я перепробовал все первые шаги по поиску страниц, которые ссылаются на ненужные, то я и обратился за помощью сюда.
*

ELLE

  • Глобальный модератор
  • 4513
  • 890 / 0
Re: Дубли - как найти на них ссылки?
« Ответ #4 : 16.10.2012, 12:53:32 »
Цитировать
Вопрос не в том, какие страницы попали в Google или Яндекс, а КАК эти ненужные страницы туда попали!
К сожалению, такое случается.
Основная причина возникновения нежелательных страниц - ссылка (внутренняя или внешняя)
Возможно вы что-то настраивали на сайте - в этот момент пришел бот и проиндексировал
Иногда такие страницы долго висят в вебмастере - там у них тоже глюки случаются.
Необходимо настроить или 301 редирект с них или чтоб они отдавали ошибку 404 и в роботсе закрыть - тогда пропадут
*

Gerostrat

  • Захожу иногда
  • 361
  • 2 / 0
  • Свидетель чайной ложки
Re: Дубли - как найти на них ссылки?
« Ответ #5 : 16.10.2012, 13:03:00 »
Программа для поиска битых ссылок. - Xenu's Link Sleuth
Site Analysis от Microsoft. Бесплатный SEO Toolkit
Xenu не помог.

К сожалению, такое случается.
Основная причина возникновения нежелательных страниц - ссылка (внутренняя или внешняя)
Возможно вы что-то настраивали на сайте - в этот момент пришел бот и проиндексировал
Иногда такие страницы долго висят в вебмастере - там у них тоже глюки случаются.
Необходимо настроить или 301 редирект с них или чтоб они отдавали ошибку 404 и в роботсе закрыть - тогда пропадут
Настраивалось, но оно не за 1 раз нашло все эти ссылки, а продолжает находить. В этом-то и печалька. Но при этом никакие сервисы, кроме ПС этих ссылок не видят...
А как настроить отдачу ошибки 404?
*

ELLE

  • Глобальный модератор
  • 4513
  • 890 / 0
Re: Дубли - как найти на них ссылки?
« Ответ #6 : 16.10.2012, 13:05:08 »
Примеры покажите, что за нежелательные ссылки
*

Gerostrat

  • Захожу иногда
  • 361
  • 2 / 0
  • Свидетель чайной ложки
Re: Дубли - как найти на них ссылки?
« Ответ #7 : 16.10.2012, 13:13:02 »
/ru/d-rus/125-a-ya/p/pileya/207-pileya-polzuchaya-pilea-repens.html
/ru/d-rus/125-a-ya/p/pileya/208-pileya-sprusa-pilea-spruceana.html
/ru/d-rus/125-a-ya/p/pileya/209-pileya-bronza-pilea-bronze.html
/ru/d-rus/125-a-ya/p/pileya/210-pileya-norfolk-pilea-norfolk.html
/ru/d-rus/131-a-ya/f/fatsiya/196-fatskhedera-litse-fatshedera-lizei.html
/ru/e-rus/132-a-ya/kh/khojya/193-khojya-prekrasnaya-noya-bella.html

Их больше 2000, а всего на сайте 3000 страниц =)
Эти все материалы технические... Или как иначе сказать. Они не предназначены для показа в виде материалов. Они выводятся как модули в статье. А теперь какого-то начали жить собственной жизнью...
*

ELLE

  • Глобальный модератор
  • 4513
  • 890 / 0
Re: Дубли - как найти на них ссылки?
« Ответ #8 : 16.10.2012, 13:15:05 »
Карту сайта случайно не ставили? Могли так попасть...
Ну и закройте в роботсе по маске
*

Gerostrat

  • Захожу иногда
  • 361
  • 2 / 0
  • Свидетель чайной ложки
Re: Дубли - как найти на них ссылки?
« Ответ #9 : 16.10.2012, 13:21:21 »
Карту сайта ставил... Но довольно давно, поэтому на нее не грешу.
Это просто один тип ссылок, есть другие. слишком много масок прописывать...

/ru/e-rus/200-knigi/295-vse-o-komnatnykh-rasteniyakh.html
*-rus/*-knigi*

/ru/d-rus/125-a-ya/p/pileya/207-pileya-polzuchaya-pilea-repens.html
*-rus/*-a-ya*

/ru/d-ukr/125-a-ya/p/pileya/207-pileya-polzuchaya-pilea-repens.html
*-ukr/*-a-ya*

А главное, что лучше, наверное, убрать причину, а не последствия...
*

Gerostrat

  • Захожу иногда
  • 361
  • 2 / 0
  • Свидетель чайной ложки
Re: Дубли - как найти на них ссылки?
« Ответ #10 : 16.10.2012, 13:35:56 »
Вы правы, это из-за Xmap компонента. Не понятно, почему он решил отображать пункт меню, в примеру, /ru/d-rus.html, если этот пункт меню - разделитель... Почему он показывает там карту сайта - не понятно. Теперь два варианта развития... Либо отключить Xmap, либо переделать пунткы меню с разделителя на какие-то другие...
*

ELLE

  • Глобальный модератор
  • 4513
  • 890 / 0
Re: Дубли - как найти на них ссылки?
« Ответ #11 : 16.10.2012, 13:40:45 »
В Xmap насколько помню можно было исключать ненужные меню.
Ну и в любом случае уже не поможет даже его отключение, так как это же материалы - отдают 200, из индекса просто так не выкинуть
Только если все таки в роботс закрыть. Или что-то еще думать, зависит от вашей конкретной ситуации.
*

Gerostrat

  • Захожу иногда
  • 361
  • 2 / 0
  • Свидетель чайной ложки
Re: Дубли - как найти на них ссылки?
« Ответ #12 : 16.10.2012, 13:57:07 »
Можно закрыть в роботс, но он роботы все равно будут помнить об этих страница и "муляти мені очі".
Можно потратить неделю и всем ненужным категориям и материалам проставить noindex, nofollow.

Тут назрело несколько вопросов, частично не относящихся к делу, но ковенно таких задевающих его.
Как можно сделать пункт меню на список материалов категории, чтобы в списке отображались материалы только родительской категории. На данный момент показывает материалы и из родительской и из подкатегорий... Никакие манипуляции не помогают :(

По логам сервера обнаружил, что первым ссылки на ненужные страницы нашел робот
Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)
В сети посоветовали закрыть ему доступ для индексирования в .htaccess таким образом
Спойлер
[свернуть]
правильно ли это?
*

Gerostrat

  • Захожу иногда
  • 361
  • 2 / 0
  • Свидетель чайной ложки
Re: Дубли - как найти на них ссылки?
« Ответ #13 : 17.10.2012, 23:56:44 »
А в ответ - тишина...

Чтобы страницы отдавали ошибку 404, можно просто сменить алиас категории, в которой находятся материалы, которые не предназначены для индексирования? А все проиндексированные уже страницы, но не нужные, предварительно исключить в роботсе?
*

ELLE

  • Глобальный модератор
  • 4513
  • 890 / 0
Re: Дубли - как найти на них ссылки?
« Ответ #14 : 17.10.2012, 23:59:51 »
Цитировать
Чтобы страницы отдавали ошибку 404, можно просто сменить алиас категории, в которой находятся материалы, которые не предназначены для индексирования?
не факт, что будет отдавать 404
*

Gerostrat

  • Захожу иногда
  • 361
  • 2 / 0
  • Свидетель чайной ложки
Re: Дубли - как найти на них ссылки?
« Ответ #15 : 18.10.2012, 00:04:25 »
ну, если есть пять сотен ссылока типа /ru/k-rus/12-a-ya/i/irezine.html
и поменяв алиас категории А-Я, получим, что новые ссылки будут, к примеру, /ru/k-rus/12-a-ya-RU/i/irezine.html
и соответственно старые работать не будут... и Яндекс выбросит их со временем из индекса... Не?
*

ELLE

  • Глобальный модератор
  • 4513
  • 890 / 0
Re: Дубли - как найти на них ссылки?
« Ответ #16 : 18.10.2012, 00:07:20 »
они могут не отдавать 404, а спокойно отдать 200...это косяк двига, но может вы ставили какие SEF компоненты...
*

Gerostrat

  • Захожу иногда
  • 361
  • 2 / 0
  • Свидетель чайной ложки
Re: Дубли - как найти на них ссылки?
« Ответ #17 : 18.10.2012, 01:53:15 »
SEF джумловский...
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Ссылки на мой сайт не подтягивают фото

Автор MbJaws

Ответов: 4
Просмотров: 215
Последний ответ 23.08.2020, 03:36:44
от Cedars
Проверка ссылок - Ошибки на ссылки Закрыты от индексации

Автор leo78

Ответов: 8
Просмотров: 1172
Последний ответ 17.02.2020, 16:32:03
от LyizaMona
Дубли в Google - мы скрыли некоторые результаты

Автор Aleks45

Ответов: 6
Просмотров: 566
Последний ответ 25.09.2019, 12:49:38
от ChaosHead
Файл robots.txt найти данный файл в админке (куда жать чтобы его открыт

Автор Kooll5

Ответов: 2
Просмотров: 843
Последний ответ 10.01.2018, 11:36:16
от Kooll5
Найти файл robots.txt

Автор Kooll5

Ответов: 3
Просмотров: 393
Последний ответ 08.01.2018, 11:23:10
от wishlight