0 Пользователей и 1 Гость просматривают эту тему.
  • 8 Ответов
  • 3120 Просмотров
*

dron

  • Завсегдатай
  • 1580
  • 16 / 10
Добрый день! Уже наверное месяцев 6 назад удалил компонент ads_manager, а боты ядекса все продолжают находить страницы типа:

/component/option,com_adsmanager/page,write_ad/catid,1/Itemid,98/
/component/option,com_adsmanager/page,write_ad/catid,1/Itemid,175/
/component/option,com_adsmanager/page,show_category/catid,2/order,0/expand,-1/Itemid,175/
/component/option,com_adsmanager/page,show_all/order,0/expand,0/Itemid,98/
/component/option,com_adsmanager/page,show_ad/adid,37/catid,2/Itemid,98/

и приписывать их к страницам с ошибками... Причем, чаще всего, даже не указывается на какой странице была найдена ссылка. Можно ли как-то через robots или как-то еще, решить эту проблему?

Заранее спасибо!
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
Re: Как бороться с ботами Яндекса?
« Ответ #1 : 12.03.2012, 03:44:42 »
скорее всего они не "продолжают находить", а простукивают адреса которые были ранее загружены ботом, а так как страниц таких уже нет, бот получает 404 - соответственно в вебмастере вы видите увеличение страниц с ошибками.
можно в роботсе прописать
Disallow: /*com_adsmanager
и подождать еще с месяц-два, а потом если не поможет -  написать в саппорт.
*

oriol

  • Завсегдатай
  • 1042
  • 100 / 4
Re: Как бороться с ботами Яндекса?
« Ответ #2 : 12.03.2012, 04:55:43 »
Цитировать
После этого воспользуйтесь формой «Удалить URL», и тогда при следующем обходе роботом вашего сайта, все удаленные и запрещенные к индексированию страницы исчезнут из результатов поиска.
Еще проверь битые ссылки на сайте, я проверяю с помощью Xenu
« Последнее редактирование: 12.03.2012, 05:24:39 от oriol »
*

dron

  • Завсегдатай
  • 1580
  • 16 / 10
Re: Как бороться с ботами Яндекса?
« Ответ #3 : 12.03.2012, 11:39:36 »
После этого воспользуйтесь формой «Удалить URL», и тогда при следующем обходе роботом вашего сайта, все удаленные и запрещенные к индексированию страницы исчезнут из результатов поиска.
Пытаюсь удалить. Ошибка: Указанный URL не проиндексирован. Забавно и ничего не понятно...
*

oriol

  • Завсегдатай
  • 1042
  • 100 / 4
Re: Как бороться с ботами Яндекса?
« Ответ #4 : 12.03.2012, 16:39:12 »
Не обращай внимание он всегда так пишет
Не удобная форма для удаления но ни чего не поделаешь)))
*

dron

  • Завсегдатай
  • 1580
  • 16 / 10
Re: Как бороться с ботами Яндекса?
« Ответ #5 : 12.03.2012, 19:58:09 »
Не обращай внимание он всегда так пишет
Не удобная форма для удаления но ни чего не поделаешь)))
скажите, но это гарантирует отмену индексации этих страниц? может можно как-то понадежнее их скрыть? через robots.txt или еще как?
*

voland

  • Легенда
  • 11031
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
Re: Как бороться с ботами Яндекса?
« Ответ #6 : 12.03.2012, 20:08:51 »
скажите, но это гарантирует отмену индексации этих страниц? может можно как-то понадежнее их скрыть? через robots.txt или еще как?
Лицензию Яндекса читал?
Или доля в собственности его не меньше Садовского, чтобы он что-то гарантировал?
*

dron

  • Завсегдатай
  • 1580
  • 16 / 10
Re: Как бороться с ботами Яндекса?
« Ответ #7 : 12.03.2012, 20:15:09 »
я не в смысле надежности спрашивал, а в смысле будут ли страницы исключены, несмотря на возникающую ошибку (Ошибка: Указанный URL не проиндексирован)?!
*

oriol

  • Завсегдатай
  • 1042
  • 100 / 4
Re: Как бороться с ботами Яндекса?
« Ответ #8 : 12.03.2012, 20:19:22 »
Пустые разговоры пользы не приносят
Цитировать
Как исключить сайт или некоторые страницы из поиска?

Удалите страницы со своего сайта (таким образом, чтобы сервер при обращении по заданному URL выдавал в заголовках ответа ошибку 404) либо запретите их индексирование в robots.txt.

После этого воспользуйтесь формой «Удалить URL», и тогда при следующем обходе роботом вашего сайта, все удаленные и запрещенные к индексированию страницы исчезнут из результатов поиска.

При этом запрет индексирования не гарантирует того, что сайт (в твоем случае страницы) будет отсутствовать в результатах поиска, т.к. он может искаться по ссылкам, которые находятся на сторонних сайтах (либо с других статей поэтому писал выше про битые ссылки).


P.s. Если я сейчас проставлю ссылку на не существующую страницу на твоем сайте. то ты не сможешь удалить эту ошибку пока я не удалю эту ссылку
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Быстрые ссылки Яндекса и Joomla

Автор askona

Ответов: 5
Просмотров: 4439
Последний ответ 14.07.2017, 13:16:35
от Edward_m
Сайт в Каталоге яндекса, а страници не проиндексированны

Автор belovpaha

Ответов: 1
Просмотров: 1123
Последний ответ 19.12.2014, 12:36:35
от flyingspook
В индексе яндекса вместо полного URL находится id.html

Автор projger

Ответов: 6
Просмотров: 1486
Последний ответ 25.02.2014, 13:26:48
от kik84
Как бороться с дублями из-за pagination?

Автор Djoniwer

Ответов: 0
Просмотров: 1576
Последний ответ 12.07.2013, 22:47:36
от Djoniwer
Не устанавливается счётчик от Яндекса

Автор megabyte1024

Ответов: 4
Просмотров: 1524
Последний ответ 27.11.2012, 14:42:45
от assaru