Идентификаторы роботов - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Search Engine: User-Agent
AltaVista: Scooter
Infoseek: Infoseek
Hotbot: Slurp
AOL: Slurp
Excite: ArchitextSpider
Google: Googlebot (поддерживает регексы)
Goto: Slurp:
Lycos: Lycos
MSN: Slurp
Netscape: Googlebot
NorthernLight: Gulliver
WebCrawler: ArchitextSpider
Iwon: Slurp
Fast: Fast
DirectHit: Grabber
Looksmart Web Pages: Slurp

Yahoo Web Pages: по одной информации - Googlebot, а по другой - Yahoo! Slurp
поддерживает * (любой набор символов), $ используется как знак конца URL

Яндекс: Yandex
Рамблер: StackRambler
Вэбальта: Webalta
Черепаха: идентификатор TurtleScanner/номер_версии, индекс для robots.txt - turtle

Жаль, что справочник не обнавляется. А то ко мне начал лазить The World Wide Web Worm и много скачивать... Как его закрыть?

World Wide Web Worm (WWWW) - червь всемирной паутины - одно из первых инструментальных средств сети WWW, обеспечивавшее поиск информации по ключевым словам в базе данных объемом 300000 мультимедийных объектов.
Ничего страшного, проверь нагрузку на сервер, если все нормально, пусть кушает. 

Жаль, что справочник не обнавляется. А то ко мне начал лазить The World Wide Web Worm и много скачивать... Как его закрыть?

Пока собрал идентификаторы поисковых систем Google и Яндекса, но как время появится пополню список.

По поводу поисковых роботов: http://3pu.info/search-robots-user-agent/

Пока собрал идентификаторы поисковых систем Google и Яндекса, но как время появится пополню список.

404

404

Извиняюсь, поправил.

Здравствуйте!
Подскажите новичку, как мне пользоваться Вашей информацией? Как вы узнаётё, кто и когда Вас посещает? Может ест какой-нибудь мануал? Спасибо

Здравствуйте!
Подскажите новичку, как мне пользоваться Вашей информацией? Как вы узнаётё, кто и когда Вас посещает? Может ест какой-нибудь мануал? Спасибо

Для отслеживания пользуйтесь либо специализированными компонентами, либо смотрите логи апача на хостинге. Обычно на хостинге установлены 1-2 программ для чтения этих логов.