Идентификаторы роботов

[userxp]

Search Engine: User-Agent
AltaVista: Scooter
Infoseek: Infoseek
Hotbot: Slurp
AOL: Slurp
Excite: ArchitextSpider
Google: Googlebot (поддерживает регексы)
Goto: Slurp:
Lycos: Lycos
MSN: Slurp
Netscape: Googlebot
NorthernLight: Gulliver
WebCrawler: ArchitextSpider
Iwon: Slurp
Fast: Fast
DirectHit: Grabber
Looksmart Web Pages: Slurp

Yahoo Web Pages: по одной информации - Googlebot, а по другой - Yahoo! Slurp
поддерживает * (любой набор символов), $ используется как знак конца URL

Яндекс: Yandex
Рамблер: StackRambler
Вэбальта: Webalta
Черепаха: идентификатор TurtleScanner/номер_версии, индекс для robots.txt - turtle

[k_morgan]

Жаль, что справочник не обнавляется. А то ко мне начал лазить The World Wide Web Worm и много скачивать... Как его закрыть?

[faraon_x]

World Wide Web Worm (WWWW) - червь всемирной паутины - одно из первых инструментальных средств сети WWW, обеспечивавшее поиск информации по ключевым словам в базе данных объемом 300000 мультимедийных объектов.
Ничего страшного, проверь нагрузку на сервер, если все нормально, пусть кушает. 

[faraon_x]

Жаль, что справочник не обнавляется. А то ко мне начал лазить The World Wide Web Worm и много скачивать... Как его закрыть?

Пока собрал идентификаторы поисковых систем Google и Яндекса, но как время появится пополню список.

[msgeorge]

По поводу поисковых роботов: http://3pu.info/search-robots-user-agent/

[none.sql]

Пока собрал идентификаторы поисковых систем Google и Яндекса, но как время появится пополню список.

404

[faraon_x]

404

Извиняюсь, поправил.