Соглашение между Yandex и ValueHost

[VH]

Не секрет что поисковые роботы могут создавать повышенную нагрузку на сервера крупных хостеров из-за того что на их серверах могут находиться много сайтов, а также из-за неоптимизированных под роботов клиентских сайтов. Некоторым хостерам ничего не остается делать как блокировать такие обращения, либо закрывать аккаунты клиентов к которым идет много подобных запросов. Мы тоже сталкивались с подобными проблемами.

На данный момент достигнуто соглашение с Yandex о новом алгоритме обхода серверов нашей компании поисковыми роботами Yandex. Данное соглашение позволило существенно снизить нагрузку на сервера и решить проблему описанную выше.

[Alldar]

Как именно?

[VH]

Как именно?

В Yandex утверждали, что к одному IP адресу у них одновременно может обращаться только один робот, хотя на практике мы наблюдали одновременные обращения от нескольких роботов. Причем они были в топе по сумме всех обращений к серверу. Эту проблему решили. Также приняли решение снизить интенсивность обращений и растянуть их по времени. Последнее время жалоб на проблемы с индексацией от клиентов не поступало.

[Greenhog]

Т.е. просто меньше будет ходить робот на valuehost, следовательно медленнее будут сайты в индекс влезать?

[VH]

Т.е. просто меньше будет ходить робот на valuehost, следовательно медленнее будут сайты в индекс влезать?

Прошел год, пока не было ни одной жалобы.