0 Пользователей и 1 Гость просматривают эту тему.
  • 9 Ответов
  • 739 Просмотров
*

skyvlad

  • Новичок
  • 8
  • 0 / 0
Сайт на j1.5. Наверное неделю назад началось. Начитался про оптимизацию, включил кэш, подправил robots.txt (увеличил время до 20, исключил еще несколько папок).
Кусочек лога.
Спойлер
[свернуть]
« Последнее редактирование: 30.01.2017, 15:56:31 от skyvlad »
*

wishlight

  • Живу я здесь
  • 4488
  • 268 / 1
  • 300 руб очень быстрый хостинг в ЕС
http://yandex.com/bots радоваться надо если бот пришел. Если конечно никто под него не шифруется. Crawl-delay в помощь.
*

skyvlad

  • Новичок
  • 8
  • 0 / 0
Кого там только не было, и бингбот и гуглбот. Но вот мне кажется что здесь что-то не так. Особенно смущает запросы с 85.140.1.183,  они присутствуют всегда. Неужели они будут так долго индексировать маленький сайт. Блин даже кодировка меняется. Подскажите как избавится от этой нагрузки. Я его даже закрыл, можно зайти только после аутентификации. Задержку и ограничение  ботам ставил.
*

vitzer

  • Захожу иногда
  • 274
  • 4 / 0
Кого там только не было, и бингбот и гуглбот. Но вот мне кажется что здесь что-то не так. Особенно смущает запросы с 85.140.1.183,  они присутствуют всегда. Неужели они будут так долго индексировать маленький сайт. Блин даже кодировка меняется. Подскажите как избавится от этой нагрузки. Я его даже закрыл, можно зайти только после аутентификации. Задержку и ограничение  ботам ставил.
Недавно столкнулся с точно такой же проблемой и именно на hc.ru. В числе атакующих были и Яндекс, и Google, и еще с десяток левых. Директива Crawl-delay: 10 не спасла.
Вот здесь они все:
Спойлер
[свернуть]
Блокировал, но нагрузка не упала. Проблему решил сменой тарифа на SSD X. Запросы шпарят до сих пор, но проблем с нагрузкой нет.  Может хостер практикует "силовой метод"?
« Последнее редактирование: 31.01.2017, 15:30:04 от vitzer »
*

capricorn

  • Завсегдатай
  • 1948
  • 118 / 3
вы только поисковые боты не блокируйте.

у меня тоже есть сайт с cPanel на hc. проблем с CPU нет. скачет только иногда макс ввод-вывод. но это косяк сайта. на другой их услуге тоже такое было у меня.
*

vitzer

  • Захожу иногда
  • 274
  • 4 / 0
вы только поисковые боты не блокируйте.
Все методом ручного перебора. Нечего как умолишенному парсить сайт. Ничего, уже две недели заблокированы, но рост в поиске продолжается. Впрочем, новых ботов после переезда я еще не отсекал. А старые, так и долбятся. Особенно настойчивый Гугловский: 66.102.9.
Цитировать
у меня тоже есть сайт с cPanel на hc. проблем с CPU нет. скачет только иногда макс ввод-вывод. но это косяк сайта. на другой их услуге тоже такое было у меня.
Один из тех поддержки рассказал, что были проблемы на конкретном сервере, где сидел я. Но они не спешили устранять проблему, только все перезагружали сервер БД. Пришлось решать сменой тарифа. Но я пока доволен.
*

SeBun

  • Живу я здесь
  • 3654
  • 233 / 4
  • @SeBun48
Адрес  85.140.1.183 принадлежит провайдеру Mobile subscribers pool. Узнать об этом можно, например, здесь. Вы смотрите в логах нa user-agent, который показывает, кто и с какой машины заходит. Эта информация не всегда достоверная. Например боты, которые сканируют ваш сайт на предмет уязвимостей, могут шифроваться под кого угодно. Обращать внимание нужно на частоту запросов с одного IP-адреса. Существуют скрипты, работающие с внутренними логами Apache, и вы можете блокировать те IP, с которых идет аномальный трафик. Вот статья на хабре, почитайте, попробуйте применить. Не панацея, но от сканеров может неплохо помочь.

Так же можно определять, принадлежит ли IP прокси или нет. Если на той стороне прокси - отдавать ему страницу для ввода реCAPTCHA, как, например, на сайте 4pda. Да и в Google, Yandex и многих других работают похожие механизмы.

P.S. На Crawl-delay таким ботам плевать, они в robots и не смотрят.
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Сопровождение | IT-аутсорсинг
*

skyvlad

  • Новичок
  • 8
  • 0 / 0
Нагрузка спала, один IP блокировал через .htaccess. Второе письмо с угрозой пришло от hc.ru, они рассчитывают среднюю суммарную нагрузку за сем дней, а она еще выше "нормы" в два раза. Сайт открыл, но в странице отображается только текст теперь, хотя на главной все в порядке, может из-за кэша. И появились очень странные ссылки
Код
http://oskshi.shkola.hc.ru/index.php/home/2016-04-19-12-14-52/2016-04-19-12-22-13
http://oskshi.shkola.hc.ru/index.php/2010-12-10-09-20-35/2010-12-10-09-58-57
Накрылся что-ли?
« Последнее редактирование: 02.02.2017, 08:51:54 от skyvlad »
*

vitzer

  • Захожу иногда
  • 274
  • 4 / 0
Нагрузка спала, один IP блокировал через .htaccess. Второе письмо с угрозой пришло от hc.ru, они рассчитывают среднюю нагрузку за сем дней, а она еще выше "нормы" в два раза. Сайт открыл, но в странице отображается только текст теперь, хотя на главной все в порядке, может из-за кэша. И появились очень странные ссылки
Код
http://oskshi.shkola.hc.ru/index.php/home/2016-04-19-12-14-52/2016-04-19-12-22-13
http://oskshi.shkola.hc.ru/index.php/2010-12-10-09-20-35/2010-12-10-09-58-57
Накрылся что-ли?
У вас какие-то ошибки по js
Спойлер
[свернуть]
Но я в это не понимаю. Ждем комментариев профи.
*

skyvlad

  • Новичок
  • 8
  • 0 / 0
Отключил плагин "Кэш". В общих настройках вернул настройки SEO на место (везде "нет") и пока работает.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Превышение процессом ограничения на использование процессора

Автор Zyklonss

Ответов: 6
Просмотров: 1786
Последний ответ 07.04.2016, 21:29:09
от Zyklonss
права доступа на хостинге

Автор Andrew1110

Ответов: 6
Просмотров: 1833
Последний ответ 28.09.2013, 03:28:24
от IceBerg
После переноса на хостинге часть разделов материалов не активна

Автор Барракуда

Ответов: 7
Просмотров: 1129
Последний ответ 26.05.2012, 23:24:35
от Барракуда
Два сайта Joomla на одном хостинге. Общий логин - как сделать?

Автор _EBGEN_

Ответов: 16
Просмотров: 3677
Последний ответ 20.03.2012, 17:04:13
от Begotten
Проблема с материалами. Не могу сохранить изменения в материале , сайт на хостинге

Автор Evgeniuus

Ответов: 2
Просмотров: 892
Последний ответ 15.11.2011, 20:02:14
от peoplee