Основной курс по Joomla
0 Пользователей и 1 Гость просматривают эту тему.
  • 9 Ответов
  • 322 Просмотров
*

skyvlad

  • Новичок
  • *
  • 8
  • 0
Сайт на j1.5. Наверное неделю назад началось. Начитался про оптимизацию, включил кэш, подправил robots.txt (увеличил время до 20, исключил еще несколько папок).
Кусочек лога.
Спойлер
[свернуть]
« Последнее редактирование: 30.01.2017, 17:56:31 от skyvlad »
*

skyvlad

  • Новичок
  • *
  • 8
  • 0
Кого там только не было, и бингбот и гуглбот. Но вот мне кажется что здесь что-то не так. Особенно смущает запросы с 85.140.1.183,  они присутствуют всегда. Неужели они будут так долго индексировать маленький сайт. Блин даже кодировка меняется. Подскажите как избавится от этой нагрузки. Я его даже закрыл, можно зайти только после аутентификации. Задержку и ограничение  ботам ставил.
*

vitzer

  • Давно я тут
  • ****
  • 247
  • 4
Кого там только не было, и бингбот и гуглбот. Но вот мне кажется что здесь что-то не так. Особенно смущает запросы с 85.140.1.183,  они присутствуют всегда. Неужели они будут так долго индексировать маленький сайт. Блин даже кодировка меняется. Подскажите как избавится от этой нагрузки. Я его даже закрыл, можно зайти только после аутентификации. Задержку и ограничение  ботам ставил.
Недавно столкнулся с точно такой же проблемой и именно на hc.ru. В числе атакующих были и Яндекс, и Google, и еще с десяток левых. Директива Crawl-delay: 10 не спасла.
Вот здесь они все:
Спойлер
[свернуть]
Блокировал, но нагрузка не упала. Проблему решил сменой тарифа на SSD X. Запросы шпарят до сих пор, но проблем с нагрузкой нет.  Может хостер практикует "силовой метод"?
« Последнее редактирование: 31.01.2017, 17:30:04 от vitzer »
*

capricorn

  • Практически профи
  • *******
  • 1638
  • 107
вы только поисковые боты не блокируйте.

у меня тоже есть сайт с cPanel на hc. проблем с CPU нет. скачет только иногда макс ввод-вывод. но это косяк сайта. на другой их услуге тоже такое было у меня.
*

vitzer

  • Давно я тут
  • ****
  • 247
  • 4
вы только поисковые боты не блокируйте.
Все методом ручного перебора. Нечего как умолишенному парсить сайт. Ничего, уже две недели заблокированы, но рост в поиске продолжается. Впрочем, новых ботов после переезда я еще не отсекал. А старые, так и долбятся. Особенно настойчивый Гугловский: 66.102.9.
Цитировать
у меня тоже есть сайт с cPanel на hc. проблем с CPU нет. скачет только иногда макс ввод-вывод. но это косяк сайта. на другой их услуге тоже такое было у меня.
Один из тех поддержки рассказал, что были проблемы на конкретном сервере, где сидел я. Но они не спешили устранять проблему, только все перезагружали сервер БД. Пришлось решать сменой тарифа. Но я пока доволен.
*

SeBun

  • Практически профи
  • *******
  • 3086
  • 187
  • @SeBun48
Адрес  85.140.1.183 принадлежит провайдеру Mobile subscribers pool. Узнать об этом можно, например, здесь. Вы смотрите в логах нa user-agent, который показывает, кто и с какой машины заходит. Эта информация не всегда достоверная. Например боты, которые сканируют ваш сайт на предмет уязвимостей, могут шифроваться под кого угодно. Обращать внимание нужно на частоту запросов с одного IP-адреса. Существуют скрипты, работающие с внутренними логами Apache, и вы можете блокировать те IP, с которых идет аномальный трафик. Вот статья на хабре, почитайте, попробуйте применить. Не панацея, но от сканеров может неплохо помочь.

Так же можно определять, принадлежит ли IP прокси или нет. Если на той стороне прокси - отдавать ему страницу для ввода реCAPTCHA, как, например, на сайте 4pda. Да и в Google, Yandex и многих других работают похожие механизмы.

P.S. На Crawl-delay таким ботам плевать, они в robots и не смотрят.
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Администрирование | Разработка
Ник занят
*

skyvlad

  • Новичок
  • *
  • 8
  • 0
Нагрузка спала, один IP блокировал через .htaccess. Второе письмо с угрозой пришло от hc.ru, они рассчитывают среднюю суммарную нагрузку за сем дней, а она еще выше "нормы" в два раза. Сайт открыл, но в странице отображается только текст теперь, хотя на главной все в порядке, может из-за кэша. И появились очень странные ссылки
Код
http://oskshi.shkola.hc.ru/index.php/home/2016-04-19-12-14-52/2016-04-19-12-22-13
http://oskshi.shkola.hc.ru/index.php/2010-12-10-09-20-35/2010-12-10-09-58-57
Накрылся что-ли?
« Последнее редактирование: 02.02.2017, 10:51:54 от skyvlad »
*

vitzer

  • Давно я тут
  • ****
  • 247
  • 4
Нагрузка спала, один IP блокировал через .htaccess. Второе письмо с угрозой пришло от hc.ru, они рассчитывают среднюю нагрузку за сем дней, а она еще выше "нормы" в два раза. Сайт открыл, но в странице отображается только текст теперь, хотя на главной все в порядке, может из-за кэша. И появились очень странные ссылки
Код
http://oskshi.shkola.hc.ru/index.php/home/2016-04-19-12-14-52/2016-04-19-12-22-13
http://oskshi.shkola.hc.ru/index.php/2010-12-10-09-20-35/2010-12-10-09-58-57
Накрылся что-ли?
У вас какие-то ошибки по js
Спойлер
[свернуть]
Но я в это не понимаю. Ждем комментариев профи.
*

skyvlad

  • Новичок
  • *
  • 8
  • 0
Отключил плагин "Кэш". В общих настройках вернул настройки SEO на место (везде "нет") и пока работает.