0 Пользователей и 1 Гость просматривают эту тему.
  • 24 Ответов
  • 684 Просмотров
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Привет друзья. Столкнулся с кражей контента на портале. Как только я добавляю статью она тут же появляется на двойниках сайта. История началась с того что в вебмастере увидел массу ссылок на свой сайт типа

сайт/?format=feed&type=atom
категория/?format=feed&type=atom

начал копать что-куда. Скорее всего что конкуренты помогают лечь на дно при помощи таких черных методов. Больше 300 ссылок сразу появилось в Яндекс Вебмастере.

Покурил тему. Прошелся по каждому меню и в параметрах интеграции отключил ПОКАЗИВАТЬ ССЫЛКУ НА ЛЕНТУ НОВОСТЕЙ. Также такое проделал в настройках материлов ССЫЛКИ НА ЛЕНТУ НОВОСТЕЙ - СКРЫТЬ. Также нашел плагин УМНЫЙ ПОИСК newsfeed и выключил его.

Опубликовал новость в пару букв для пробы в категории и для пробы зашел на воровской сайт и опять вижу что моя фейковая новость у них на сайте. Когда захожу к ним на сайт проходит секунд 30 и потом выдается точная копия моего сайта с новостями и куевой тучей рекламы.

Помогите товарищи. :(

Сайта на Джумла 3.8.8
*

draff

  • Живу я здесь
  • 3927
  • 262 / 7
  • Ищу работу
Re: Не получается отключить rss/atom
« Ответ #1 : 26.05.2018, 19:47:08 »
Была недавно аналогичная тема . Помогает правило в .htaccess
Защита от копирования
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #2 : 26.05.2018, 19:58:23 »
Была недавно аналогичная тема . Помогает правило в .htaccess
Защита от копирования
Не помогло.

Получается что эти правила просто делают 404 страничку куда ссылается дубль сайт но все ровно он берет как то новости.
*

ChaosHead

  • Гуру
  • 5120
  • 442 / 13
Re: Не получается отключить rss/atom
« Ответ #3 : 26.05.2018, 20:02:54 »
Он может и парсером HTML брать. Отлавливайте по IP и скармливайте ему всякую гадость вместо статей.
*

lexxbry

  • Живу я здесь
  • 2389
  • 65 / 7
Re: Не получается отключить rss/atom
« Ответ #4 : 26.05.2018, 20:08:29 »
Парсер более вероятен
SEO-оптимизация,продвижение
Создание и сопровождение сайтов на Joomla
Миграция
*

draff

  • Живу я здесь
  • 3927
  • 262 / 7
  • Ищу работу
Re: Не получается отключить rss/atom
« Ответ #5 : 26.05.2018, 20:35:49 »
Не помогло.

Получается что эти правила просто делают 404 страничку куда ссылается дубль сайт но все ровно он берет как то новости.
Запретить показ своего сайта на чужом в iframe
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #6 : 27.05.2018, 00:16:52 »
Кое что получилось. Напишу может кому пригодиться.

1. В Яндекс Вебмастере собрал информацию о всех доменах с которых повалили паленые ссылки. (Ссылки - Внешние ссылки - Группировать по сайтам) Домены легко обнаружить так как названия у них дебильные ( типа kkkdddppp.ga или что в этом духе.) Также обратите внимание на поддомены.

2. В Google есть функция подать файл со списком ссылок которые не нужно учитывать при ранжировании сайта. Копируем ручами с Яндекс Вебмастера всю эту гадость в текстовый обыкновенный файл - каждая ссылка с нового рядка. Или в Google есть такая штука - https://www.google.com/webmasters/tools/disavow-links-main

3. В моем случае кроме ссылок еще и контент тыряли. При помощи сервиса https://www.whois.com/ определяем на каком хостинге стоят гавно сайты и пишем туда ЖАЛОБУ (ABUSE) в сапрот. Я написал - пока тишина... Привел примеры всего этого гуана и вежливо попросил убить эти сайты линкопомойки.

4. В Яндекс писать нехрен - там получите стандартный ответ, что у них мол такой продвинутый алгоритм что он в курсе что эти ссылки вам не помеха.

5. Пробиваем каждый домен, точнее его IP адресс. Я пользую вот этот сервис https://2ip.ru/lookup/. Он показывает сам адрес, домен и алиасы адреса

Один из моих *** сайтов выглядел вот так
-----------------------------------------------------------
IP адрес:   104.27.160.135
Имя сайта:   tooooooooot.cf
Alias адреса:   104.27.160.135, 104.27.161.135
-----------------------------------------------------------

6. Пишем своему хостеру чтобы прописал на сервере запрет доступа со всех тих айпи на ваш ресурс влючая и алиасы. Если вы владелец root доступа к серверу то при помощи ssh утилиты (я пользую putty - скачать можно тут https://putty.org.ru/download.html) пишем следующую команду серверу

iptables -I INPUT -s 104.27.160.135 -j DROP
iptables -I INPUT -s 104.27.160.135 -j DROP
iptables -I INPUT -s 104.27.161.135 -j DROP

тем самым запрещая доступ к своему ресурсу с враждебного сервреа. Проверить список заблокированных адресов можно командой серверу iptables -L

7. Идем далее и корне сайта находим файл .htaccess с командами серверу и там пишем команды

RewriteCond %{QUERY_STRING} ^format=feed&type=rss?$
RewriteRule ^(.*)$  /error.php? [L,R=301]

RewriteCond %{QUERY_STRING} ^format=feed&type=atom?$
RewriteRule ^(.*)$  /error.php? [L,R=301]

тем самым закрывая доступ к новостной ленте. Хотя я вообще снес нафиг этот компонент - кому он нужен?

8. Чтобы ваш ресурс не открывался в iframe также прописываем команду в том же файле

Header always append X-Frame-Options DENY
Header always append X-Frame-Options SAMEORIGIN

Мне все эти танцы с бубнами помогли. Может кому еще польза будет защититься от этих нехороших людей.


*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #7 : 27.05.2018, 10:17:57 »
кароче зарано порадовался. все осталось как и прежде. единственное что изменилось так это время загрузки странички *** сайта - теперь то где то минута
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #8 : 27.05.2018, 11:22:57 »
Кароче парсеры стоят на прокси серверах и реальный айпи невозможно найти. может кто знает как в логах сервера найти этих ублюдков? может ловушки какие есть для отслеживания ботов
или для джумла есть что то на подобии антипарсера
Domain Nameservers:
      DORTHY.NS.CLOUDFLARE.COM
      JOSH.NS.CLOUDFLARE.COM

« Последнее редактирование: 27.05.2018, 11:38:00 от scorpion1981 »
*

draff

  • Живу я здесь
  • 3927
  • 262 / 7
  • Ищу работу
Re: Не получается отключить rss/atom
« Ответ #9 : 27.05.2018, 11:55:57 »
Как вариант- проверка на домен в index.php в корне сайт .
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #10 : 27.05.2018, 12:09:19 »
Как вариант- проверка на домен в index.php в корне сайт .
чисто все тут. покурил эту тему и действенного способа НЕТу. ппц просто. не думал что так легко можно утопить сайт и безнаказанно воровать контент. так получается ничего своего создавать не нужно. просто берешь делаешь гс сайт ставишь парсер через прокси и все! готов. убиваешь конкурента ссылками раз, делаешь пинг поисковикам чтобы они к тебе быстрее заходили и контент твой. ппц кароче
*

draff

  • Живу я здесь
  • 3927
  • 262 / 7
  • Ищу работу
Re: Не получается отключить rss/atom
« Ответ #11 : 27.05.2018, 13:49:51 »
Если есть домен в логах, значит должен быть способ проверки на домен.
Отбиваются как то .
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #12 : 27.05.2018, 16:16:36 »
Если есть домен в логах, значит должен быть способ проверки на домен.
Отбиваются как то .
самого домена в логах нет. К примеру, в Яндекс Вебмастере прохожу по любой из ссылок на те сайты то внизу браузера я вижу ОЖИДАНИЕ ОТВЕТА от karlikoff.tk хотя загружается URL другого сайта. Вот я и сделал вывод что именно этот домен является ключом к парсеру. На какой URL я бы не зашел то вижу ОЖИДАНИЕ ОТВЕТА с этого сайта. Я попробовал найти этот домен при помощи сервиса whois

Спойлер
[свернуть]
Потом попробовал найти сайт по айпи адресу и вот результат. Но этих айпи я в логах не вижу. Значит работает прокси сервер.
IP адрес:   104.24.114.92
Имя сайта:   karlikoff.tk
Alias адреса:   104.24.115.92, 104.24.114.92

или я не до конца понимаю что вы имеете ввиду

а вот ответ их сервера при клике на артинке
Спойлер
[свернуть]
« Последнее редактирование: 27.05.2018, 16:27:45 от scorpion1981 »
*

ChaosHead

  • Гуру
  • 5120
  • 442 / 13
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #14 : 27.05.2018, 21:05:01 »
Для Google https://www.google.com/webmasters/tools/dmca-notice
это типа я должен каждый материал подать сюда? У меня на сайте в день публикуется по 5-10 материалов и она транслируются вот в это все дерьмо

Спойлер
[свернуть]
*

ChaosHead

  • Гуру
  • 5120
  • 442 / 13
Re: Не получается отключить rss/atom
« Ответ #15 : 27.05.2018, 21:23:41 »
Мне вы ничего не должны, но я хоть что-то предлагаю) Частенько для всего сайта наступают печальные последствия после таких жалоб.
*

draff

  • Живу я здесь
  • 3927
  • 262 / 7
  • Ищу работу
Re: Не получается отключить rss/atom
« Ответ #16 : 28.05.2018, 04:24:58 »
Создание поддоменов не разрешено в DNS ?
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #17 : 28.05.2018, 10:11:59 »
Мне вы ничего не должны, но я хоть что-то предлагаю) Частенько для всего сайта наступают печальные последствия после таких жалоб.
не принимайте на свой счет. я это к тому что нереально абузить Google - это займет все мое время. я думал есть действенный способ ка можно программно запретить вход на свой сайт с тех доменов или по крайней мере не дать копировать контент
Оно конечно на мой сайт появляется куча ссылок так как спарсенный контент ведет ссылками на мой сайт но блин это же *** сайты, а это не есть гуд таие беки.
*

robert

  • Живу я здесь
  • 4706
  • 432 / 17
Re: Не получается отключить rss/atom
« Ответ #18 : 28.05.2018, 10:41:48 »
Вам не помешало бы пповерить свой сайт на вирусы. Список мусорных доменов наводит на мысли, что у вас на сайте сидит троян.
Не будь паразитом, сделай что-нибудь самостоятельно!
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #19 : 28.05.2018, 11:00:07 »
Вам не помешало бы пповерить свой сайт на вирусы. Список мусорных доменов наводит на мысли, что у вас на сайте сидит троян.
проясните для меня, а то что не понимаю. как я вижу ситуацию то мой сайт хотят утопить в выдаче. для этого запускают парсер контента на домены и поддомены через прокси. появляется куча мусорных ссылок на меня и Google с яндексом думают что таким черным способом продвигаю сайт понижают позиции. Я прав?

что будет если я закину айпи прокси сервера в бан лист?
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #20 : 08.06.2018, 19:03:48 »
Нашел тут такую штуку для файла .htacces

#Block rules by ©xmoonlight
######Block BAD traffic#######
RewriteCond %{HTTP:Accept-Language} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} !.*\s((\(.*\s.*\))|(\(compatible;\s.*http.*\))) [OR,NC]
RewriteCond %{HTTPS} on
RewriteCond %{SSL:SSL_TLS_SNI} =""
RewriteRule .* - [R=404,NC,L]

######Block HOTLINKING######
RewriteCond %{HTTP_REFERER} ^$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?([^/]+) [NC]
RewriteCond %3%{HTTP_HOST} !^(.+)(www\.)?\1$ [NC]
RewriteCond %{REQUEST_URI} !^(.*)/favicon [NC]
RewriteCond %{REQUEST_URI} !^(.*)/logo [NC]
RewriteRule \.(jpg|jpeg|png|gif|css|js|otf|svg|eot)$ - [R=404,NC,L]

может мне кто то растолковать даст ли это что то в моем случае.
и мой сайт на https
*

ProtectYourSite

  • Завсегдатай
  • 1839
  • 102 / 4
  • Безопасность вебсайтов
Re: Не получается отключить rss/atom
« Ответ #21 : 08.06.2018, 20:00:01 »
ничего не даст, это с вашего сервера не будут подгружаться картинки на других сайтах.
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #22 : 08.06.2018, 20:46:15 »
ничего не даст, это с вашего сервера не будут подгружаться картинки на других сайтах.
то есть текст сдирать будут а картинки нет?
У меня за последний месяц ссылок на меня более 7000 уже образовалось. Хотя теперь откололись все rss/atom ссылки и те сайты что остались либо к примеру

Спойлер
[свернуть]

либо
Спойлер
[свернуть]

и от хз во что все то выльется. на мой сайт теперь получается ведет 7000 неработающих ссылок. или это временно. ароче странно все это друзья....а посещала просела в три раза.

написал ПЛАТОНУ
*

ChaosHead

  • Гуру
  • 5120
  • 442 / 13
Re: Не получается отключить rss/atom
« Ответ #23 : 08.06.2018, 21:35:06 »
Если с Google упала посещаемость, то добавьте их в disallow: https://support.google.com/webmasters/answer/2648487?hl=ru
*

scorpion1981

  • Захожу иногда
  • 105
  • 2 / 0
Re: Не получается отключить rss/atom
« Ответ #24 : 08.06.2018, 21:36:31 »
Если с Google упала посещаемость, то добавьте их в disallow: https://support.google.com/webmasters/answer/2648487?hl=ru
я это делал но и по Яндекс просел здорово. буду ждать может вернется как то все. описанные выше методы дали свои результаты. буду смотреть как оно дальше будет.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Отключить переход на пункт меню из списка материалов категории

Автор Katya-Net

Ответов: 1
Просмотров: 88
Последний ответ 21.05.2019, 17:05:09
от effrit
Как отключить вывод текста в блоге категории?

Автор Leo1986

Ответов: 7
Просмотров: 109
Последний ответ 06.05.2019, 17:10:50
от Leo1986
[Решено] Отключить Mootols, Jquery и Bootstrap в Joomla 3

Автор Pazys

Ответов: 113
Просмотров: 68463
Последний ответ 28.04.2019, 07:37:01
от effrit
Отключить SSL для нескольких категорий материалов, как?

Автор x1

Ответов: 0
Просмотров: 90
Последний ответ 10.04.2019, 21:57:54
от x1
Отключить Меню offcanvas

Автор Volna

Ответов: 2
Просмотров: 91
Последний ответ 08.04.2019, 11:55:37
от Volna