Не получается отключить rss/atom - Joomla 3.x: Общие вопросы

Привет друзья. Столкнулся с кражей контента на портале. Как только я добавляю статью она тут же появляется на двойниках сайта. История началась с того что в вебмастере увидел массу ссылок на свой сайт типа

сайт/?format=feed&type=atom
категория/?format=feed&type=atom

начал копать что-куда. Скорее всего что конкуренты помогают лечь на дно при помощи таких черных методов. Больше 300 ссылок сразу появилось в Яндекс Вебмастере.

Покурил тему. Прошелся по каждому меню и в параметрах интеграции отключил ПОКАЗИВАТЬ ССЫЛКУ НА ЛЕНТУ НОВОСТЕЙ. Также такое проделал в настройках материлов ССЫЛКИ НА ЛЕНТУ НОВОСТЕЙ - СКРЫТЬ. Также нашел плагин УМНЫЙ ПОИСК newsfeed и выключил его.

Опубликовал новость в пару букв для пробы в категории и для пробы зашел на воровской сайт и опять вижу что моя фейковая новость у них на сайте. Когда захожу к ним на сайт проходит секунд 30 и потом выдается точная копия моего сайта с новостями и куевой тучей рекламы.

Помогите товарищи.

Сайта на Джумла 3.8.8

Была недавно аналогичная тема . Помогает правило в .htaccess
Защита от копирования

Была недавно аналогичная тема . Помогает правило в .htaccess
Защита от копирования

Не помогло.

Получается что эти правила просто делают 404 страничку куда ссылается дубль сайт но все ровно он берет как то новости.

Он может и парсером HTML брать. Отлавливайте по IP и скармливайте ему всякую гадость вместо статей.

Парсер более вероятен

Кое что получилось. Напишу может кому пригодиться.

1. В Яндекс Вебмастере собрал информацию о всех доменах с которых повалили паленые ссылки. (Ссылки - Внешние ссылки - Группировать по сайтам) Домены легко обнаружить так как названия у них дебильные ( типа kkkdddppp.ga или что в этом духе.) Также обратите внимание на поддомены.

2. В Google есть функция подать файл со списком ссылок которые не нужно учитывать при ранжировании сайта. Копируем ручами с Яндекс Вебмастера всю эту гадость в текстовый обыкновенный файл - каждая ссылка с нового рядка. Или в Google есть такая штука - https://www.google.com/webmasters/tools/disavow-links-main

3. В моем случае кроме ссылок еще и контент тыряли. При помощи сервиса https://www.whois.com/ определяем на каком хостинге стоят гавно сайты и пишем туда ЖАЛОБУ (ABUSE) в сапрот. Я написал - пока тишина... Привел примеры всего этого гуана и вежливо попросил убить эти сайты линкопомойки.

4. В Яндекс писать нехрен - там получите стандартный ответ, что у них мол такой продвинутый алгоритм что он в курсе что эти ссылки вам не помеха.

5. Пробиваем каждый домен, точнее его IP адресс. Я пользую вот этот сервис https://2ip.ru/lookup/. Он показывает сам адрес, домен и алиасы адреса

Один из моих *** сайтов выглядел вот так
-----------------------------------------------------------
IP адрес:   104.27.160.135
Имя сайта:   tooooooooot.cf
Alias адреса:   104.27.160.135, 104.27.161.135
-----------------------------------------------------------

6. Пишем своему хостеру чтобы прописал на сервере запрет доступа со всех тих айпи на ваш ресурс влючая и алиасы. Если вы владелец root доступа к серверу то при помощи ssh утилиты (я пользую putty - скачать можно тут https://putty.org.ru/download.html) пишем следующую команду серверу

iptables -I INPUT -s 104.27.160.135 -j DROP
iptables -I INPUT -s 104.27.160.135 -j DROP
iptables -I INPUT -s 104.27.161.135 -j DROP

тем самым запрещая доступ к своему ресурсу с враждебного сервреа. Проверить список заблокированных адресов можно командой серверу iptables -L

7. Идем далее и корне сайта находим файл .htaccess с командами серверу и там пишем команды

RewriteCond %{QUERY_STRING} ^format=feed&type=rss?$
RewriteRule ^(.*)$  /error.php? [L,R=301]

RewriteCond %{QUERY_STRING} ^format=feed&type=atom?$
RewriteRule ^(.*)$  /error.php? [L,R=301]

тем самым закрывая доступ к новостной ленте. Хотя я вообще снес нафиг этот компонент - кому он нужен?

8. Чтобы ваш ресурс не открывался в iframe также прописываем команду в том же файле

Header always append X-Frame-Options DENY
Header always append X-Frame-Options SAMEORIGIN

Мне все эти танцы с бубнами помогли. Может кому еще польза будет защититься от этих нехороших людей.

кароче зарано порадовался. все осталось как и прежде. единственное что изменилось так это время загрузки странички *** сайта - теперь то где то минута

Кароче парсеры стоят на прокси серверах и реальный айпи невозможно найти. может кто знает как в логах сервера найти этих ублюдков? может ловушки какие есть для отслеживания ботов
или для джумла есть что то на подобии антипарсера
Domain Nameservers:
      DORTHY.NS.CLOUDFLARE.COM
      JOSH.NS.CLOUDFLARE.COM

Как вариант- проверка на домен в index.php в корне сайт .

Как вариант- проверка на домен в index.php в корне сайт .

чисто все тут. покурил эту тему и действенного способа НЕТу. ппц просто. не думал что так легко можно утопить сайт и безнаказанно воровать контент. так получается ничего своего создавать не нужно. просто берешь делаешь гс сайт ставишь парсер через прокси и все! готов. убиваешь конкурента ссылками раз, делаешь пинг поисковикам чтобы они к тебе быстрее заходили и контент твой. ппц кароче

Если есть домен в логах, значит должен быть способ проверки на домен.
Отбиваются как то .

Если есть домен в логах, значит должен быть способ проверки на домен.
Отбиваются как то .

самого домена в логах нет. К примеру, в Яндекс Вебмастере прохожу по любой из ссылок на те сайты то внизу браузера я вижу ОЖИДАНИЕ ОТВЕТА от karlikoff.tk хотя загружается URL другого сайта. Вот я и сделал вывод что именно этот домен является ключом к парсеру. На какой URL я бы не зашел то вижу ОЖИДАНИЕ ОТВЕТА с этого сайта. Я попробовал найти этот домен при помощи сервиса whois

Потом попробовал найти сайт по айпи адресу и вот результат. Но этих айпи я в логах не вижу. Значит работает прокси сервер.
IP адрес:   104.24.114.92
Имя сайта:   karlikoff.tk
Alias адреса:   104.24.115.92, 104.24.114.92

или я не до конца понимаю что вы имеете ввиду

а вот ответ их сервера при клике на артинке

Для Google https://www.google.com/webmasters/tools/dmca-notice

Для Google https://www.google.com/webmasters/tools/dmca-notice

это типа я должен каждый материал подать сюда? У меня на сайте в день публикуется по 5-10 материалов и она транслируются вот в это все дерьмо

Мне вы ничего не должны, но я хоть что-то предлагаю) Частенько для всего сайта наступают печальные последствия после таких жалоб.

Создание поддоменов не разрешено в DNS ?

Мне вы ничего не должны, но я хоть что-то предлагаю) Частенько для всего сайта наступают печальные последствия после таких жалоб.

не принимайте на свой счет. я это к тому что нереально абузить Google - это займет все мое время. я думал есть действенный способ ка можно программно запретить вход на свой сайт с тех доменов или по крайней мере не дать копировать контент
Оно конечно на мой сайт появляется куча ссылок так как спарсенный контент ведет ссылками на мой сайт но блин это же *** сайты, а это не есть гуд таие беки.

Вам не помешало бы пповерить свой сайт на вирусы. Список мусорных доменов наводит на мысли, что у вас на сайте сидит троян.

Вам не помешало бы пповерить свой сайт на вирусы. Список мусорных доменов наводит на мысли, что у вас на сайте сидит троян.

проясните для меня, а то что не понимаю. как я вижу ситуацию то мой сайт хотят утопить в выдаче. для этого запускают парсер контента на домены и поддомены через прокси. появляется куча мусорных ссылок на меня и Google с яндексом думают что таким черным способом продвигаю сайт понижают позиции. Я прав?

что будет если я закину айпи прокси сервера в бан лист?

Нашел тут такую штуку для файла .htacces

#Block rules by ©xmoonlight
######Block BAD traffic#######
RewriteCond %{HTTP:Accept-Language} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} !.*\s((\(.*\s.*\))|(\(compatible;\s.*http.*\))) [OR,NC]
RewriteCond %{HTTPS} on
RewriteCond %{SSL:SSL_TLS_SNI} =""
RewriteRule .* - [R=404,NC,L]

######Block HOTLINKING######
RewriteCond %{HTTP_REFERER} ^$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?([^/]+) [NC]
RewriteCond %3%{HTTP_HOST} !^(.+)(www\.)?\1$ [NC]
RewriteCond %{REQUEST_URI} !^(.*)/favicon [NC]
RewriteCond %{REQUEST_URI} !^(.*)/logo [NC]
RewriteRule \.(jpg|jpeg|png|gif|css|js|otf|svg|eot)$ - [R=404,NC,L]

может мне кто то растолковать даст ли это что то в моем случае.
и мой сайт на https

ничего не даст, это с вашего сервера не будут подгружаться картинки на других сайтах.

ничего не даст, это с вашего сервера не будут подгружаться картинки на других сайтах.

то есть текст сдирать будут а картинки нет?
У меня за последний месяц ссылок на меня более 7000 уже образовалось. Хотя теперь откололись все rss/atom ссылки и те сайты что остались либо к примеру


либо

и от хз во что все то выльется. на мой сайт теперь получается ведет 7000 неработающих ссылок. или это временно. ароче странно все это друзья....а посещала просела в три раза.

написал ПЛАТОНУ

Если с Google упала посещаемость, то добавьте их в disallow: https://support.google.com/webmasters/answer/2648487?hl=ru

Если с Google упала посещаемость, то добавьте их в disallow: https://support.google.com/webmasters/answer/2648487?hl=ru

я это делал но и по Яндекс просел здорово. буду ждать может вернется как то все. описанные выше методы дали свои результаты. буду смотреть как оно дальше будет.