Можно ли защитить Joomla от парсинга страниц? - Joomla 3.x: Общие вопросы

Привет народ, можно ли защитить Joomla от парсинга страниц?

конечно можно. надо просто сайт в интернет не выкладывать. или запретить доступ к нему.

Ясно.

от парсинга чего именно вы хотите защититься? для изображений например можно использовать водяной знак.

Joomla ни при чем, как минимум 3 программы умеют пакетно вытаскивать информацию без какого-либо программирования с любого html-сайта (offline explorer, например). настроил интервал запроса страниц и все, никакой анипарсер за руку не поймает - за час выкачает неторопливо ваш сайт...

скачали, посмотрели, если не нужно - закачивайте обратно. а то скачаете все сайты, а в интернете потом ничего не останется

Можно RSS отключить совсем, настроить через htaccess интервал обращения к странице с одного IP (грубо говоря, человек не может просматривать по одной странице в 5 секунд). Забанить парсер по IP (если ходит не через прокси). Установить антилич на картинки, если тащат с картинками. Если парсер тащит статью в режиме реального времени и тут же публикует - подсовывать ему левую статью с разной бякой . Вообще, парсеры разные бывают - некоторые работают через кэширующие прокси, с такими бороться сложнее.

А ещё на копипастеров контента можно накатать абузу хостеру и в поисковые системы. Мне помогало. Google по абузе DMCA выкинул из поиска страницы парсильщика с копированными статьями, а хостер заставил удалить статьи. Зеркало Рунета никак не отреагировало - по своему обыкновению.

все, что кроме абузы - это все конечно можно делать. только зачем? результат будет ровно такой же, как если бы ничего не делать если вас захотят спарсить - вас спарсят, чтобы вы не придумали.

Спасибо всем за ответы.

Missile, защититься от выкачивания сайта - нельзя, а вот навредить реальным посетителям - можно.
допустим, я смотрю каталог товаров и меня интересуют 3 похожие позиции. что я делаю? открываю сразу три страницы в разных вкладках... и получаю бан? ))
нереально, в общем и бесперспективно.

открываю сразу три страницы в разных вкладках... и получаю бан? ))

это еще и без учета того, что в реальной жизни с одного айпи адреса могут заходить целые подсети. далеко не у всех есть белый IP.

перефразируя одного одиозного олигарха:
- У кого нет собственного IP - может идти в жпу! ))

допустим, я смотрю каталог товаров и меня интересуют 3 похожие позиции. что я делаю? открываю сразу три страницы в разных вкладках... и получаю бан? ))

Парсер всё равно делает это быстрее.
Защититься на 100% нельзя, но осложнить задачу грабберу - реально.

если вас захотят спарсить - вас спарсят, чтобы вы не придумали

Поэтому нужно расслабиться и получать удовольствие? Вот из-за таких настроений воришки контента и чувствуют себя безнаказанно.
Всегда нужно бороться и отстаивать свои права. Поверьте мне, это работает.

Missile, вы невнимательно читали )
выкачивалки сайтов давно обошли эти ограничения. я название постил, скачайте ради интереса, чтобы иллюзии рассеялись.
я могу выставить 3, 5 или 10 секунд интервала запроса между страницами и пойти спать, к утру все что было ваше - станет наше. а в логах вам напишут, что это были разные браузеры, а если прокси прописать, то и IP )

Поэтому нужно расслабиться и получать удовольствие?

совершенно верно голову этим забивать себе точно не стоит, все равно повлиять вы на это никак не сможете.

Поверьте мне, это работает.

поверьте мне (и не только мне) - не работает

это еще и без учета того, что в реальной жизни с одного айпи адреса могут заходить целые подсети

Вряд ли целые подсети будут заходить на один конкретный сайт. Если это не сайт Яндекса, конечно, или известных СМИ.

я название постил, скачайте ради интереса

Я этой фигнёй пользовалась ещё в 2005 году. Но она работает совершенно не так, как парсер. Парсер не выкачивает сайт, он чекает изменения.

поверьте мне (и не только мне) - не работает

У меня лично было несколько случаев, когда удалось заткнуть парсер, и последний случился буквально две-три недели назад.

Missile, ну так принципиальной разницы нет никакой. Спец тулзы всегда идут на шаг впереди защитников.
Конкретно парсер я 1 раз писал сам, простейший. Даже мне знаний хватило, чтобы что-то наваять рабочее с использованием cURL.
А уж те, кто на этом зарабатывает, думается, функционал с прокси и таймаутами давно прикрутили. Так что вы можете торжествовать над школьниками, разве что. Имхо, оно того не стоит )

Спец тулзы всегда идут на шаг впереди защитников.

я бы наверное сказал, что наоборот. но это не особо и важно, правил игры это не меняет

У меня лично было несколько случаев, когда удалось заткнуть парсер, и последний случился буквально две-три недели назад.

та я ж не против. я не говорю, что ваши действия не окажут на какое то время положительного эффекта. есть разные методики, меняются положения блоков контента, привязки к ид и так далее. но в конечном счете это будет игра "кому первому надоест". с учетом того, что парсеров много, а вы одна - то думаю что вам а если итого все равно известен, и это путь неправильный, хоть и более долгий - то зачем?


пусть воруют. тратьте свое время на поиск других способов привлечения, вместо того чтобы тратить его на то, что в конечном итоге все равно будет неудачным

я тоже не против борьбы, в плане получения знаний и опыта ).
но в перспективе кроме изжоги и язвы такая борьба ничего не принесет, имхо. так что абузами бить по шапке особо наглых, а школьников пусть естественный отбор кушает )

полностью поддерживаю. только нервы себе портить, а профита в конечном счете все равно никакого.

защита от парсинга, это то же самое что попытаться защиться от настоящего взлома, бесполезно. Захотят спарсят. Да и толку. Если авторство, то тут право первой публикации работает, да и все равно хрен чего добьешся. Изображения, ну это чаще всего вотермарки бесят, когда все сайты лепят их на не свои картинки.  Так что как верно сказанно выше, чисто в теоритическом плане, погонять мысью, идеи интересная практическая же часть, принесет только потерю времени.

Эмм.. от парсинга?
Мож от граббинга?

Есть такой сервис в Яндексе, называется "Уникальный текст".

Эмм.. от парсинга?
Мож от граббинга?

от кражи цифрового контента, который лежит в паблике

есть разные методики, меняются положения блоков контента, привязки к ид и так далее. но в конечном счете это будет игра "кому первому надоест"

Я использую все средства. Знаете, когда воришка каждые 10 минут получает на свой сайт статью про то, что он неправомерно использует чужой контент - ему это надоедает гораздо быстрее, чем мне.

пусть воруют. тратьте свое время на поиск других способов привлечения

Угу, я должна тратить время и придумывать, чтобы копипастерам легче жилось.

Если авторство, то тут право первой публикации работает, да и все равно хрен чего добьешся.

Никакого такого "права первой публикации не существует" - авторское право возникает в момент создания произведения и не требует никакой регистрации. По крайней мере, в РФ. И добиться своего можно без проблем даже на стадии досудебного урегулирования, если знать законодательство и писать грамотные абузы. Например, согласно ч. 1. ст. 1253.1. Гражданского кодекса РФ хостер несёт ответственность за нарушение интеллектуальных прав, если он знал или должен был знать о нарушении, но не принял мер по его прекращению. Умные хостеры предпочтут лишиться клиента, чем огрести себе проблем на пятую точку, потому что штрафы по ч. 4 ГК РФ могут составлять миллионы рублей. Тем более что достаточно прописать в Правила пользования услугой один пунктик и тем самым обезопасить себя от претензий клиентов. 

от кражи цифрового контента, который лежит в паблике

Нахождение "в паблике" вовсе не означает, что материал может использовать любой, кто захочет. Погуглите ГК РФ, часть 4.

Угу, я должна тратить время и придумывать, чтобы копипастерам легче жилось.

вы меня не поняли. я имел в виду, что вы должны тратить время на то, чтобы легче жилось вам. а не тяжелее им.

Нахождение "в паблике" вовсе не означает, что материал может использовать любой, кто захочет. Погуглите ГК РФ, часть 4.

опять не поняли. я всего лишь объяснил, от чего мы пытаемся защитится.

Я использую все средства. Знаете, когда воришка каждые 10 минут получает на свой сайт статью про то, что он неправомерно использует чужой контент - ему это надоедает гораздо быстрее, чем мне.

не хочется спорить. будем считать, что вы всех победили по крайней мере тех, кого поймали. а остальные... тут проще - вы ж о них не знаете поэтому их как бы и нет

Одна из безумных техник - base64-кодирование контента с последующим его раскодированием JavaScript на стороне клиента.

а поисковики?

а поисковики?

А зачем они?