Можно ли защитить Joomla от парсинга страниц?

  • 65 Ответов
  • 863 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

1-F7

  • ****
  • 209
  • 0
Привет народ, можно ли защитить Joomla от парсинга страниц?

*

dmitry_stas

  • ********
  • 9615
  • 929
конечно можно. надо просто сайт в интернет не выкладывать. или запретить доступ к нему.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

1-F7

  • ****
  • 209
  • 0
Ясно.

*

dmitry_stas

  • ********
  • 9615
  • 929
от парсинга чего именно вы хотите защититься? для изображений например можно использовать водяной знак.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

effrit

  • *****
  • 7441
  • 815
  • effrit.com
Joomla ни при чем, как минимум 3 программы умеют пакетно вытаскивать информацию без какого-либо программирования с любого html-сайта (offline explorer, например). настроил интервал запроса страниц и все, никакой анипарсер за руку не поймает - за час выкачает неторопливо ваш сайт...

*

dmitry_stas

  • ********
  • 9615
  • 929
скачали, посмотрели, если не нужно - закачивайте обратно. а то скачаете все сайты, а в интернете потом ничего не останется :)
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

Missile

  • *****
  • 791
  • 79
Можно RSS отключить совсем, настроить через htaccess интервал обращения к странице с одного IP (грубо говоря, человек не может просматривать по одной странице в 5 секунд). Забанить парсер по IP (если ходит не через прокси). Установить антилич на картинки, если тащат с картинками. Если парсер тащит статью в режиме реального времени и тут же публикует - подсовывать ему левую статью с разной бякой :). Вообще, парсеры разные бывают - некоторые работают через кэширующие прокси, с такими бороться сложнее.

А ещё на копипастеров контента можно накатать абузу хостеру и в поисковые системы. Мне помогало. Google по абузе DMCA выкинул из поиска страницы парсильщика с копированными статьями, а хостер заставил удалить статьи. Зеркало Рунета никак не отреагировало - по своему обыкновению.


*

dmitry_stas

  • ********
  • 9615
  • 929
все, что кроме абузы - это все конечно можно делать. только зачем? :) результат будет ровно такой же, как если бы ничего не делать :) если вас захотят спарсить - вас спарсят, чтобы вы не придумали.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

1-F7

  • ****
  • 209
  • 0
Спасибо всем за ответы.

*

effrit

  • *****
  • 7441
  • 815
  • effrit.com
Missile, защититься от выкачивания сайта - нельзя, а вот навредить реальным посетителям - можно.
допустим, я смотрю каталог товаров и меня интересуют 3 похожие позиции. что я делаю? открываю сразу три страницы в разных вкладках... и получаю бан? ))
нереально, в общем и бесперспективно.

*

dmitry_stas

  • ********
  • 9615
  • 929
открываю сразу три страницы в разных вкладках... и получаю бан? ))
это еще и без учета того, что в реальной жизни с одного айпи адреса могут заходить целые подсети. далеко не у всех есть белый IP.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций


*

Missile

  • *****
  • 791
  • 79
Цитировать
допустим, я смотрю каталог товаров и меня интересуют 3 похожие позиции. что я делаю? открываю сразу три страницы в разных вкладках... и получаю бан? ))
Парсер всё равно делает это быстрее.
Защититься на 100% нельзя, но осложнить задачу грабберу - реально.
Цитировать
если вас захотят спарсить - вас спарсят, чтобы вы не придумали
Поэтому нужно расслабиться и получать удовольствие? Вот из-за таких настроений воришки контента и чувствуют себя безнаказанно.
Всегда нужно бороться и отстаивать свои права. Поверьте мне, это работает.

*

effrit

  • *****
  • 7441
  • 815
  • effrit.com
Missile, вы невнимательно читали )
выкачивалки сайтов давно обошли эти ограничения. я название постил, скачайте ради интереса, чтобы иллюзии рассеялись.
я могу выставить 3, 5 или 10 секунд интервала запроса между страницами и пойти спать, к утру все что было ваше - станет наше. а в логах вам напишут, что это были разные браузеры, а если прокси прописать, то и IP )

*

dmitry_stas

  • ********
  • 9615
  • 929
Поэтому нужно расслабиться и получать удовольствие?
совершенно верно :) голову этим забивать себе точно не стоит, все равно повлиять вы на это никак не сможете.

Поверьте мне, это работает.
поверьте мне (и не только мне) - не работает :)
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

Missile

  • *****
  • 791
  • 79
Цитировать
это еще и без учета того, что в реальной жизни с одного айпи адреса могут заходить целые подсети
Вряд ли целые подсети будут заходить на один конкретный сайт. Если это не сайт Яндекса, конечно, или известных СМИ.

*

Missile

  • *****
  • 791
  • 79
Цитировать
я название постил, скачайте ради интереса
Я этой фигнёй пользовалась ещё в 2005 году. Но она работает совершенно не так, как парсер. Парсер не выкачивает сайт, он чекает изменения.

*

Missile

  • *****
  • 791
  • 79
Цитировать
поверьте мне (и не только мне) - не работает
У меня лично было несколько случаев, когда удалось заткнуть парсер, и последний случился буквально две-три недели назад.

*

effrit

  • *****
  • 7441
  • 815
  • effrit.com
Missile, ну так принципиальной разницы нет никакой. Спец тулзы всегда идут на шаг впереди защитников.
Конкретно парсер я 1 раз писал сам, простейший. Даже мне знаний хватило, чтобы что-то наваять рабочее с использованием cURL.
А уж те, кто на этом зарабатывает, думается, функционал с прокси и таймаутами давно прикрутили. Так что вы можете торжествовать над школьниками, разве что. Имхо, оно того не стоит )

*

dmitry_stas

  • ********
  • 9615
  • 929
Спец тулзы всегда идут на шаг впереди защитников.
я бы наверное сказал, что наоборот. но это не особо и важно, правил игры это не меняет :)

У меня лично было несколько случаев, когда удалось заткнуть парсер, и последний случился буквально две-три недели назад.
та я ж не против. я не говорю, что ваши действия не окажут на какое то время положительного эффекта. есть разные методики, меняются положения блоков контента, привязки к ид и так далее. но в конечном счете это будет игра "кому первому надоест". с учетом того, что парсеров много, а вы одна - то думаю что вам :) а если итого все равно известен, и это путь неправильный, хоть и более долгий - то зачем?

Спойлер
[свернуть]

пусть воруют. тратьте свое время на поиск других способов привлечения, вместо того чтобы тратить его на то, что в конечном итоге все равно будет неудачным
« Последнее редактирование: 10.10.2016, 17:05:26 от dmitry_stas »
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

effrit

  • *****
  • 7441
  • 815
  • effrit.com
я тоже не против борьбы, в плане получения знаний и опыта ).
но в перспективе кроме изжоги и язвы такая борьба ничего не принесет, имхо. так что абузами бить по шапке особо наглых, а школьников пусть естественный отбор кушает )

*

dmitry_stas

  • ********
  • 9615
  • 929
полностью поддерживаю. только нервы себе портить, а профита в конечном счете все равно никакого.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

Septdir

  • *******
  • 2138
  • 106
  • JoomlaZen
защита от парсинга, это то же самое что попытаться защиться от настоящего взлома, бесполезно. Захотят спарсят. Да и толку. Если авторство, то тут право первой публикации работает, да и все равно хрен чего добьешся. Изображения, ну это чаще всего вотермарки бесят, когда все сайты лепят их на не свои картинки.  Так что как верно сказанно выше, чисто в теоритическом плане, погонять мысью, идеи интересная практическая же часть, принесет только потерю времени.
Не можете справиться с задачей сами пишите, решу ее за вас, не бесплатно*.
*Интересная задача, Деньги или Бартер. Натурой не беру!
________
Мои Контакты | JoomlaZen

Эмм.. от парсинга?
Мож от граббинга?

Есть такой сервис в Яндексе, называется "Уникальный текст".
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг

*

dmitry_stas

  • ********
  • 9615
  • 929
Эмм.. от парсинга?
Мож от граббинга?
от кражи цифрового контента, который лежит в паблике :)
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

Missile

  • *****
  • 791
  • 79
Цитировать
есть разные методики, меняются положения блоков контента, привязки к ид и так далее. но в конечном счете это будет игра "кому первому надоест"
Я использую все средства. Знаете, когда воришка каждые 10 минут получает на свой сайт статью про то, что он неправомерно использует чужой контент - ему это надоедает гораздо быстрее, чем мне.
Цитировать
пусть воруют. тратьте свое время на поиск других способов привлечения
Угу, я должна тратить время и придумывать, чтобы копипастерам легче жилось.
Цитировать
Если авторство, то тут право первой публикации работает, да и все равно хрен чего добьешся.
Никакого такого "права первой публикации не существует" - авторское право возникает в момент создания произведения и не требует никакой регистрации. По крайней мере, в РФ. И добиться своего можно без проблем даже на стадии досудебного урегулирования, если знать законодательство и писать грамотные абузы. Например, согласно ч. 1. ст. 1253.1. Гражданского кодекса РФ хостер несёт ответственность за нарушение интеллектуальных прав, если он знал или должен был знать о нарушении, но не принял мер по его прекращению. Умные хостеры предпочтут лишиться клиента, чем огрести себе проблем на пятую точку, потому что штрафы по ч. 4 ГК РФ могут составлять миллионы рублей. Тем более что достаточно прописать в Правила пользования услугой один пунктик и тем самым обезопасить себя от претензий клиентов. 
Цитировать
от кражи цифрового контента, который лежит в паблике
Нахождение "в паблике" вовсе не означает, что материал может использовать любой, кто захочет. Погуглите ГК РФ, часть 4.

*

dmitry_stas

  • ********
  • 9615
  • 929
Угу, я должна тратить время и придумывать, чтобы копипастерам легче жилось.
вы меня не поняли. я имел в виду, что вы должны тратить время на то, чтобы легче жилось вам. а не тяжелее им.

Нахождение "в паблике" вовсе не означает, что материал может использовать любой, кто захочет. Погуглите ГК РФ, часть 4.
опять не поняли. я всего лишь объяснил, от чего мы пытаемся защитится.

Я использую все средства. Знаете, когда воришка каждые 10 минут получает на свой сайт статью про то, что он неправомерно использует чужой контент - ему это надоедает гораздо быстрее, чем мне.
не хочется спорить. будем считать, что вы всех победили :) по крайней мере тех, кого поймали. а остальные... тут проще - вы ж о них не знаете :) поэтому их как бы и нет :)
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

Одна из безумных техник - base64-кодирование контента с последующим его раскодированием JavaScript на стороне клиента.
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг

*

dmitry_stas

  • ********
  • 9615
  • 929
а поисковики?
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

voland

  • ********
  • 9348
  • 420
  • СКАЙП утерян! Пишите в телеграм @volandku