0 Пользователей и 1 Гость просматривают эту тему.
  • 65 Ответов
  • 1011 Просмотров
*

1-F7

  • Захожу иногда
  • 197
  • 0 / 0
Привет народ, можно ли защитить Joomla от парсинга страниц?
*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
конечно можно. надо просто сайт в интернет не выкладывать. или запретить доступ к нему.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

1-F7

  • Захожу иногда
  • 197
  • 0 / 0
Ясно.
*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
от парсинга чего именно вы хотите защититься? для изображений например можно использовать водяной знак.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

effrit

  • Гуру
  • 7842
  • 873 / 7
  • effrit.com
Joomla ни при чем, как минимум 3 программы умеют пакетно вытаскивать информацию без какого-либо программирования с любого html-сайта (offline explorer, например). настроил интервал запроса страниц и все, никакой анипарсер за руку не поймает - за час выкачает неторопливо ваш сайт...
*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
скачали, посмотрели, если не нужно - закачивайте обратно. а то скачаете все сайты, а в интернете потом ничего не останется :)
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

Missile

  • Давно я тут
  • 811
  • 80 / 0
Можно RSS отключить совсем, настроить через htaccess интервал обращения к странице с одного IP (грубо говоря, человек не может просматривать по одной странице в 5 секунд). Забанить парсер по IP (если ходит не через прокси). Установить антилич на картинки, если тащат с картинками. Если парсер тащит статью в режиме реального времени и тут же публикует - подсовывать ему левую статью с разной бякой :). Вообще, парсеры разные бывают - некоторые работают через кэширующие прокси, с такими бороться сложнее.

А ещё на копипастеров контента можно накатать абузу хостеру и в поисковые системы. Мне помогало. Google по абузе DMCA выкинул из поиска страницы парсильщика с копированными статьями, а хостер заставил удалить статьи. Зеркало Рунета никак не отреагировало - по своему обыкновению.

*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
все, что кроме абузы - это все конечно можно делать. только зачем? :) результат будет ровно такой же, как если бы ничего не делать :) если вас захотят спарсить - вас спарсят, чтобы вы не придумали.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

1-F7

  • Захожу иногда
  • 197
  • 0 / 0
Спасибо всем за ответы.
*

effrit

  • Гуру
  • 7842
  • 873 / 7
  • effrit.com
Missile, защититься от выкачивания сайта - нельзя, а вот навредить реальным посетителям - можно.
допустим, я смотрю каталог товаров и меня интересуют 3 похожие позиции. что я делаю? открываю сразу три страницы в разных вкладках... и получаю бан? ))
нереально, в общем и бесперспективно.
*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
открываю сразу три страницы в разных вкладках... и получаю бан? ))
это еще и без учета того, что в реальной жизни с одного айпи адреса могут заходить целые подсети. далеко не у всех есть белый IP.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

effrit

  • Гуру
  • 7842
  • 873 / 7
  • effrit.com
*

Missile

  • Давно я тут
  • 811
  • 80 / 0
Цитировать
допустим, я смотрю каталог товаров и меня интересуют 3 похожие позиции. что я делаю? открываю сразу три страницы в разных вкладках... и получаю бан? ))
Парсер всё равно делает это быстрее.
Защититься на 100% нельзя, но осложнить задачу грабберу - реально.
Цитировать
если вас захотят спарсить - вас спарсят, чтобы вы не придумали
Поэтому нужно расслабиться и получать удовольствие? Вот из-за таких настроений воришки контента и чувствуют себя безнаказанно.
Всегда нужно бороться и отстаивать свои права. Поверьте мне, это работает.
*

effrit

  • Гуру
  • 7842
  • 873 / 7
  • effrit.com
Missile, вы невнимательно читали )
выкачивалки сайтов давно обошли эти ограничения. я название постил, скачайте ради интереса, чтобы иллюзии рассеялись.
я могу выставить 3, 5 или 10 секунд интервала запроса между страницами и пойти спать, к утру все что было ваше - станет наше. а в логах вам напишут, что это были разные браузеры, а если прокси прописать, то и IP )
*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
Поэтому нужно расслабиться и получать удовольствие?
совершенно верно :) голову этим забивать себе точно не стоит, все равно повлиять вы на это никак не сможете.

Поверьте мне, это работает.
поверьте мне (и не только мне) - не работает :)
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

Missile

  • Давно я тут
  • 811
  • 80 / 0
Цитировать
это еще и без учета того, что в реальной жизни с одного айпи адреса могут заходить целые подсети
Вряд ли целые подсети будут заходить на один конкретный сайт. Если это не сайт Яндекса, конечно, или известных СМИ.
*

Missile

  • Давно я тут
  • 811
  • 80 / 0
Цитировать
я название постил, скачайте ради интереса
Я этой фигнёй пользовалась ещё в 2005 году. Но она работает совершенно не так, как парсер. Парсер не выкачивает сайт, он чекает изменения.
*

Missile

  • Давно я тут
  • 811
  • 80 / 0
Цитировать
поверьте мне (и не только мне) - не работает
У меня лично было несколько случаев, когда удалось заткнуть парсер, и последний случился буквально две-три недели назад.
*

effrit

  • Гуру
  • 7842
  • 873 / 7
  • effrit.com
Missile, ну так принципиальной разницы нет никакой. Спец тулзы всегда идут на шаг впереди защитников.
Конкретно парсер я 1 раз писал сам, простейший. Даже мне знаний хватило, чтобы что-то наваять рабочее с использованием cURL.
А уж те, кто на этом зарабатывает, думается, функционал с прокси и таймаутами давно прикрутили. Так что вы можете торжествовать над школьниками, разве что. Имхо, оно того не стоит )
*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
Спец тулзы всегда идут на шаг впереди защитников.
я бы наверное сказал, что наоборот. но это не особо и важно, правил игры это не меняет :)

У меня лично было несколько случаев, когда удалось заткнуть парсер, и последний случился буквально две-три недели назад.
та я ж не против. я не говорю, что ваши действия не окажут на какое то время положительного эффекта. есть разные методики, меняются положения блоков контента, привязки к ид и так далее. но в конечном счете это будет игра "кому первому надоест". с учетом того, что парсеров много, а вы одна - то думаю что вам :) а если итого все равно известен, и это путь неправильный, хоть и более долгий - то зачем?

Спойлер
[свернуть]

пусть воруют. тратьте свое время на поиск других способов привлечения, вместо того чтобы тратить его на то, что в конечном итоге все равно будет неудачным
« Последнее редактирование: 10.10.2016, 15:05:26 от dmitry_stas »
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

effrit

  • Гуру
  • 7842
  • 873 / 7
  • effrit.com
я тоже не против борьбы, в плане получения знаний и опыта ).
но в перспективе кроме изжоги и язвы такая борьба ничего не принесет, имхо. так что абузами бить по шапке особо наглых, а школьников пусть естественный отбор кушает )
*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
полностью поддерживаю. только нервы себе портить, а профита в конечном счете все равно никакого.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

Septdir

  • Живу я здесь
  • 2741
  • 133 / 3
  • JoomlaZen
защита от парсинга, это то же самое что попытаться защиться от настоящего взлома, бесполезно. Захотят спарсят. Да и толку. Если авторство, то тут право первой публикации работает, да и все равно хрен чего добьешся. Изображения, ну это чаще всего вотермарки бесят, когда все сайты лепят их на не свои картинки.  Так что как верно сказанно выше, чисто в теоритическом плане, погонять мысью, идеи интересная практическая же часть, принесет только потерю времени.
Не можете справиться с задачей сами пишите, решу ее за вас, не бесплатно*.
*Интересная задача, Деньги или Бартер. Натурой не беру!
Мои Контакты | Мой GitHub | JoomlaZen
*

Филипп Сорокин

  • Сорокин Band
  • 1855
  • 148 / 4
Эмм.. от парсинга?
Мож от граббинга?

Есть такой сервис в Яндексе, называется "Уникальный текст".
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг
*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
Эмм.. от парсинга?
Мож от граббинга?
от кражи цифрового контента, который лежит в паблике :)
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

Missile

  • Давно я тут
  • 811
  • 80 / 0
Цитировать
есть разные методики, меняются положения блоков контента, привязки к ид и так далее. но в конечном счете это будет игра "кому первому надоест"
Я использую все средства. Знаете, когда воришка каждые 10 минут получает на свой сайт статью про то, что он неправомерно использует чужой контент - ему это надоедает гораздо быстрее, чем мне.
Цитировать
пусть воруют. тратьте свое время на поиск других способов привлечения
Угу, я должна тратить время и придумывать, чтобы копипастерам легче жилось.
Цитировать
Если авторство, то тут право первой публикации работает, да и все равно хрен чего добьешся.
Никакого такого "права первой публикации не существует" - авторское право возникает в момент создания произведения и не требует никакой регистрации. По крайней мере, в РФ. И добиться своего можно без проблем даже на стадии досудебного урегулирования, если знать законодательство и писать грамотные абузы. Например, согласно ч. 1. ст. 1253.1. Гражданского кодекса РФ хостер несёт ответственность за нарушение интеллектуальных прав, если он знал или должен был знать о нарушении, но не принял мер по его прекращению. Умные хостеры предпочтут лишиться клиента, чем огрести себе проблем на пятую точку, потому что штрафы по ч. 4 ГК РФ могут составлять миллионы рублей. Тем более что достаточно прописать в Правила пользования услугой один пунктик и тем самым обезопасить себя от претензий клиентов. 
Цитировать
от кражи цифрового контента, который лежит в паблике
Нахождение "в паблике" вовсе не означает, что материал может использовать любой, кто захочет. Погуглите ГК РФ, часть 4.
*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
Угу, я должна тратить время и придумывать, чтобы копипастерам легче жилось.
вы меня не поняли. я имел в виду, что вы должны тратить время на то, чтобы легче жилось вам. а не тяжелее им.

Нахождение "в паблике" вовсе не означает, что материал может использовать любой, кто захочет. Погуглите ГК РФ, часть 4.
опять не поняли. я всего лишь объяснил, от чего мы пытаемся защитится.

Я использую все средства. Знаете, когда воришка каждые 10 минут получает на свой сайт статью про то, что он неправомерно использует чужой контент - ему это надоедает гораздо быстрее, чем мне.
не хочется спорить. будем считать, что вы всех победили :) по крайней мере тех, кого поймали. а остальные... тут проще - вы ж о них не знаете :) поэтому их как бы и нет :)
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

Филипп Сорокин

  • Сорокин Band
  • 1855
  • 148 / 4
Одна из безумных техник - base64-кодирование контента с последующим его раскодированием JavaScript на стороне клиента.
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг
*

dmitry_stas

  • Легенда
  • 10552
  • 1017 / 7
а поисковики?
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

voland

  • Легенда
  • 9711
  • 539 / 106
  • Эта строка съедает место на вашем мониторе
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Joomla 4 alfa

Автор web3.0

Ответов: 174
Просмотров: 1964
Последний ответ Сегодня в 00:12:24
от zomby6888
Видео не влазят в мобильнй экран Joomla 3

Автор bb777

Ответов: 0
Просмотров: 14
Последний ответ 10.12.2017, 19:25:22
от bb777
Необходимо убрать '?layout=category' из ссылок в хлебных крошках - Joomla! 3.6.2б, JoomShoping

Автор mankutila

Ответов: 3
Просмотров: 197
Последний ответ 07.12.2017, 23:12:13
от Aleks.Denezh
Вывод дополнительных полей Joomla 3.7 в шаблоне статьи

Автор mrN

Ответов: 9
Просмотров: 891
Последний ответ 06.12.2017, 10:28:56
от Mitriy
Материалы в Joomla x3

Автор Edward_m

Ответов: 6
Просмотров: 127
Последний ответ 06.12.2017, 08:32:37
от Edward_m