JComments с Клинтолк (сервис защиты от спама)

[jcu]

Всем привет!

Я представляю Клинтолк - бесплатный сервис для защиты от спама и автомодерации сообщений, позволяющий отказаться от CAPTCHA и облегчить жизнь модераторам.

Мы подготовили версию JComments с Клинтолк и просим вас принять участие в её тестировании.

Результаты тестирования и пожелания можно оставлять здесь или отправлять на welcome@cleantalk.ru . Ответим всем.

Спасибо за внимание.

[beliyadm]

а сделать это плагином к jcomment, но не хаком ядра? Думаю что Сергей будет не очень за подобный подход

[jcu]

Смотрели раздел Разработчикам. К сожалению, ничего полезного для решения нашей задачи не нашли.

Понимаю, что патч не лучшее решение, поэтому постарались сделать его минимальным, в виде обращений к плагину Клинтолк.

Буду очень рад, если предложите лучший вариант реализации.

[zikkuratvk]

А вы пробовали просто с разработчиком пообщаться :-) это иногда очень даже продуктивно бывает

[jcu]

Не пробовали, хотя это была первая мысль после того, как стало понятно, что стандартных вариантов решения нет. Но решили всё-таки сначала выпустить прототип, чтобы было что обсудить поконкретнее.

Поэтому в этой теме хотелось бы получить не только комментарии заинтересованных людей, но и самих разработчиков.

[djbob2000]

Все сделал как написано. Но пишет что будет опубликовано только после проверки модератором.
В каммент дописывает "*** Can't connect to cleantalk.ru ***"
Я так понял не соединяется, в чем проблема?

[shagimuratov]

Все сделал как написано. Но пишет что будет опубликовано только после проверки модератором.
В каммент дописывает "*** Can't connect to cleantalk.ru ***"
Я так понял не соединяется, в чем проблема?

Либо была временная сетевая проблема, либо на вашем хостинге зафильтрован порт tcp/9000. Попробуйте сделать комментарий повторно, если результат будет тотже вышлите мне в ПМ имайл на который получили ключ доступа, проверю со стороны сервера.

[beliyadm]

Попробовал, локально все вроде бы работает без замечаний. Для проверки взял десяток комментов с данными из заблокированных акисметов в моем блоге, на все выдались сообщения о блокировке с ссылкой на www.stopforumspam.com
При этом мои ручные комментарии от васи пупкина с текстом "viagra site link" прекрасно опубликовались.


P.S. При получении сообщения об ошибке картинка CAPTCHA в вашей сборки не меняется. Если у пользователя это случайное совпадение - надо поправить

[beliyadm]

И по поводу интеграции мысль - повесить ваш плагин на события триггеров типа onBeforeCommentPublished и onBeforeCommentAdded

[smart]

В текущей реализации плагин способен уложить средний VDS, ибо запрос вида:

Код

		$query = "SELECT comment "
				. "\nFROM #__jcomments "
				. "\nWHERE published = 1 "
				. "\n  AND object_group = '" . $db->getEscaped($comment->object_group). "'"
				. "\n  AND object_id = " . $comment->object_id
				. (JCommentsMultilingual::isEnabled()? "\nAND lang = '" . JCommentsMultilingual::getLanguage(). "'" : "")
				;
		$db->setQuery($query);

На базе в 300-400 тысяч комментариев - база ляжет сразу...

Ну а патчить ядро, чтобы прикрутить проверку... У меня лично (без обид) возникают серьезные вопросы о квалификации разработчиков...

У JComments есть несколько событий, которые можно использовать для решения задачи блокировки комментария со спамом (onBeforeCommentAdded, onBeforeCommentPublished, onBeforeCommentChanged). Их вполне достаточно, чтобы заблокировать добавление комментария со спамом и выдать (при необходимости) соответствующее сообщение пользователю.

[jcu]

1. По запросу. Вы видимо не внимательно прочитали, так как запрос получает все комментарии к объекту (статье) по её идентификатору (object_id). Такой же запрос используется у вас для проверки на дубликаты.

Может быть проблема с величиной возвращаемых данных, если комментариев очень много (это мы решим), но не с производительностью.

2. По событиям. Согласен, что некоторые проверки можно вынести в указанные события, но дело в том, что мы бы хотели получать обратную связь по результатам модерирования в админке. А там код на это не рассчитан. Он там самый минималистичный, поэтому патчить все равно бы пришлось. Выбран единый стиль.

Что можете порекомендовать относительно скриптов админки?

[smart]

По запросу да, не совсем корректное, но все равно имеющее место замечание. Даже если это для одной статьи - все равно, будет падать, если комментариев для статьи много (опять же есть у меня данные от пользователей, где на статью по 10-20 тысяч комментариев). Дело в том, что в запросе, проверяющем дубликаты во-первых есть фильтр по пользователю, а во-вторых не выбирается текст комментария, а лишь считается кол-во, а здесь будет явный перерасход памяти. В результате возможна ситуация, когда комментарий не будет добавляться.

мы бы хотели получать обратную связь по результатам модерирования в админке. А там код на это не рассчитан. Он там самый минималистичный, поэтому патчить все равно бы пришлось. Выбран единый стиль.

Ну во-первых не очень понятно, зачем нужна обратная связь из административной панели, ибо при корректной работе сервиса, он должен не пропускать комментарии со спамом, а значит, их не должно быть в базе, и не должно быть в административной панели. Во-вторых, не совсем понятно, почему ваше желание иметь обратную связь должно обязывать пользователей ставить модифицированную версию расширения. Не хватает каких-то событий - всегда можно обратиться к разработчику и попросить их добавить. Перечислите те события, которые хотелось бы иметь в административной панели - добавлю (тем более, новый релиз скоро).

В любом случае, я не рекомендую пользователям ставить модифицированные версии JComments. Кем бы они и когда бы они не были выпущены. Во-первых из соображений безопасности, во-вторых потому, что техническая поддержка оказывается только по оригинальным версиям компонента.

[jcu]

Обратная связь из административной панели нужна в тех случаях, когда сообщение не является спамом, но оно не рекомендовано к публикации, например, содержит множество негативных признаков. Тогда сообщение попадает на обработку модератору и он решает, что с ним делать. Именно о решении модератора по конкретному сообщению мы и хотим узнать.

По событиям. Когда примерно планируется релиз? Могу подготовить список того, что хотелось бы и обсудить до релиза.

[smart]

Тогда сообщение попадает на обработку модератору и он решает, что с ним делать. Именно о решении модератора по конкретному сообщению мы и хотим узнать.

Но этот функционал должен быть обязательно настраиваемым. Пользователь (администратор) должен быть в курсе о том, что информация о его действиях куда-то отсылается и иметь возможность включать/отключать. Причем по умолчанию, этот функционал должен быть выключен.

По событиям. Когда примерно планируется релиз? Могу подготовить список того, что хотелось бы и обсудить до релиза.

Подготовьте и опубликуйте, чем раньше, тем лучше.

[jcu]

Хотелось бы увидеть в коде админки:
теже события, что уже есть - onBeforeCommentAdded, onBeforeCommentPublished
плюс - onBeforeCommentDeleted

Ещё интересно, как предлагаете штатными методами сделать настройку. То есть так, чтобы проверку можно было включать через меню JCommetns "Права - Группы пользователей - Настройка прав группы пользователей"?

А Akismet такойже сторонний сервис.

[shagimuratov]

Попробовал, локально все вроде бы работает без замечаний. Для проверки взял десяток комментов с данными из заблокированных акисметов в моем блоге, на все выдались сообщения о блокировке с ссылкой на www.stopforumspam.com
При этом мои ручные комментарии от васи пупкина с текстом "viagra site link" прекрасно опубликовались.

Bellyadm, текст "viagra site link" не содержит ссылок, либо других контактов, т.е. по сути не является спамом, поэтому автомодератор его опубликовал.

Спасибо за тестирование!

[shagimuratov]

Должен быть вариант выбора - CAPTCHA или сервис. Лично меня зависимость от стороннего ресурса явно не радует. А если он ляжет - я останусь без защиты...

Если сервис ляжет, то наш плагин отправит комментарии на ручную модерацию, совсем без защиты не останетесь.

[AHTOH]

Через какое время сервис предлагается перевести на платную основу?
И сколько планируете брать за годовую подписку?

[shagimuratov]

Антон, конкретных сроков монетизации нет.

Если и сделаем коммерческую подписку, то стоимость будет на уровне рынка + бесплатный тарифный план для пользователей с небольшой нагрузкой.

[Геныч]

Если сервис ляжет, то наш плагин отправит комментарии на ручную модерацию, совсем без защиты не останетесь.

Это если один-два комментария. А если сотни? Это во-первых. А во-вторых, в принципе непонятно, чем данный комплект лучше CAPTCHA, и почему я ее должен срочно бросать ради нового и наверняка неотлаженного плагина? Например, достаточно продуктивно работает связка: зарегистрированные пользователи публикуют автоматом, остальные с капчей. И это вполне устраивает.
Если говорить в общем, то для меня, как пользователя 1) не ясны преимущества, 2) а также критерии фильтрации. Может фильтр будет столь жесткий, что "съест" "полезные" сообщения? 

P.S. Надо бы добавить возможность "живого" тестирования или хотя бы просмотра уже установленного плагина. Просто на данный момент ни времени, ни свободной площадки для тестирования нет.

[smart]

Чем подобные сервисы лучше CAPTCHA объяснить несложно - их работа основывается на обработке текста, например, с помощью  баесовского классификатора. Такие фильтры довольно быстро обучаются (поэтому-то им и нужна обратная реакция - знать о решениях, принятых реальными администраторами) и впоследствии дают очень неплохие результаты при фильтрации. Безусловно, их можно целенаправленно "сбивать", но это уже другая история.

А любые CAPTCHA в конечном счете сейчас очень неплохо распознаются, тем более, что в реальных условиях используется не больше десятка разных реализаций. Поэтому как средство борьбы со спамом, тот же байесовский фильтр мне кажется лучше.

Другое дело, я не очень понимаю, чем описанный здесь сервис лучше, чем тот же Akismet или Mollom...

[jcu]

smart, просто не заметили вопрос или пока нет решения?

Ещё интересно, как предлагаете штатными методами сделать настройку. То есть так, чтобы проверку можно было включать через меню JCommetns "Права - Группы пользователей - Настройка прав группы пользователей"?

[smart]

Готового решения пока нет, думаю. Самый простой вариант - реализовать эту настройку в параметрах самого плагина, тем более, он же не только комментариями заниматься будет (и думаю ведь не только JComments), более сложный - вынести в параметры JComment поддержку специального вида плагинов для борьбы со спамом и давать из выбирать, как сейчас реализовано с CAPTCHA. Мне нужно немного времени подумать...

[shagimuratov]

Это если один-два комментария. А если сотни? Это во-первых. А во-вторых, в принципе непонятно, чем данный комплект лучше CAPTCHA, и почему я ее должен срочно бросать ради нового и наверняка неотлаженного плагина? Например, достаточно продуктивно работает связка: зарегистрированные пользователи публикуют автоматом, остальные с капчей. И это вполне устраивает.
Если говорить в общем, то для меня, как пользователя 1) не ясны преимущества, 2) а также критерии фильтрации. Может фильтр будет столь жесткий, что "съест" "полезные" сообщения? 

P.S. Надо бы добавить возможность "живого" тестирования или хотя бы просмотра уже установленного плагина. Просто на данный момент ни времени, ни свободной площадки для тестирования нет.

Проект работает на 2х серверах в разных датацентрах, одновременный выход из строя обоих маловероятен.

Фильтрация происходит по черным спискам IP, email адресов + делается сравнение текста комментария со статьей и предыдущими комментариями, офтоп отправляется на ручную модерацию.

Сегодня вечером подниму тестовую площадку с установленным плагином, отпишу вам в личку реквизиты доступа.

[beliyadm]

shagimuratov - не примите это в штыки, но действительно, чем ваш сервис отличается от того же akismet?

[shagimuratov]

Beliyadm, smart, cпасибо за хороший вопрос.

В отличии от акисмета и молома, мы разиваем и серверную, и клиентскую часть. Стараемся сделать удобный софт на стороне клиента, привнести в него наработки с других платформ. Для фильтрации спама используем не только возможности сервиса, но и "офлайновые" методы борьбы со спамом на стороне клиента, к примеру такие как возможность запретить регистрацию с зоной UTC-12 в последнем модуле для phpBB3.

Ну и кроме того у нас есть русскоязычная техподдержка.

[beliyadm]

В отличии от акисмета и молома, мы разиваем и серверную, и клиентскую часть. Стараемся сделать удобный софт на стороне клиента, привнести в него наработки с других платформ. Для фильтрации спама используем не только возможности сервиса, но и "офлайновые" методы борьбы со спамом на стороне клиента, к примеру такие как возможность запретить регистрацию с зоной UTC-12 в последнем модуле для phpBB3.

Мы не просим красивых маркетинговых слов, мы лишь хотим понять - чем одно (что уже сто лет себя оправдало) хуже чем новое.
Не надо говорить красивых слов "мы разиваем и серверную, и клиентскую часть"
Я лишь хочу знать - чем и по каким параметрам ваш алгоритм лучше того же акисмета
Не говорю что вы плохие и прочие эпитеты, просто нам нужно знать объективные параметры подхода

[shagimuratov]

beliyadm, при всем желании не могу сказать чем мы технологически лучше или хуже Акисмета, т.к. не знаю алгоритмов его работы.

Объективные параметры думаю может выявить только лобовое сравнение двух систем на живом сайте.

[smart]

Ну а какая-то полезная статистика есть? Сколько сайтов уже подключено к системе, количество заблокированных сообщений, общее кол-во сообщений (за сутки, неделю, месяц). У вас на сайте вообще никакой полезной информации. Ни об алгоритмах работы, ни о каких-либо преимуществах. Ничего. Кроме модифицированной версии JComments, которую я по-прежнему не рекомендую ставить пользователям.

Пока что я не вижу ни то, что какого-то SaaS, даже продукта с вменяемым описанием не вижу. Только некий сайт из 6 страниц, больше напоминающий домашнюю страничку и все. И мне, как пользователю, не совсем понятно из того, что видно на сайте, почему я должен доверять этому сервису? Почему я должен предпочесть его старому проверенному Akismet (который за последние сутки заблокировал 59 млн. спам сообщений)... В общем не обижайтесь, задумка неплохая, но реализация пока что на слабую тройку.

[shagimuratov]

Smart, статистика есть, к примеру количество заблокированных спам сообщений и регистрации спам ботов вчера привысило 100 тыс. Эта информация есть на сайте. К системе подключенно 52 активных сайта, в сутки Клинтолк обрабатывает 1.5-2 тыс. запросов.

Что касается описания алгоритмов и деталей работы системы, большинство пользователей ищут конкретное решение проблемы - модуль, плагин, каптчу и т.д. Как работает конкретный плагин, их не интересует, поэтому я не вижу смысла размещать на сайте информацию которую большинство проигнорирует. Но мы всегда готовы ответить в личной переписке.

Спасибо за хорошие вопросы.

[smart]

Как работает конкретный плагин, их не интересует

Может быть юных школьниц, отчаянных студентов и симпатичных домохозяек это и не интересует, но любой здравомыслящий веб-мастер желает знать где сидит фазан как работает плагин, который он собирается установить к себе на сайт, какую информацию этот плагин отсылает на сервер, и что с этой информацией на сервере делается, какова политика безопасности сервиса и т.д. Если конечно, этот веб-мастер хоть сколько-нибудь заботится о безопасности, а не наряжает свой сайт как новогоднюю ёлку всем, что попадается ему на пути.

[shagimuratov]

Smart, согласен, разместим информацию о принципах работы сервиса на сайте.

[jcu]

Не нужно путать "принципы работы плагина" с "принципами работы сервиса".

О первом вебмастер должен знать столько сколько хочет, чтобы быть уверенным в стабильности своего продукта.

Второе же можно отнести к разряду черного ящика. О его принципах работы знать совершенно не обязательно по той же причине по которой вы не знаете, как досконально работает поиск в Google или yandex. Тем не менее, вы им доверяете. По моему, о принципах работы сервиса написано достаточно, чтобы понять в общих чертах как он работает. Если какие-то детали опущены, то возможно просто потому, что они ещё не устоялись и находятся в стадии тестирования.

[jcu]

И раз уж вы заговорили о информационном наполнении, то обращу ваше внимание на документацию JComments для разработчиков. В свете начала темы очень бы хотелось, чтобы там появился раздел посвященный событиям, плагинам к компоненту и, может быть, пожеланиям от авторов к сторонним разработчикам. Спасибо.

[smart]

А я не писал, что меня интересует детальная информация об алгоритмах работы сервиса, но как минимум опубликовать список отличий от имеющихся сервисов, принципиальное различие, какая информация, в каком объеме куда отсылается и как используется. Какие гарантии конфиденциальности полученной информации предоставляются и т.д. Ведь в текущей реализации плагин отправляет на проверку сервису все комментарии на сайте, но это отнюдь не означает, что все эти комментарии опубликованы в общем доступе (с какой целью владелец сайта может включить плагин - это его дело), но по факту, информация уходит в ваш сервис, и нужные какие-то гарантии, что она не попадет к третьим лицам. В настоящее время я вижу только сайт-заглушку, а хотелось бы более полноценной информации.

В свете начала темы очень бы хотелось, чтобы там появился раздел посвященный событиям, плагинам к компоненту и, может быть, пожеланиям от авторов к сторонним разработчикам.

Мне самому этого бы очень хотелось, но в настоящее время компонентом занимаюсь я один, и помимо того, что занимаюсь разработкой его, я занимаюсь еще его сопровождением на 2-х языках, администрированием данного форума и помимо всего у меня еще есть работа. Как только появится у меня свободное время - обязательно опубликую более полную информацию, ибо та, что там есть, все-таки 2-х годичной давности (в те времена событий почти не было).

[shagimuratov]

Привет, форумчанам!

Прошу протестировать обновление плагина для сервиса cleantalk.ru. Изменения следующие,

1. Сделана интеграция с JComments 2.3. На этот раз без патчей, в виде нативно работающего плагина.
2. Настойки плагина из интерфейса JComments вынесены в собственное меню.

Ссылка на плагин http://cleantalk.ru/files/cleantalk.joomla.plugin-v1.3.0.tar.gz.

Инструкция по установке и тестированию http://cleantalk.ru/install/joomla15. В шаге №1 используйте официальный JC 2.3, архив с JC 2.2 с сайта скачивать не надо.

Будут благодарен любым отзывам!

[znaeff]

Добрый всем день!

Новая версия плагина для cleantalk.ru.

Дополнения:
1. Добавлена в настройки плагина возможность управления опциияим:

• Включить/выключить проверку по списку стопслов (по-умолчанию включена).
• Включить/выключить проверку ссылок (по-умолчанию выключена).
• Выбрать язык сервисных сообщений (по-умолчанию Русский).

2. Сделано автоматическое переключение между серверами в пуле moderate.cleantalk.ru

Ссылка на новый плагин: http://cleantalk.ru/files/cleantalk.joomla.plugin-v1.4.1.tar.gz

Любые отзывы приветствуются!