Компонент граббинга новостных лент для Joomla - Joomla 1.0: Общие вопросы

Представляю заинтересованным пользователям Joomla! компонент NewsGrabber_1.0.2 + мамбот, предназначенные для копирования новостей из новостных rss-лент в базу Joomla!.

Возможности компонента:
1. Произвольное количество лент-доноров
2. Копирование полного текста новости, включая картинки
3. Любые замены внутри текста новости при ее копировании с использованием синтаксиса Regular Expression
4. Копирование новостей в заданную категорию
5. Автоматическая публикация новостей
6. Публикация новостей на главную страницу сайта
7. Формирование анонса новости
8. Копирование ограниченного количество новостей
9. Период присутствия новости на сайте
10. Изменение размеров картинок внутри тела новости
11. Изменение выключки картинок внутри тела новости
12. Изменение размеров картинок внутри анонса новости
13. Изменение выключки картинок внутри анонса новости
14. Альтернативный текст картинок из оригинала
15. Автоматическое копирование силами пользователей сайта
16. Автоматическое копирование с использованием cron
17. Автоматическая установка мамбота
18. Автоматическое управление мамботом в контексте действий пользователя в отношении новостных лент
19. Одна предустановленная лента
20. Любая кодировка на входе
21. Любая кодировка на выходе
22. Генерация мета-тэгов
23. Независимость от global on/off

Требования:
1. PHP as IIS/Apach module
2. GD library PHP extension
3. PHP version >= 4.0.5 (iconv function required)

programmed with using code of Stephen Simmons (FeedGator_0.4)

Интерфейс EN
Демо-админка

Разработчик: Mironoff Denis
mailto:snowrider@inbox.ru (subject: NewsGrabber)
icq#44957915 (authorization: required, subject: NewsGrabber)

Стоимость компонента: 800 рублей (WMR)

[вложение удалено Администратором]

Компонент русифицирован. Автодетект языковых настроек Joomla! Интерфейс EN, RU.
Все купившие могут обращаться за новой версией 1.0.3

Компонент обновлен. Добавлено:
1. Игнор-лист из ~ 350 наиболее часто встречающихся русских слов для использования их в качестве исключений при генерации мета-тэгов.
2. В настройках компонента добавлена возможность выбора игнор-листа RU/EN

Итак, компонент в очередной раз обновлен. Обновления:

1. Компонент переименован из политических соображений. Новое имя - NewsGrabberJC.
2. Добавлена возможность не принимать новость, если в ней встречаются оговоренные слова/фразы оговоренное количество раз.
3. Добавлена возможность брать новость на главную страницу, если в ней встречаются оговоренные слова/фразы оговоренное количество раз.
4. Добавлена возможность НЕ брать новость на главную страницу, если в ней встречаются оговоренные слова/фразы оговоренное количество раз.
5. Добавлена возможность вставлять произвольный код HTML в начало/конец/произвольное место текста.
6. Добавлена возможность вставлять произвольный код HTML в начало/конец анонса.
7. Добавлена возможность упаковывать картинки внутри текста/анонса в оговоренный в настройках якорь.

Кодинг
1. Устранен баг парсинга лент, содержащих некириличные символы.
2. Добавлено два дополнительных способа получения контента с сервера-донора.
3. Добавлено три дополнительных способа получения картинки с сервера-донора.

Все купившие - велкам за новой версией NewsGrabberJC_1.0.5. Дальнейшие обновления будут совместимы только с этой версией.

Давайте демо в паблик.
Лицензия распространяется на один домен?

А почему нет сграббленных новостей на деме? надо же посмотреть и на качество граббинга

Yana, чищу. Качество граббинга проверяется просто: в админке выбираем ленту gazeta.ru, жмем "импорт", переходим на фронт, наслаждаемся увиденным зрелищем

Работает на кроне или как?

mamahtehok, посмотрите личку
Yana, два способа:
1. Автоимпорт силами мамбота, который инициируется входящим на сайт посетителем.
2. Если посетители входят реже, чем вам необходимо обновлять новости, можно использовать автоимпорт с помощью крона.
Оба способа знают друг о друге и действуют с учетом работы напарника.

А как часто стоит на тестовом сайте обработка новостей?
Имею ввиду с каким интервалом, что-бы мне ориентироваться. Желательно время дать по МСК или с отметкой какой часовой пояс.

era, не совсем понял вопрос. Войдя в админку, вы сами можете выставить это время. Сами сможете поимпортировать в ручном режиме. Только просьба большая: не таскайте слишком много, берегите мой трафик

просьба большая: не таскайте слишком много, берегите мой трафик

А я только хотел натравить на Lenta.Ru что-бы проверить как он с сотней новостей справится

Импортировал. Он мне нравится

era, нет, не нужно этого делать. Справиться-то он справится, только это займет не менее двух минут времени и огромное количество трафика. мне админы просто закроют домен и все.

34 секунды заняло, импортировало 129 новостей. (картинки не имопртировались, наверное поэтому и довольно быстро)
Больше не буду баловаться.

А он что автоматом не подхватывает новости с рсс?
Попробовал джумловскую рсс и еще одной рсс - ничего не приняло
хотя отзыв есть на ФФ, опере и иных интернет-читалках.

Dutch, не понял вопроса. Это отдельный компонент и каждая лента настраивается внутри него индивидуально. Никакой связи с другими компонентами не существует.

Кстати, если кому интересно - в аттачменте файл фак. Наконец-то дописал его. Несколько опций будет доступно только в следующей версии, которая выйдет в течение недели.

[вложение удалено Администратором]

Ждем - не дождемся обещанной новой версии с импортом по ключевым словам.

Yana, все еще льщу себя надеждой, что новая версия выйдет до конца этой недели несмотря на жуткий цейтнот. Строго говоря, сейчас уже есть версия с опциями "брать по ключевым словам в тексте", "брать по ключевым словам в ссылке", "не брать если ссылка содержит слова", "ссылаться на донор через форвардер". Но дело в том, что возникла еще одна идея: опционный автопоиск начала и конца граббинга. А тут алгоритм достаточно нетривиальный. Версия выйдет не раньше, чем я реализую данный алгоритм.

Тем не менее, я программлю все свободное от основной работы время и надеюсь на скорейшее завершение работы.

А нельзя было новую идею в следующей версии реализовать?

Yana, а есть ли смысл выпускать новую версию из-за одной добавленной опции?

а есть смысл задерживать новую версию с функцией, которую все так ждут, из-за новой идеи?

Yana, ненадолго задерживать Аппетит нагуляется опять же

У меня есть некоторые вопросы!
1 Если я правильно понял то настраивать запуск cron  на хосте не нужно он настраиваеться в самом компоненте (галочки и время поставить)?
2 Возможно ли разбить отпарсеные новости по группам? Т.е. в меню 1 делаеться подменю 1-1, 1-2 и тд так вот чтоб в каждом подменю оттображалась своя лента новостей?
3 Непонятно складываються ли новости в архив? Чтоб можно было посмотреть за прошлый месяц например (не очень знаю Joomla возможно что это настраиваеться в ней самой)
4 Нужно ли модерировать отпарсеные новости те ставить галочки чтоб они отображались на главной странице или новости идут автоматом?

С позволения malus отвечу !
1. ДА ты правильно понял .
2. Возможно.
3.Складываются и можно вести архив.
4.Можно и так и так !

Если что-то я недопонял то автор поправит !   

Gans, enot не совсем прав по первому пугкту. То, что настраивается в автоимпорте компонента - это управление работой мамбота, который автоматически импортирует новости при входе пользователя на сайт. Если пользователи входят реже, чем необходимо обновлять новости, то можно пользоваться кроном. Крон травится на определенный файл компонента и выполняет те же действия, что выполняет мамбот или те, что выполняются вручную.

  +1 malus
установил все вроде пашет!
Спасибо за разьяснения!
И вопрос возник:
Возможно ли парсить новости с всплывающей флешь рекламой, и фильтр есть какой от встроеной флешь рекламы.
Я пока с этим еще не разбирался и не пробывал

Пожалуйста, дайте ссылку на демо. Спасибо.

Пожалуйста, дайте ссылку на демо. Спасибо.

так, доступ к демке просим через приват, а не в топике.