Content Grabber (скачать) - модуль импорта инфы с других сайтов

[nikonor]

Этот модуль позволяет отображать на вашем сайте содержимое другого сайта.
Content Grabber вставляет не всю страницу, как это делает модуль wrapper, а лишь только ту часть информации на странице, которая вам необходима.

Что модуль НЕ делает:

• не пишет сграбленный контент в базу данных
• не грабит динамическое содержимое
• не собирает полный вариант материала (не берет интро и полный текст одновременно, если они на разных страницах)

Зачем нужен Content Grabber:

• отображение у себя на сайте различных информеров (если нет возможность получить их иначе)
• отображение статичных данных - таблиц, расписаний
• придумайте сами

Скачать | Демо (источник контента) | Страница модуля на JЕD | Content Grabber на

Внимание!
Версия модуля 1.5.0 переименована в Content Grabber PQ
Подробнее о версии здесь http://joomlaforum.ru/index.php/topic,46583.msg591405.html#msg591405

Принцип работы и пример настройки

Показать текстовый блок

В основе работы этого граббера лежит регулярное выражение, которое составлено таким образом, что позволяет забирать все, что находится между указанными параметрами (в настройках значатся как "Начальный тэг" и "Конечный тэг").
В качестве параметров могут выступать как отдельные тэги, так и простые текстовые символы (слова, комментарии кода). Опционально вы можете включить ваши параметры в конечный контент с помощью опции "Использовать тэги".
Главное условие - ваши вводные параметры должны быть уникальными.
Например, вы хотите сграбить контент, который находится в нескольких блоках, а параметры можно указать только опираясь на класс блока - вы получите только первый блок

Код

<div class="block">Content 1</div>
<div class="block">Content 2</div>
<div class="block">Content 3</div>

из такой разметки получится забрать только блок с текстом Content 1
Конечно возможно взять и все блоки, но для этого вам нужно будет изменить регулярное выражение

Рассмотрим немного другой вариант разметки, при котором можно забрать все блоки, используя дополнительные настройки модуля:

Код

<ul><li>some here</li></ul>
<div class="block">Content 1</div>
<div class="block">Content 2</div>
<div class="block">Content 3</div>
<table><tr><td>some here</td></tr></table>
 

В этом случае в качестве начального тэга следует указать </ul>, в качестве конечного <table>, параметр "Использовать эти тэги" ставим НЕТ (иначе они поломают разметку вашей страницы) - таким образом получаем все что находится между указанными нами тегами ... все три блока

Бывают случаи, когда нельзя исключить начальный и конечный тэги, хотя они нам и не нужны.
В таком случае используйте настройки "Текст/HTML перед кодом" и "Текст/HTML после кода". Сюда нужно будет вписать недостающие элементы.
Для нашего примера, в случае, если "Использовать эти тэги" оставлена ДА в "Текст/HTML перед кодом" следует вписать <ul><li></li>, а в "Текст/HTML после кода" <tr><td></td></tr></table>

Известные проблемы

Показать текстовый блок

Не получается забирать контент, если в начальном или конечном тэге есть символ #

Советы

Показать текстовый блок

• При настройке модуля отключайте кэширование у него в настройках или в шаблоне (если он используется)
• Для копирования нужных вам тэгов не пользуйтесь инструментами типа FireBug - они исправляют код
• Чтобы вывести сграбленный контент как материал Joomla используйте стандартный плагин mosloadposition для Joomla 1.0.х или loadposition для Joomla 1.5.x

История версий

Показать текстовый блок

Версия 1.4.6.3
- добавлена возможность выбора стандартного шаблона

Версия 1.4.6.2
- добавлена возможность обновления через апдейтер joomla
- добавлен параметр игнорирования недоступности сайта-источника
    работает это так: если у вас уже стоял и успешно работал настроенный модуль с включенным собственным кэшированием и при очередном обновлении контента (через заданный промежуток времени) сайт-источник оказался недоступен, то будет выведена старая информация с предыдущего обновления
- исправлена ошибка с отправкой сообщения о проблемах на почту
- добавлен новый тип оповещения (ни в модуль, ни на почту)
- исправлены встроенные шаблоны (из-за обновления на источниках)

Версия 1.4.6.1
- устранена проблема с вырезанием тэгов при сохранении настроек

Версия 1.4.6
- о изменениях смотрите тут

Версия 1.4.5
- Исправлена ошибка кэширования
- Добавлен выбор способа оповещения о проблеме граббинга
использование этой опции в шаблонах
{mestype}1{/mestype} сообщение будет выводиться в модуль (как это происходит сейчас)
{mestype}2{/mestype} отправляться на email
{mestype}3{/mestype} оба способа сразу

Версия 1.4.4
- о изменениях смотрите тут

Версия 1.4.3
- Добавлен атрибут target со значением _blank (для открытия сграбленных ссылок в новом окне)

Версия 1.4.2
- Добавлен суффикс для класса модуля
- Файл-кэш теперь указывается в настройках. Это решает проблему использования нескольких копий модуля

Версия 1.4.1
 - Исправлена проблема работы с кэшем
- Устранен баг, при котором нужно было дважды обновлять страницу при первом использовании кэширования

Версия 1.4
Добавлена возможность использования готовых настроек для сайтов (шаблонов).
Шаблон представляет собой XML файл, который необходимо загрузить в modules/mod_grabber/templates/
В комплект входит два шаблона.

Версия 1.3.1
- Исправлена неверная коррекция относительных ссылок

Скриншоты настроек

Показать текстовый блок

[zhenia_01]

Warning: file_get_contents(http://pogoda.by/315/arch_gid.php?punkt=%CC%EE%E7%FB%F0%FC) [function.file-get-contents]: failed to open stream: HTTP request failed! HTTP/1.1 403 Forbidden in domains/имя.com/111.php on line 2
а если прописываю просто http://pogoda.by/ тогда всё в вопросиках.

[nikonor]

скиньте в асю или личку доступ в админку

[Autocom]

А можно как-то вообще отключить вывод сообщения: "Не удается запустить процесс с указанными параметрами!"?
В настройках только: или на сайте, или на e-mail или и то и другое.
Т.е к примеру, если не удалось запустить, то модуль просто не показывается.

[nikonor]

ну самый простой способ в файле mod_grabber/tmpl/default.php вместо echo $html; прописать

Код

$output='';
if ($html!=JText::_('MOD_GRABBER_NOTAGS_MES')) {
 $output=$html;
}
echo $output;
 

[Autocom]

Однако не работает.
У меня в настройках указано: Тип оповещения - сообщение на сайте.
Поменял в default.php на код по Вашему совету.
Но как выводил сообщения так и выводит.
Я что-то не так делаю?

[nikonor]

давайте посмотрим что в переменных
пропишите в самом верху

Код

echo $html.'<br>';
echo JText::_('MOD_GRABBER_NOTAGS_MES');

по идее должно быть написано одно и тоже

[Autocom]

С такой записью, модуль по сути дублируется дважды.
Можно посмотреть на AutoChelny.ru в самом низу.

[nikonor]

верните default.php в исходное состояние
обновите ваши файлы файлами из архива вложения
в файл ru-RU.mod_grabber.ini вставьте такую строчку MOD_GRABBER_MESSAGE_TYPE_ZERO="Без оповещений"

[Autocom]

Спасибо за поддержку.
Но похоже эти изменения предназначены для другой версии.
У меня стоит 1.4.6.1
После внесенных изменений, в админке пропали параметры модуля.
И в языковом файле у меня все строчки без MOD_GRABBER_

[Autocom]

Ура! Заработало!
Сделал по аналогии с Вашими изменениями, изменил для своей версии. Теперь работает.
Хороший модуль. +100 за поддержку.

[Kyrsor]

А как такое сграбить? https://tariff.eias.ru/jku_calc_ru_1_36/

[nikonor]

думаю, что нет ... через iframe не?

[Kyrsor]

Эх ) А так хочется, хотя б может через какой нибудь другой компонент? Или это вообще не реально?

[nikonor]

там вроде как есть ссылка на исходник со всей инфой ... можно просто индивидуальный парсер написать

[Kyrsor]

https://tariff.eias.ru/jku_calc_ru_1_36/common/jkucalc.xsl
вы об этом?
ЗЫ И если не секрет примерно за сколько можно спарсить? в рублях=)

[nikonor]

об этом ...
за пару тысяч наверное ... но, например,  я не возьмусь - работы куча сейчас

[zhenia_01]

скиньте в асю или личку доступ в админку

Это не зачем. там всё верно. обнаружил, что дело в хостинге. поставил ваш модуль на другой сайт и оказалось, что там то же не работает.
что требуется от хоста для модуля?
и ещё вопрос, можно ли данные из строки таблицы сделать в столбик?

[nikonor]

требования к хостингу самые обычные: cURL, iconv

можно ли данные из строки таблицы сделать в столбик?

попробуйте поиграть параметрами Код перед/после модуля .. если не получится, то только Content Grabber PQ

[zhenia_01]

требования к хостингу самые обычные: cURL, iconvпопробуйте поиграть параметрами Код перед/после модуля .. если не получится, то только Content Grabber PQ

Была причина поменять хостинг. Только что переехал. Думал, что и проблема сама уйдёт. А нет, проблема осталось, только сейчас уже пишет:

Warning: set_time_limit() [function.set-time-limit]: Cannot set time limit in safe mode in /modules/mod_grabber/helper.php on line 9
Warning: curl_setopt() [function.curl-setopt]: CURLOPT_FOLLOWLOCATION cannot be activated when safe_mode is enabled or an open_basedir is set in /modules/mod_grabber/helper.php on line 20

[nikonor]

http://joomlaforum.ru/index.php/topic,46583.msg828081.html#msg828081

[zhenia_01]

http://joomlaforum.ru/index.php/topic,46583.msg828081.html#msg828081

вот эта ошибка пропала сразу
Warning: curl_setopt() [function.curl-setopt]: CURLOPT_FOLLOWLOCATION cannot be activated when safe_mode is enabled or an open_basedir is set in /modules/mod_grabber/helper.php on line 20
А вот вторая осталась.
Warning: set_time_limit() [function.set-time-limit]: Cannot set time limit in safe mode in /modules/mod_grabber/helper.php on line 9
удалил эту девятую строчку

Код:

set_time_limit(0); // чтоб успело дограбить всё

Вроде ошибка пропала. Возник вопрос, а как важна эта строчка? Или есть другое решение этой ошибки?

[nikonor]

не особо важна .. нужна в некоторых случаях.
Если проблем с доставкой контента нет - то можно забыть

[zhenia_01]

Пока проблем с доставкой не вижу. Всё работает.

[Shustry]

Всё прекрасно работало. Внезапно:

Код:

Fatal error: Call to a member function getCfg() on a non-object in W:\home\bw-new\www\modules\mod_grabber\helper.php on line 49

где:

Код:

$mailfrom = $mainframe->getCfg( 'mailfrom' );

[nikonor]

есть такое дело ... сегодня-завтра сделаю обновление

[Shustry]

Спасибо

[nikonor]

можно забирать новую версию, изменения в шапке, о проблемах отписывайтесь

[Shustry]

Всё отлично работает. Спасибо. Не могли бы стандартный шаблонизатор добавить? А то обновляться неудобно.

[nikonor]

хотел добавить, но как-то упустил из виду ...
новая версия (1.4.6.3) доступна через апдейтер, обновляйтесь

[Shustry]

Респект! Спасибо.