Content Grabber (скачать) - модуль импорта инфы с других сайтов

[nikonor]

Этот модуль позволяет отображать на вашем сайте содержимое другого сайта.
Content Grabber вставляет не всю страницу, как это делает модуль wrapper, а лишь только ту часть информации на странице, которая вам необходима.

Что модуль НЕ делает:

• не пишет сграбленный контент в базу данных
• не грабит динамическое содержимое
• не собирает полный вариант материала (не берет интро и полный текст одновременно, если они на разных страницах)

Зачем нужен Content Grabber:

• отображение у себя на сайте различных информеров (если нет возможность получить их иначе)
• отображение статичных данных - таблиц, расписаний
• придумайте сами

Скачать | Демо (источник контента) | Страница модуля на JЕD | Content Grabber на

Внимание!
Версия модуля 1.5.0 переименована в Content Grabber PQ
Подробнее о версии здесь http://joomlaforum.ru/index.php/topic,46583.msg591405.html#msg591405

Принцип работы и пример настройки

Показать текстовый блок

В основе работы этого граббера лежит регулярное выражение, которое составлено таким образом, что позволяет забирать все, что находится между указанными параметрами (в настройках значатся как "Начальный тэг" и "Конечный тэг").
В качестве параметров могут выступать как отдельные тэги, так и простые текстовые символы (слова, комментарии кода). Опционально вы можете включить ваши параметры в конечный контент с помощью опции "Использовать тэги".
Главное условие - ваши вводные параметры должны быть уникальными.
Например, вы хотите сграбить контент, который находится в нескольких блоках, а параметры можно указать только опираясь на класс блока - вы получите только первый блок

Код

<div class="block">Content 1</div>
<div class="block">Content 2</div>
<div class="block">Content 3</div>

из такой разметки получится забрать только блок с текстом Content 1
Конечно возможно взять и все блоки, но для этого вам нужно будет изменить регулярное выражение

Рассмотрим немного другой вариант разметки, при котором можно забрать все блоки, используя дополнительные настройки модуля:

Код

<ul><li>some here</li></ul>
<div class="block">Content 1</div>
<div class="block">Content 2</div>
<div class="block">Content 3</div>
<table><tr><td>some here</td></tr></table>
 

В этом случае в качестве начального тэга следует указать </ul>, в качестве конечного <table>, параметр "Использовать эти тэги" ставим НЕТ (иначе они поломают разметку вашей страницы) - таким образом получаем все что находится между указанными нами тегами ... все три блока

Бывают случаи, когда нельзя исключить начальный и конечный тэги, хотя они нам и не нужны.
В таком случае используйте настройки "Текст/HTML перед кодом" и "Текст/HTML после кода". Сюда нужно будет вписать недостающие элементы.
Для нашего примера, в случае, если "Использовать эти тэги" оставлена ДА в "Текст/HTML перед кодом" следует вписать <ul><li></li>, а в "Текст/HTML после кода" <tr><td></td></tr></table>

Известные проблемы

Показать текстовый блок

Не получается забирать контент, если в начальном или конечном тэге есть символ #

Советы

Показать текстовый блок

• При настройке модуля отключайте кэширование у него в настройках или в шаблоне (если он используется)
• Для копирования нужных вам тэгов не пользуйтесь инструментами типа FireBug - они исправляют код
• Чтобы вывести сграбленный контент как материал Joomla используйте стандартный плагин mosloadposition для Joomla 1.0.х или loadposition для Joomla 1.5.x

История версий

Показать текстовый блок

Версия 1.4.6.3
- добавлена возможность выбора стандартного шаблона

Версия 1.4.6.2
- добавлена возможность обновления через апдейтер joomla
- добавлен параметр игнорирования недоступности сайта-источника
    работает это так: если у вас уже стоял и успешно работал настроенный модуль с включенным собственным кэшированием и при очередном обновлении контента (через заданный промежуток времени) сайт-источник оказался недоступен, то будет выведена старая информация с предыдущего обновления
- исправлена ошибка с отправкой сообщения о проблемах на почту
- добавлен новый тип оповещения (ни в модуль, ни на почту)
- исправлены встроенные шаблоны (из-за обновления на источниках)

Версия 1.4.6.1
- устранена проблема с вырезанием тэгов при сохранении настроек

Версия 1.4.6
- о изменениях смотрите тут

Версия 1.4.5
- Исправлена ошибка кэширования
- Добавлен выбор способа оповещения о проблеме граббинга
использование этой опции в шаблонах
{mestype}1{/mestype} сообщение будет выводиться в модуль (как это происходит сейчас)
{mestype}2{/mestype} отправляться на email
{mestype}3{/mestype} оба способа сразу

Версия 1.4.4
- о изменениях смотрите тут

Версия 1.4.3
- Добавлен атрибут target со значением _blank (для открытия сграбленных ссылок в новом окне)

Версия 1.4.2
- Добавлен суффикс для класса модуля
- Файл-кэш теперь указывается в настройках. Это решает проблему использования нескольких копий модуля

Версия 1.4.1
 - Исправлена проблема работы с кэшем
- Устранен баг, при котором нужно было дважды обновлять страницу при первом использовании кэширования

Версия 1.4
Добавлена возможность использования готовых настроек для сайтов (шаблонов).
Шаблон представляет собой XML файл, который необходимо загрузить в modules/mod_grabber/templates/
В комплект входит два шаблона.

Версия 1.3.1
- Исправлена неверная коррекция относительных ссылок

Скриншоты настроек

Показать текстовый блок

[andragor]

nikonor

Это оказалось не так просто, ведь начинается ссылка всегда с href=, а кончатся может, чем угодно.

Промучившись, решил сделать несколько str_replace под каждое конкретное окончание, например:

Код:

$oldbacklink2 = "\" title";
$newbacklink2 = "&partner=andragor\" rel=\"nofollow\" title";
$text = str_replace($oldbacklink2, $newbacklink2, $text);

Если какой более оптимизированный вариант придумаешь - напиши, а то у меня совсем через одно место.

Кстати, в процессе изучение удалось сократить твой mod_grabber.php почти на 0,5Kb без замеченной потери функциональности 

Этот кусок был прописан в коде два раза:

Код:

if (($linksrc<>'') || ($linkhref<>'')) {
$oldlink = array($oldlinksrc, $oldlinkhref);
$newlink = array($oldlinksrc.$linksrc, $oldlinkhref.$linkhref);
$text = str_replace($oldlink, $newlink, $text);
}

Последний можно удалить.

Спасибо тебе и удачного развития твоего модуля, ибо это Вещь! 

[nikonor]

Этот кусок был прописан в коде два раза:

Код:

if (($linksrc<>'') || ($linkhref<>'')) {
$oldlink = array($oldlinksrc, $oldlinkhref);
$newlink = array($oldlinksrc.$linksrc, $oldlinkhref.$linkhref);
$text = str_replace($oldlink, $newlink, $text);
}

Последний можно удалить.

Код одинаковый, но, если внимательно посмотришь, выполняется при  разных условиях. Так что удалять его не нужно.
По хорошему-то его в функцию засунуть надо ... но это уж в следующей версии ...

[quintus]

ммм... всё вродебы отлично
но как запустить два различный модуля в системе?
у меня в английской версии если два опубликованных модуля используют кеш - выводится в обоих будет то, что успело раньше обновиться.
прозреваю решение: отдельная копия кеш-файла для каждой копии модуля оО

[nikonor]

ммм... всё вродебы отлично
но как запустить два различный модуля в системе?
если два опубликованных модуля используют кеш - выводится в обоих будет то, что успело раньше обновиться.

принял к сведению, внес изменения ...
качаем новую версию

[Shturman]

Встречный вопрос. Есть ли защита от данного грабера?

[gorbi]

Встречный вопрос. Есть ли защита от данного грабера?

Давно мучает и меня подобный вопрос...

[nikonor]

Встречный вопрос. Есть ли защита от данного грабера?

наверное есть ... 
но ребята с extensions.joomla.org подумали и решили не выкладывать его там, обосновав тем, что боятся как бы модкль не начали использовать для кражи контента.
Я, на всякий случай, заявляю, что сделал модуль только из благих побуждений ... которыми , впрочем, вымощена известная дорожка

[gorbi]

наверное есть ... 
но ребята с extensions.joomla.org подумали и решили не выкладывать его там, обосновав тем, что боятся как бы модкль не начали использовать для кражи контента.
Я, на всякий случай, заявляю, что сделал модуль только из благих побуждений ... которыми , впрочем, вымощена известная дорожка

Парни, а где можно глянуть пример работы? в DEMO не увидел...

[nikonor]

именно в ДЕМО и можно увидеть
самая правая колонка, модуль с названием Demo Grab Content ... туда идет новость с главной страницы Lenta.ru

[gorbi]

именно в ДЕМО и можно увидеть
самая правая колонка, модуль с названием Demo Grab Content ... туда идет новость с главной страницы Lenta.ru

Или я чего-то не понимаю, но там граббинг, там обычный рсс...т.е. при нажатии уходишь на Ленту

[nikonor]

никакого rss.
модуль создан специально для того, чтобы брать контент с тех сайтов, на которых нет rss, но контент нужен ... ссылки остаются оригинальными, то есть все ссылки остаются такими же какими были в оригинальном контенте

[gorbi]

никакого rss.
модуль создан специально для того, чтобы брать контент с тех сайтов, на которых нет rss, но контент нужен ... ссылки остаются оригинальными, то есть все ссылки остаются такими же какими были в оригинальном контенте

Сэнкс, теперь понятно! Я думал речь идет о полной републикации

[Nktz]

Классный модуль! Спасибо!
2 таких у меня уже висят)))
Но вот что-то у меня не выходит вот здесь.

Хочу вытщить главную новость отсюда ru.government.kz
вот код, до того фрагмента и после

Код:

  </ul>
    <div id='content'>
        <div id='center'>
        <div id='path'><a href="/site/news">Главная</a>  &gt;
                    <a href='/site'>Разделы</a>  &gt;
                        Новости
        </div>
            <div id='mainnews'><div>

                <h2>Главное событие</h2>
                <a href='/site/news/main/2009/01/42'>Заявление Правительства Республики Казахстан, Национального Банка Республики Казахстан и Агентства Республики Казахстан по регулированию и надзору финансового рынка и финансовых организаций об основных направлениях экономической политики на 2009 год </a>

                <span>20.01.2009</span>
                <div></div
            </div></div>
        <h2>Новости</h2>
<div id='rubricslist'>
    <a href='/site/news'>Все новости</a>
     | <a href='/site/news/main'>Главные события</a> | <a href='/site/news/news_prem'>Премьер-Министр</a> | <a href='/site/news/authority'>Государственные органы</a> | <a href='/site/news/economics'>Экономика</a> | <a href='/site/news/regions'>Регионы</a> | <a href='/site/news/society'>Общество</a> | <a href='/site/news/integration'>Интеграция</a> | <a href='/site/news/world'>Мир</a>

</div>

        <div id='news'>
<div>
   
    <span>22.01.</span>2009
   
         &nbsp; /<a href='/site/news/news_prem'>Премьер-Министр</a>

много вариантов тегов перепробовал, самый логичный это
старт:<div id='mainnews'><div> или <h2>Главное событие</h2>
конец: <h2>Главное событие</h2>
все время выдает такую ошибку:

Код:

Warning: Invalid argument supplied for foreach() in Z:\home\aksafari.kz\www\modules\mod_grabber.php on line 142

141ая

Код:

}elseif(((@$file) AND ($usecache) AND ($fsize==0)) || (($usecache) AND ($go))){

на 142ой

Код:

foreach( $grab->html[1] as $html )

Что я делаю не так?

[nikonor]

Для начала

старт:<div id='mainnews'><div>

Не пихайте ДВА тэга сразу. Только ОДИН тэг!
Вышеприведенное значение работает (бывало и такое) только когда луна в козероге 

Нужно задействавать опцию Использовать тэги
получаем вот что
url http://ru.government.kz/
начальный тэг <div id='mainnews'>
конечный тэг </div>
Использовать тэги Да
Текст / HTML перед кодом оставляем пустым
Текст / HTML после кода </div></div>
Поясню.
Нужный кусок кода - вот он

Код:

<div id='mainnews'><div>
<h2>Главное событие</h2>       
<a href='/site/news/main/2009/01/42'>Заявление Правительства Республики Казахстан, Национального Банка Республики Казахстан и Агентства Республики Казахстан по регулированию и надзору финансового рынка и финансовых организаций об основных направлениях экономической политики на 2009 год </a>
<span>20.01.2009</span>
<div></div>               
</div></div>

Стартуем <div id='mainnews'>, чтоб корректно закончить нам нужно закрыть слой </div>, но модуль возьмет только первый попавшийся ему </div>. В этом случае имеем кривой код, рваный шаблон и все такое. Чтоб этого избежать нужно просто добавить недостающие тэги ... это мы и делаем вставив в html после кода </div></div>

Дальнейшие настройки понятны, писать не буду.
На всякий случай в атаче готовый шаблон с настройками

[Nktz]

Большое спасибо, заработало!
только теперь новая проблема, ссылка не работает, хоть я и выставляю http://ru.government.kz
пока на денвере, может дело в этом?

[nikonor]

у меня работает и на денвере

[valikras]

К сожалению не получается скачать модуль, так как сайт ТС отключен хостером.

Если если у кого есть Content Grabber, выложите, пожалуйста, версию для Joomla 1.5.x. UTF8
В гугле всё вроде пересмотрел, не могу найти.......
П о ж а й л у с т а.....

[nikonor]

поправил ссылки в первом посте. качайте

[valikras]

поправил ссылки в первом посте. качайте

С П А С И Б О !!!!

[valikras]

Нифига не выходит   
пишет  >:(Site cannot be found!

[nikonor]

http://joomlaforum.ru/index.php/topic,46583.msg288425.html#msg288425

[valikras]

http://joomlaforum.ru/index.php/topic,46583.msg288425.html#msg288425

а где этот allow_url_fopen????
извини за тупость

[valikras]

Или помоги один раз, что-бы я раздуплился ...
с с айта http://www.airport-borispol.kiev.ua/
нужно вставить    
On-line табло міжнародних рейсів

[nikonor]

это настройки php
можно проверить состояние в админке на вкладке Система

[valikras]

это настройки php
можно проверить состояние в админке на вкладке Система

сейчас посмотрю.......

[valikras]

Выводит, только само расписания я не вижу.....может стили ихни нужно подключить.......
блин,    что-то не дотуплю.....

[valikras]

nikonor
Ещё рас тебе огромное спасибо,.... то-что нужно!!!!!

[nikonor]

на здоровье

[OParshin]

Хороший модуль. Полезный.

А можно сделать так,  чтобы ссылки, которые грабятся этим модулем открывались в новом окне?

[nikonor]

Хороший модуль. Полезный.

спасибо

А можно сделать так,  чтобы ссылки, которые грабятся этим модулем открывались в новом окне?

Можно. Сделал. Качаем и первого поста