Content Grabber (скачать) - модуль импорта инфы с других сайтов

[nikonor]

Нужна помощь в возвращении модуля на JED!
Сейчас там

This extension has been unpublished for the following reason: UR13-Bait and Switch

Пробовал писать - несколько месяцев никакого ответа.
Если кто-то сталкивался - расскажите (в личку) что нужно сделать что бы вернуть модуль к публикации



Этот модуль позволяет отображать на вашем сайте содержимое другого сайта.
Content Grabber вставляет не всю страницу, как это делает модуль wrapper, а лишь только ту часть информации на странице, которая вам необходима.

Что модуль НЕ делает:

• не пишет сграбленный контент в базу данных
• не грабит динамическое содержимое
• не собирает полный вариант материала (не берет интро и полный текст одновременно, если они на разных страницах)

Зачем нужен Content Grabber:

• отображение у себя на сайте различных информеров (если нет возможность получить их иначе)
• отображение статичных данных - таблиц, расписаний
• придумайте сами

Скачать | Демо (источник контента) | Страница модуля на JЕD | Content Grabber на

Внимание!
Версия модуля 1.5.0 переименована в Content Grabber PQ
Подробнее о версии здесь http://joomlaforum.ru/index.php/topic,46583.msg591405.html#msg591405

Принцип работы и пример настройки

Показать текстовый блок

В основе работы этого граббера лежит регулярное выражение, которое составлено таким образом, что позволяет забирать все, что находится между указанными параметрами (в настройках значатся как "Начальный тэг" и "Конечный тэг").
В качестве параметров могут выступать как отдельные тэги, так и простые текстовые символы (слова, комментарии кода). Опционально вы можете включить ваши параметры в конечный контент с помощью опции "Использовать тэги".
Главное условие - ваши вводные параметры должны быть уникальными.
Например, вы хотите сграбить контент, который находится в нескольких блоках, а параметры можно указать только опираясь на класс блока - вы получите только первый блок

Код

<div class="block">Content 1</div>
<div class="block">Content 2</div>
<div class="block">Content 3</div>

из такой разметки получится забрать только блок с текстом Content 1
Конечно возможно взять и все блоки, но для этого вам нужно будет изменить регулярное выражение

Рассмотрим немного другой вариант разметки, при котором можно забрать все блоки, используя дополнительные настройки модуля:

Код

<ul><li>some here</li></ul>
<div class="block">Content 1</div>
<div class="block">Content 2</div>
<div class="block">Content 3</div>
<table><tr><td>some here</td></tr></table>
 

В этом случае в качестве начального тэга следует указать </ul>, в качестве конечного <table>, параметр "Использовать эти тэги" ставим НЕТ (иначе они поломают разметку вашей страницы) - таким образом получаем все что находится между указанными нами тегами ... все три блока

Бывают случаи, когда нельзя исключить начальный и конечный тэги, хотя они нам и не нужны.
В таком случае используйте настройки "Текст/HTML перед кодом" и "Текст/HTML после кода". Сюда нужно будет вписать недостающие элементы.
Для нашего примера, в случае, если "Использовать эти тэги" оставлена ДА в "Текст/HTML перед кодом" следует вписать <ul><li></li>, а в "Текст/HTML после кода" <tr><td></td></tr></table>

Известные проблемы

Показать текстовый блок

Не получается забирать контент, если в начальном или конечном тэге есть символ #

Советы

Показать текстовый блок

• При настройке модуля отключайте кэширование у него в настройках или в шаблоне (если он используется)
• Для копирования нужных вам тэгов не пользуйтесь инструментами типа FireBug - они исправляют код
• Чтобы вывести сграбленный контент как материал Joomla используйте стандартный плагин mosloadposition для Joomla 1.0.х или loadposition для Joomla 1.5.x

История версий

Показать текстовый блок

Версия 1.4.6.3
- добавлена возможность выбора стандартного шаблона

Версия 1.4.6.2
- добавлена возможность обновления через апдейтер Joomla
- добавлен параметр игнорирования недоступности сайта-источника
    работает это так: если у вас уже стоял и успешно работал настроенный модуль с включенным собственным кэшированием и при очередном обновлении контента (через заданный промежуток времени) сайт-источник оказался недоступен, то будет выведена старая информация с предыдущего обновления
- исправлена ошибка с отправкой сообщения о проблемах на почту
- добавлен новый тип оповещения (ни в модуль, ни на почту)
- исправлены встроенные шаблоны (из-за обновления на источниках)

Версия 1.4.6.1
- устранена проблема с вырезанием тэгов при сохранении настроек

Версия 1.4.6
- о изменениях смотрите тут

Версия 1.4.5
- Исправлена ошибка кэширования
- Добавлен выбор способа оповещения о проблеме граббинга
использование этой опции в шаблонах
{mestype}1{/mestype} сообщение будет выводиться в модуль (как это происходит сейчас)
{mestype}2{/mestype} отправляться на email
{mestype}3{/mestype} оба способа сразу

Версия 1.4.4
- о изменениях смотрите тут

Версия 1.4.3
- Добавлен атрибут target со значением _blank (для открытия сграбленных ссылок в новом окне)

Версия 1.4.2
- Добавлен суффикс для класса модуля
- Файл-кэш теперь указывается в настройках. Это решает проблему использования нескольких копий модуля

Версия 1.4.1
 - Исправлена проблема работы с кэшем
- Устранен баг, при котором нужно было дважды обновлять страницу при первом использовании кэширования

Версия 1.4
Добавлена возможность использования готовых настроек для сайтов (шаблонов).
Шаблон представляет собой XML файл, который необходимо загрузить в modules/mod_grabber/templates/
В комплект входит два шаблона.

Версия 1.3.1
- Исправлена неверная коррекция относительных ссылок

Скриншоты настроек

Показать текстовый блок

[nikonor]

пробуем новую версию

[Zeit]

не корректно задал вопрос ранее...
я посмотрел на этот модуль так как не могу заставить Joomla показывать целый файл в материале сайта.
опиши по пункта что нужно сделать чтобы он показывал мой файл полностью(там только таблицы обновляемые раз в 5 минут) оказывался в теле материала. (и скажи номер строки где кеш-файл прописываеться)
я так понял что модуль выводит награбленное на главную страницу.... а как его просто материал запихнуть? а то странно будет если сайт будет встречать не новостями а сразу статистикой
заранее спасибо!

[nikonor]

Для начала модуль выводит "награбленное" не только на главную, а на любую страницу, где он опубликован.
Чтобы вставить модуль в в материалы можно воспользовать штатным мамботом mosloadposition

По настройкам ...
В url пишешь путь к файлу http:// ...
с тэгами наверное разобрался
кэш файл тебе не понадобится при таком частом обновлении контента .. поэтому искать его не нужно

а если нужна помощь по прям конкретной настройке, то пиши в личку ... нужны пути к файлам и все такое ...

[niky_schneider]

Этот модуль не является ли темой импорта XML в системе Joostina? Очень нужно. Либо подскажите, где найти подобный модуль. Спасибо)

[nikonor]

Этот модуль является темой импорта инфы с других сайтов
Если я правильно понял - тебе нужен парсер xml в виде модуля для Joomla ... не встречал

[SeregaS]

Установил на 1.5, настройки поставил какие и тут показаны, всё вроде должно работать. Но когда публикую модуль, ругается и пишет: "Доступ запрещён" на белом фоне...

Ps. Разобрался сразу после этого поста сам) Забыл Legacy mode включить )

[SeregaS]

Теперь другая проблема возникла, при любых настройках пишет только вот это:
Site cannot be found!
���� �� ������!

[nikonor]

По двум причинам это может быть:
- не правильно прописаны тэги
- выключен allow_url_fopen

[SeregaS]

Точно! Выключен allow_url_fopen

[nikonor]

Тут посмотрел что есть потребность в курсе драгметаллов.
Вот файл настройки для модуля к сайту http://jeweller.ru/
(jeweller-utf8.xml - для модуля под joomla 1.5.x)

[andragor]

К сожалению не получается скачать модуль, так как сайт ТС отключен хостером.

Если кто успел скачать, выложите, пожалуйста, версию для Joomla 1.0.x.

[nikonor]

завтра все будет работать .. приношу извинения
хостер любезно сообщил, что платежи зачисляться будут только с 11 числа
поэтому прикрепляю сюда последнюю версию для Joomla 1.0.x

[quintus]

господа, может у кого уже скачанный есть?
поделитесь, будьте так добры.

[nikonor]

господа, может у кого уже скачанный есть?

самому качать неохота? 
(на всякий случай, по секрету ... модуль прикреплен двумя постами выше )

[quintus]

спасибо за вашу иронию, не заметил.
автору респект!

[quintus]

первый трабл: не устанавливается на Joomla! 1.0.12 Stable [ Sunfire ]

[nikonor]

что пишет? какая ошибка?

[quintus]

на 1.5.6 аналогично - не находит XML файл установки оО

[nikonor]

на 1.5.6 и не найдет ... это модуль для линейки joomla 1.0.x
а на 1.0.12 что пишет? не найден файл установки?

[quintus]

Upload module - Upload Failed
ERROR: Could not find a Joomla! XML setup file in the package.
[ Continue ... ]
Upload module - Failed
Installation file not found:
/.../media/install_4960b522a9c3b/
[ Continue ... ]

[nikonor]

откуда скачен дистриб джумлы? дай ссылку .. сейчас себе установлю
на joostina встает отлично

[quintus]

официальный английский 1.0.12 (
на sourceforge должна ветка остаться ещё

[andragor]

Попробовал поставить на Joomla! 1.0.12, все работает.

Отличный модуль, низкий поклон автору! Из функционала мне не хватило возможности исправлять относительные ссылки не только вначале, но и в конце (чтобы приписать к url свой партнерский идентификатор).

Если такое было, уже сегодня запустил бы модуль на livesite.

[nikonor]

первый трабл: не устанавливается на Joomla! 1.0.12 Stable [ Sunfire ]

На английский дистрибутив joomla нужно устанавливать английскую версию модуля

andragor есть возможность скинуть мне настройки модуля? и укажи куда там нужно id воткнуть

[andragor]

nikonor,

URL cайта-донора:
http://www.ozon.ru/?context=search&text=%EE%E1%E8%F2%E0%E5%EC%FB%E9+%EE%F1%F2%F0%EE%E2
Начальный тэг: <div class="searchResult_person searchResult_block frame frame_dashed_blue">
Конечный тэг: </div></div>
URL для href: http://www.ozon.ru
URL для src: http://www.ozon.ru

Выдает ссылку вида:
http://www.ozon.ru/context/detail/id/3105077/

А нужно, чтобы была:
http://www.ozon.ru/context/detail/id/3105077/&partner=andragor

И уж если совсем мечтать о несбыточном, чтобы в URL cайта-донора после http://www.ozon.ru/?context=search&text= можно было использовать тэг {title} или <?php echo $row->title ?>. Тогда модуль смог бы сам искать товар по названию материала.

[nikonor]

И уж если совсем мечтать о несбыточном, чтобы в URL cайта-донора после http://www.ozon.ru/?context=search&text= можно было использовать тэг {title} или <?php echo $row->title ?>. Тогда модуль смог бы сам искать товар по названию материала.

не очень понимаю как это должно выглядеть. Может подойдет вариант с использованием шаблонов? создаете несколько одинаковых шаблонов, но с разными названиями материалов и потом просто переключаете их.

[andragor]

не очень понимаю как это должно выглядеть. Может подойдет вариант с использованием шаблонов? создаете несколько одинаковых шаблонов, но с разными названиями материалов и потом просто переключаете их.

Смысл затеи в том, чтобы обойтись одной копией модуля для сотен материалов с разными названиями.

Например,
1) Берем из БД название материала:

Код:

global $id;
global $database;
$database->setQuery("SELECT title FROM #__content where id = '$id'");
$header =  $database->loadResult();

2) Кодируем для ссылки и выводим:   

Код:

$header = urlencode($header);
echo $header

То есть URL cайта-донора: у нас будет такой, но почему то в этом модуле он не работает:

http://www.ozon.ru/?context=search&text=<?php global $id; global $database; $database->setQuery("SELECT title FROM #__content where id = '$id'"); $header =  $database->loadResult(); $header = urlencode($header); echo $header ?>

[andragor]

Ура, заработало!

В mod_grabber.php после:
$url = $params->get('url','');

ставим:

global $id;
global $database;
$database->setQuery("SELECT title_alias FROM #__content where id = '$id'");
$header = $database->loadResult();
$header = iconv("UTF-8", "windows-1251", $header); - если сайт на UTF-8
$header = urlencode($header);
$url = $url.$header;

А в URL cайта-донора пишем:

http://www.ozon.ru/?context=search&text=

[nikonor]

молодец
ну уж теперь идентификатор к ссылке прикрутить, думаю, сможешь