Content Grabber (скачать) - модуль импорта инфы с других сайтов

[nikonor]

Нужна помощь в возвращении модуля на JED!
Сейчас там

This extension has been unpublished for the following reason: UR13-Bait and Switch

Пробовал писать - несколько месяцев никакого ответа.
Если кто-то сталкивался - расскажите (в личку) что нужно сделать что бы вернуть модуль к публикации



Этот модуль позволяет отображать на вашем сайте содержимое другого сайта.
Content Grabber вставляет не всю страницу, как это делает модуль wrapper, а лишь только ту часть информации на странице, которая вам необходима.

Что модуль НЕ делает:

• не пишет сграбленный контент в базу данных
• не грабит динамическое содержимое
• не собирает полный вариант материала (не берет интро и полный текст одновременно, если они на разных страницах)

Зачем нужен Content Grabber:

• отображение у себя на сайте различных информеров (если нет возможность получить их иначе)
• отображение статичных данных - таблиц, расписаний
• придумайте сами

Скачать | Демо (источник контента) | Страница модуля на JЕD | Content Grabber на

Внимание!
Версия модуля 1.5.0 переименована в Content Grabber PQ
Подробнее о версии здесь http://joomlaforum.ru/index.php/topic,46583.msg591405.html#msg591405

Принцип работы и пример настройки

Показать текстовый блок

В основе работы этого граббера лежит регулярное выражение, которое составлено таким образом, что позволяет забирать все, что находится между указанными параметрами (в настройках значатся как "Начальный тэг" и "Конечный тэг").
В качестве параметров могут выступать как отдельные тэги, так и простые текстовые символы (слова, комментарии кода). Опционально вы можете включить ваши параметры в конечный контент с помощью опции "Использовать тэги".
Главное условие - ваши вводные параметры должны быть уникальными.
Например, вы хотите сграбить контент, который находится в нескольких блоках, а параметры можно указать только опираясь на класс блока - вы получите только первый блок

Код

<div class="block">Content 1</div>
<div class="block">Content 2</div>
<div class="block">Content 3</div>

из такой разметки получится забрать только блок с текстом Content 1
Конечно возможно взять и все блоки, но для этого вам нужно будет изменить регулярное выражение

Рассмотрим немного другой вариант разметки, при котором можно забрать все блоки, используя дополнительные настройки модуля:

Код

<ul><li>some here</li></ul>
<div class="block">Content 1</div>
<div class="block">Content 2</div>
<div class="block">Content 3</div>
<table><tr><td>some here</td></tr></table>
 

В этом случае в качестве начального тэга следует указать </ul>, в качестве конечного <table>, параметр "Использовать эти тэги" ставим НЕТ (иначе они поломают разметку вашей страницы) - таким образом получаем все что находится между указанными нами тегами ... все три блока

Бывают случаи, когда нельзя исключить начальный и конечный тэги, хотя они нам и не нужны.
В таком случае используйте настройки "Текст/HTML перед кодом" и "Текст/HTML после кода". Сюда нужно будет вписать недостающие элементы.
Для нашего примера, в случае, если "Использовать эти тэги" оставлена ДА в "Текст/HTML перед кодом" следует вписать <ul><li></li>, а в "Текст/HTML после кода" <tr><td></td></tr></table>

Известные проблемы

Показать текстовый блок

Не получается забирать контент, если в начальном или конечном тэге есть символ #

Советы

Показать текстовый блок

• При настройке модуля отключайте кэширование у него в настройках или в шаблоне (если он используется)
• Для копирования нужных вам тэгов не пользуйтесь инструментами типа FireBug - они исправляют код
• Чтобы вывести сграбленный контент как материал Joomla используйте стандартный плагин mosloadposition для Joomla 1.0.х или loadposition для Joomla 1.5.x

История версий

Показать текстовый блок

Версия 1.4.6.3
- добавлена возможность выбора стандартного шаблона

Версия 1.4.6.2
- добавлена возможность обновления через апдейтер Joomla
- добавлен параметр игнорирования недоступности сайта-источника
    работает это так: если у вас уже стоял и успешно работал настроенный модуль с включенным собственным кэшированием и при очередном обновлении контента (через заданный промежуток времени) сайт-источник оказался недоступен, то будет выведена старая информация с предыдущего обновления
- исправлена ошибка с отправкой сообщения о проблемах на почту
- добавлен новый тип оповещения (ни в модуль, ни на почту)
- исправлены встроенные шаблоны (из-за обновления на источниках)

Версия 1.4.6.1
- устранена проблема с вырезанием тэгов при сохранении настроек

Версия 1.4.6
- о изменениях смотрите тут

Версия 1.4.5
- Исправлена ошибка кэширования
- Добавлен выбор способа оповещения о проблеме граббинга
использование этой опции в шаблонах
{mestype}1{/mestype} сообщение будет выводиться в модуль (как это происходит сейчас)
{mestype}2{/mestype} отправляться на email
{mestype}3{/mestype} оба способа сразу

Версия 1.4.4
- о изменениях смотрите тут

Версия 1.4.3
- Добавлен атрибут target со значением _blank (для открытия сграбленных ссылок в новом окне)

Версия 1.4.2
- Добавлен суффикс для класса модуля
- Файл-кэш теперь указывается в настройках. Это решает проблему использования нескольких копий модуля

Версия 1.4.1
 - Исправлена проблема работы с кэшем
- Устранен баг, при котором нужно было дважды обновлять страницу при первом использовании кэширования

Версия 1.4
Добавлена возможность использования готовых настроек для сайтов (шаблонов).
Шаблон представляет собой XML файл, который необходимо загрузить в modules/mod_grabber/templates/
В комплект входит два шаблона.

Версия 1.3.1
- Исправлена неверная коррекция относительных ссылок

Скриншоты настроек

Показать текстовый блок

[nikonor]

я когда ленту подключал - все работало

может ты шаблон кривовато написал? ... или на источнике код не валидный

[UksusoFF]

может ты шаблон кривовато написал? ... или на источнике код не валидный

я бы даже не стал с этим спорить если бы на обоих сайтах не работало, а так не поймешь, на одном пашет на другом нет... абсолютно тот же самый шаблон абсолютно с того же самого места грабит
да и прошлый раз непонятно чо было когда работало-работало, потом херак и перестало и заработало только после внесения незначительных правок в шаблон методом тыка

[nikonor]

ну тогда объявляю это происком темных сил )

[dkraev]

а что в кэш-файле?

mod_grabber.html имеется ввиду? Пусто.

[nikonor]

этот файл используется для хранения контента, если не используются шаблоны, если был подключен шаблон, то кэш-файл будет иметь его имя

[dkraev]

Хм, ну тогда это тоже происки тёмных сил, наверное )), потому что там два файла. index.html (понятно) + mod_grabber.html

С правами все нормально. Специально еще раз проверил...

[ivankoby]

Народ подскажите, работает это вообще, стоит ли покупать?

[UksusoFF]

работает, как бы оно донат вроде о0 покупать только поддержку

[nikonor]

Модуль бесплатный, но вы можете по своему желанию, если он вам понравился, заплатить любую сумму.

[C0H]

nikonor
  потихоньку осваиваю .)
хочу видео вывести прям со страницы контакта...вот только там такая подгрузка самой страницы...что мод некоторые страницы да ж не видит, а если и видит то не выводит. кстате и с id0 как-то не сложилось. не поможете ?

[UksusoFF]

а кнопка получить код видео не? уже не айс?

[C0H]

не. не айс. там тема другая.

[UksusoFF]

помоему этим плагином сделать не получится, вконтакте авторизация нужна, а в плагине такого нет

[C0H]

какая автаризация если будет выдираца код со страницы?
или к примеру что-то бы посмотреть вот это http://cs191.vkontakte.ru/u00001/a_9dfabd68.jpg нужно авторизироваца обязательно

[UksusoFF]

какая автаризация если будет выдираца код со страницы?
или к примеру что-то бы посмотреть вот это http://cs191.vkontakte.ru/u00001/a_9dfabd68.jpg нужно авторизироваца обязательно

к странице то доступ тоже нужно получить

грабить, получится разве только что со страниц типа вот этой: http://vkontakte.ru/widget_groups.php?gid=7219744&mode=1 или каких то других где не нужна авторизация, ты откуда грабить собрался? из группы? со стены?

[C0H]

думаю со страницы.(ид0000000). та да ж если авторизация..вконтакте скок народу. просто для неавторизированых будет выдавать ошибку...ошибку заменить на " пардонте,висите , вас нет вконтакте "

[UksusoFF]

думаю со страницы.(ид0000000). та да ж если авторизация..вконтакте скок народу. просто для неавторизированых будет выдавать ошибку...ошибку заменить на " пардонте,висите , вас нет вконтакте "

это не народу надо авторизовываться, это плагину нужна авторизация чтобы забирать контент

[vlatim]

Здравствуйте.
Прежде всего, большое спасибо автору за модуль!
Установлен Content Grabber PQ.

В каком месте находится кеш файл? Не уверен что не грабится каждый раз.

Каким оператором можно воспользоваться чтобы выделить в таблице строку со значением "Иванов"?

[nikonor]

Здравствуйте. Спасибо.

Система кэширования в модуле Content Grabber PQ проработана не до конца. Сейчас она работает так: кэшируется вся страница-источник и уже с этой копией проводятся все дальнейшие манипуляции.

Даю подсказку для выделения строки. Приминительно к jquery это вот так примерно выглядит

Код:

$("td:contains('Иванов')").css("background", "red");

вам остается это только прописать с учетом синтаксиса phpQuery

[nikonor]

думаю со страницы.(ид0000000). та да ж если авторизация..вконтакте скок народу. просто для неавторизированых будет выдавать ошибку...ошибку заменить на " пардонте,висите , вас нет вконтакте "

UksusoFF прав. Модуль должен сначала авторизоваться на сайте.
Возможно добавлю такой функционал в следующую версию

[UksusoFF]

UksusoFF прав. Модуль должен сначала авторизоваться на сайте.
Возможно добавлю такой функционал в следующую версию

ой как недобросовестные сеошники обрадуются xD

[vlatim]

Система кэширования в модуле Content Grabber PQ проработана не до конца. Сейчас она работает так: кэшируется вся страница-источник и уже с этой копией проводятся все дальнейшие манипуляции.

Скешированую страницу нашел в папке content. Не было прав на запись у папки, поэтому и не видел.
Я так понял что эта страница обновляется с периодичностью указной в настройке модуля. Верно?
Операции по ее обработке проводятся каждый раз при открытии страницы с опубликованным модулем.
А можно было бы создавать еще одну страничку - с обработанным контентом, и выдавать ее для отображения на сайте.

З.Ы.
У меня сайт вырубили через 2 часа после опубликования модуля, в связи с перегрузкой сервера. И хоть указали что нагрузку дает бот Yahoo, закралась мысля, а не связано ли это с graber-ом. Сейчас подправил права включил все кеширования на сайте. Вроде - нормально.

вам остается это только прописать с учетом синтаксиса phpQuery

До этого момента я тоже дошел но в прописать в phpQuery все не получается. Плюс к тому, нужно добавить еще и родительские элементы, чтобы выделить не ячейку, а строку.

[nikonor]

А можно было бы создавать еще одну страничку - с обработанным контентом, и выдавать ее для отображения на сайте.

По задумке - так и должно работать. Пока не реализовано.

сайт вырубили через 2 часа после опубликования модуля

вряд ли это из-за модуля. в нем скрипт выполняет простую работу с текстом (после того, как его получит, конечно)... хотя как знать ...

Плюс к тому, нужно добавить еще и родительские элементы, чтобы выделить не ячейку, а строку

К сожалению (или к счастью ) обучение программированию выходит за рамки поддержки модуля ... Надеюсь, вы меня поймете

[C0H]

не подскажете что нужно для вывода сменных элементов без обновления страницы ?

[nikonor]

уточните вопрос 

[C0H]

есть определенная строчка на сайте . она обновляется допустим раз в 2 минуты , так что бы без обновления страницы своего сайта можно ее взять с авт. обновлением каждые  2 минуты

[nikonor]

тогда, скорее всего, нужно специализированное API для этого.
можно, конечно, попробовать поместить модуль в iframe и, например, яваскриптом этот фрейм обновлять каждую минуту
вот тут вопрос поднимался ... наверное куда то в эту сторону нужно копать

[apelikov]

сапсибо хорошая штука, жалко только что полную новость не забирает

[nikonor]

пожалуйста ...
может быть ... когда-нибудь ...

[tvplua]

Всем привет вот у меня такая проблема вывалилась Notice: Undefined offset: 1 in /home/tvplud/public_html/modules/mod_grabber/helper.php on line 101 Warning: curl_setopt(): CURLOPT_FOLLOWLOCATION cannot be activated when in safe_mode or an open_basedir is set in /home/tvplud/public_html/modules/mod_grabber/helper.php on line 20

версия Joomla 1.5.15
я читал что кудато код надо поменять а можна обьясть буду очень благодарен я не очень селен а этом, я же ак понимаю это грабер который грабит новости на сайт если можна помогите зарание благодарен