LiveInternetMail.ru
Форум русской поддержки Joomla!® CMS
20.05.2013, 05:19:07 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 2.5 FAQ Joomla 1.5 FAQ Joomla 1.0 FAQ Правила форума Новости Joomla Войти Регистрация Помощь  
Страниц: 1 2 3 4 5 6 7 8 9 10 11 [12] 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28   Вниз
  Добавить закладку  |  Печать  
Автор Тема: Content Grabber (скачать) - модуль импорта инфы с других сайтов  (Прочитано 127372 раз)
0 Пользователей и 1 Гость смотрят эту тему.
nikonor
Завсегдатай
*****

Репутация: +54/-0
Offline Offline

Пол: Мужской
Сообщений: 496


Content Grabber


« : 11.11.2008, 18:12:05 »

Нужна помощь в возвращении модуля на JED!
Сейчас там
Цитировать
This extension has been unpublished for the following reason: UR13-Bait and Switch
Пробовал писать - несколько месяцев никакого ответа.
Если кто-то сталкивался - расскажите (в личку) что нужно сделать что бы вернуть модуль к публикации




Этот модуль позволяет отображать на вашем сайте содержимое другого сайта.
Content Grabber вставляет не всю страницу, как это делает модуль wrapper, а лишь только ту часть информации на странице, которая вам необходима.

Что модуль НЕ делает:
  • не пишет сграбленный контент в базу данных
  • не грабит динамическое содержимое
  • не собирает полный вариант материала (не берет интро и полный текст одновременно, если они на разных страницах)

Зачем нужен Content Grabber:
  • отображение у себя на сайте различных информеров (если нет возможность получить их иначе)
  • отображение статичных данных - таблиц, расписаний
  • придумайте сами Azn

Скачать | Демо (источник контента) | Страница модуля на JЕD | Content Grabber на

Внимание!
Версия модуля 1.5.0 переименована в Content Grabber PQ
Подробнее о версии здесь http://joomlaforum.ru/index.php/topic,46583.msg591405.html#msg591405


Принцип работы и пример настройки
Показать текстовый блок

Известные проблемы
Показать текстовый блок

Советы
Показать текстовый блок

История версий
Показать текстовый блок

Скриншоты настроек
Показать текстовый блок
« Последнее редактирование: 17.03.2013, 19:25:15 от nikonor » Записан
 
kaizer
Захожу иногда
**

Репутация: +0/-0
Offline Offline

Сообщений: 13


« Ответ #331 : 15.04.2010, 07:35:12 »

Всем доброго дня суток. Граббер хороший. Только как сделать, чтобы граббилась инфа с разных сайтов, т.е я понимаю так, что один модуль-один сайт, а как сделать, чтобы работали вместе несколько модулей граббера?
Если есть такая возможность, то подскажите пожалуйста, как это реализовать.
Записан
delphine
Осваиваюсь на форуме
***

Репутация: +30/-0
Offline Offline

Пол: Мужской
Сообщений: 192



« Ответ #332 : 15.04.2010, 08:37:36 »

Копируешь в админке модуль, и каждую копию настраиваешь под тот сайткоторый хочешь грабить.
Записан
kaizer
Захожу иногда
**

Репутация: +0/-0
Offline Offline

Сообщений: 13


« Ответ #333 : 15.04.2010, 09:12:22 »

Копируешь в админке модуль, и каждую копию настраиваешь под тот сайткоторый хочешь грабить.
Спасибо, за столь быстрый ответ. Всё работает.
Записан
olegtlt
Захожу иногда
**

Репутация: +1/-0
Offline Offline

Сообщений: 19


« Ответ #334 : 25.04.2010, 23:27:32 »

Привет не могу настроить модуль - ошибка:
Код:
Fatal error: Uncaught exception 'Exception' with message 'Can't use last created DOM, because there isn't any.
Use phpQuery::newDocument() first.' in /home/cp890416/public_html/modules/mod_grabber/pj/phpquery.php:154
Stack trace: #0 /home/cp890416/public_html/modules/mod_grabber/pj/phpquery.php(1329):
phpQuery::pq(NULL) #1 /home/cp890416/public_html/modules/mod_grabber/tmpl/default.php(5):
pq() #2 /home/cp890416/public_html/modules/mod_grabber/mod_grabber.php(38):
require('/home/cp890416/...') #3 /home/cp890416/public_html/plugins/system/advancedmodules/modulehelper.php(190):
require('/home/cp890416/...') #4 /home/cp890416/public_html/plugins/system/modulesanywhere/helper.php(320):
JModuleHelper->renderModule(Array, Array) #5 /home/cp890416/public_html/plugins/system/modulesanywhere/helper.php(261): plgSystemModulesAnywhereHelper->processModule(NULL) #6 /home/cp890416/public_html/plugins/system/modulesanywhere/helper.php(76):
plgSystemModulesAnywhereHelper->processModules(Object(stdClass), Array) #7 /home/cp890416/public_ in /home/cp890416/public_html/modules/mod_grabber/pj/phpquery.php on line 154

В чём может быть проблема?
« Последнее редактирование: 25.04.2010, 23:36:55 от olegtlt » Записан
nikonor
Завсегдатай
*****

Репутация: +54/-0
Offline Offline

Пол: Мужской
Сообщений: 496


Content Grabber


« Ответ #335 : 26.04.2010, 06:48:01 »

где-то ошиблись при написании шаблона
вообще, версию 1.5.х рекомендую использовать в том случае, когда предыдущая версия не устраивает ... то есть, когда нужно не просто взять контент между какими-нибудь тэгами, а требуется собственное форматирование, коррекция сграбленной информации
Записан
olegtlt
Захожу иногда
**

Репутация: +1/-0
Offline Offline

Сообщений: 19


« Ответ #336 : 26.04.2010, 15:15:31 »

спасибо за ответ
Записан
olegtlt
Захожу иногда
**

Репутация: +1/-0
Offline Offline

Сообщений: 19


« Ответ #337 : 27.04.2010, 00:30:22 »

версия 1.4.5
грабить начал)
но проблемы с кодировкой((
указано:
Кодировка сайта-донора - windows-1251
Кодировка вашего сайта - UTF-8

но показывают квадратики(
Записан
nikonor
Завсегдатай
*****

Репутация: +54/-0
Offline Offline

Пол: Мужской
Сообщений: 496


Content Grabber


« Ответ #338 : 27.04.2010, 00:48:02 »

отключайте кэш модуля на время настройки ... возможно он показывает сграбленный контент еще с того времени когда вы кодировку не указали ... вобщем отключите кэш и обновите страницу ..
Записан
olegtlt
Захожу иногда
**

Репутация: +1/-0
Offline Offline

Сообщений: 19


« Ответ #339 : 27.04.2010, 00:57:37 »

точно

спасибо)
Записан
olegtlt
Захожу иногда
**

Репутация: +1/-0
Offline Offline

Сообщений: 19


« Ответ #340 : 27.04.2010, 01:23:18 »

в сграбливаемом сайте стоит:
<a onclick="window.open('/data/sborniki/100%_43.jpg','','width=377,height=480');return false;" href="/data/sborniki/100%_43.jpg">
при граблении у меня при наведении на ссылку показывается правильный путь (если открыть в новом окне то всё окей) а при клике во всплывающем окне пишет "The requested URL /data/sborniki/BLOKBASTERY_55.jpg was not found on this server."

решил проблему с помощью расширения - ReReplacer
« Последнее редактирование: 27.04.2010, 01:34:19 от olegtlt » Записан
Graf Devilurg
Гость
« Ответ #341 : 06.05.2010, 08:49:50 »

Господа, здравствуйте! Огромное спасибо автору.
Версия jooml'ы: 1.5.15 Версия скрипта: 1.4.5
====================================
Вопросы по расширению возможностей:
1.) Как реализовать "предпубликационное" редактирование содержимого?
Конкретный пример: Имеется "галлерея-донор" с переодически обновляющимся фото контентом.
Задача: Чтоб перед выводом на "сайт-реципиент" изменялся параметр "ширина" каждой миниатюры.
----------------------------------------------
2.) Создание многостраничного контента.
Конкретный пример: Существует контент расположеный на нескольких страницах "ресурс-донора".
Задача: Создание многостраничного вывода контента Не используя метод многократного дублирования mod_grabber
Задача 2: Если инплантируемый контент превышает допустимые нормы, нарушая тем самым гармоничный дизайн Автоматически раделять на несколько страниц.
===============================
Предполагаю, что следует создать определённые шаблоны для решения этих задач.
===============================
P.S. Следует полагать, что этот форум не является рынком, в следствии чего, я прошу не писать о возможности помочь за вознаграждение. С уважением Андрей.
Записан
drumin
Захожу иногда
**

Репутация: +0/-0
Offline Offline

Сообщений: 19


« Ответ #342 : 21.05.2010, 22:36:21 »

Здравствуйте, у меня возник такой вопрос. Для того чтобы закрыть сграбленные ссылки от индексации в Google достаточно прописать в параметры ссылки тег rel="nofollow", но вот для Яндекса такое не прокатит, чтобы запретить индексацию Яндексу нужно ссылку поставить в теги <noindex>, можно было бы конечно эти теги прописать перед сграбленным кодом и после, но тогда весь материал не проиндексируется, а вот если бы была возможность добавлять данные теги только к ссылке, но не к предварительному описанию сграбленной новости (например), то материал бы проиндексировался, так вот можно ли такое осуществить, или никак, и не планируется?
Записан
temper
Захожу иногда
**

Репутация: +0/-0
Offline Offline

Сообщений: 21


« Ответ #343 : 22.05.2010, 16:20:49 »

Здравствуйте.
Как сделать граббинг от <div class="newsArticle"> до <p><strong>?
В default.php прописано:

<?php defined('_JEXEC') or die('Restricted access');

$result = phpQuery::newDocument($html);
//$out    = pq($result)->find('div.newsArticle')->html();
echo $out;
?>

И еще как в php прописать синтаксис для отображения ссылок src и href ?
« Последнее редактирование: 01.06.2010, 18:09:47 от temper » Записан
dimmer
Осваиваюсь на форуме
***

Репутация: +1/-0
Offline Offline

Сообщений: 37


« Ответ #344 : 25.05.2010, 14:28:55 »

Перестала грабится погода с rp5.ru. Сначала думал что, тэги поменялись, но нет. Теперь не открываются прямые ссылки на город. Например, http://rp5.ru/5483/ru выдает 404, если заходить напрямую, а не с главной страницы. Можно это как-то победить?
Записан
vadim s. sabinich
Осваиваюсь на форуме
***

Репутация: +10/-0
Offline Offline

Пол: Мужской
Сообщений: 167


переводчик-любитель


« Ответ #345 : 30.05.2010, 20:06:53 »

сайт по "демо" и "скачать" недоступен. ваш к.о.
Записан
temper
Захожу иногда
**

Репутация: +0/-0
Offline Offline

Сообщений: 21


« Ответ #346 : 01.06.2010, 18:08:36 »

Автор ты еще живой? Что молчим то?  Smiley
Записан
sanitarn
Захожу иногда
**

Репутация: +0/-0
Offline Offline

Сообщений: 24


« Ответ #347 : 03.06.2010, 19:11:39 »

Непонятно, а как указать ему категорию куда он будет грабить?
Записан
yuri-it
Живу я здесь
******

Репутация: +34/-3
Offline Offline

Сообщений: 940


« Ответ #348 : 10.06.2010, 10:34:42 »

Непонятно, а как указать ему категорию куда он будет грабить?
Непонятно, а как указать ему категорию куда он будет грабить?
Автор же написал, что в БД данные не заносятся.
Записан
Spek™
Новичок
*

Репутация: +2/-0
Offline Offline

Пол: Мужской
Сообщений: 9



« Ответ #349 : 13.06.2010, 16:56:08 »

Знаете че?
Во первых прочитайте все 12 страниц,или воспользуйтесь поиском,некоторые вопросы дублируются неединажды.
Во вторых Автор не лошадь работать бесплатно и тоже хочет вкусно кушать,написано 300-500 рублей ЕСЛИ Ломину разбираться САМИМ.Уже проведена Огромная работа,faq можно составить.
Ну ладно, я понимаю еще чтото толковое спросить,но переспрашивать,тыкать и ПРОСИТЬ сделать,ПОД ПРЕДЛОГОМ помощи это некрасиво,неэтично и вообще  бееее.
пс: Пальцем не тыкаю,но предупреждаю: Совесть нада иметь уважаемые дамы и господа.Пишите по делу пожалуйста.
пс1: За грабер отдельное спасибо автору.Насчет FAQ на русском затея думаю хорошая,ща разберусь как че работает и напишу.
пс2: Идея с авторизацией на сайте - шикарная,однако я считаю что это будет как ядерная боеголовка в руках спамеров, в массы такое точно пускать нельзя,а кому действительно нужно тот и так перепишет под себя.
пс3: Мод - золото. И еще,давайте жить дружно.Без лишнего флуда.

///////////////////// поставил последнюю версию... да этош праздник какойто!)))))
насчет 12 страниц я погорячился,кто знаком c php смело ставьте 1.5.0 версию разобраться че куда - можно.
/////////////////////
phpQuery очень схоже с jQuery читаем тут:
http://habrahabr.ru/blogs/jquery/38208/ jQuery для начинающих
http://www.rsdn.ru/article/inet/jQuery.xml подробнее
http://jquery-docs.ru/ Перевод официальной jQuery документации на русский язык
/////////////////////затем вооружаемся переводчиком и дуем сюда:
http://code.google.com/p/phpquery/ собственно для чего все это и затевалось. Открываем  default.php блокнотиком и применяем знания на практике.Удачи всем)))
/////////////////////
Николай сдеайте пожалуйста проверку на cURL, установлен или нет,голову сломал почему не работает)))))
в настрйоках  php.ini разкомментируйте строку:
extension=php_curl.dll
ещё open_basedir и safe_mode должны быть off
также можно попробовать в .htaccess добавить это:
php_flag safe_mode off

а все из за ошибки:
Warning: curl_setopt() [function.curl-setopt]: CURLOPT_FOLLOWLOCATION cannot be activated when in safe_mode or an open_basedir is set in */public_html/modules/mod_grabber/helper.php  on line 20

в файле helper.php
16-23 строки:
        $ch = curl_init();
        curl_setopt ($ch, CURLOPT_URL, $params->get('url'));
        curl_setopt($ch, CURLOPT_USERAGENT, $agent);
        curl_setopt($ch, CURLOPT_REFERER, $referer);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
        $file = curl_exec ($ch);
        curl_close($ch);

пробовал эмулировать работу CURLOPT_FOLLOWLOCATION методом http://qds.su/blog/?p=152 не вышло. стучусь к хостеру.
недождался, изменил эту строчку:
 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
на
 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 0);
в шаблоне прописал echo $html; выпал сайт донор целиком и без кракозябров,я так понимаю скрипт работает нормально.
сел за изучение jquery
/////////ответ хостера:
curl у нас стоит, но проблема как раз в том, что установлен open_basedir в целях безопасности, чтобы у скриптов не было возможности обратиться в папки других пользователей....
Ваша проблема будет рассмотрена администратором.
/////////////////////
Привожу еще ссылки по phpQuery
http://saintist.ru/2009/04/30/phpquery-shporgalka
http://m.habrahabr.ru/post/69149/?wob=J8U4YJ зачитал,поставил phpQuery теперь думаю а зачем мне плагин?))))))))

« Последнее редактирование: 15.06.2010, 15:43:25 от Spek™ » Записан
yuri-it
Живу я здесь
******

Репутация: +34/-3
Offline Offline

Сообщений: 940


« Ответ #350 : 21.06.2010, 12:51:54 »

Пробую с локалхоста 1.4.5 пишет сайт не найден Sad И так для всех сайтов ...
Записан
nikonor
Завсегдатай
*****

Репутация: +54/-0
Offline Offline

Пол: Мужской
Сообщений: 496


Content Grabber


« Ответ #351 : 21.06.2010, 13:10:10 »

включите отображение ошибок .. что показывает?
Записан
yuri-it
Живу я здесь
******

Репутация: +34/-3
Offline Offline

Сообщений: 940


« Ответ #352 : 21.06.2010, 13:49:49 »

включите отображение ошибок .. что показывает?
вообще на денвере ошибки все включены, ничего не показывает ) Просто красным Сайт не найден Sad Кстати вот версия 1.5 вроде видит донора, но не хочу пока шаблонами заморачиваться, в 1.4.5 как раз что нужно все.
Записан
nikonor
Завсегдатай
*****

Репутация: +54/-0
Offline Offline

Пол: Мужской
Сообщений: 496


Content Grabber


« Ответ #353 : 21.06.2010, 14:12:14 »

дайте источник, в личку например, посмотрим что там такое
Записан
yuri-it
Живу я здесь
******

Репутация: +34/-3
Offline Offline

Сообщений: 940


« Ответ #354 : 21.06.2010, 15:01:11 »

дайте источник, в личку например, посмотрим что там такое
сайт на денвере, может поэтому не работает? Денвер во внешку не настроен. Попробую сегодня на домашнем ПК все проделать.
Записан
sandra21
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 5


« Ответ #355 : 26.06.2010, 12:40:22 »

Автору спасибо, модуль классный

Вопрос не совсем в тему но может кто-нибуть все таки ответит  Crazy

граблю страницу с таблицей в этой таблице я убираю первую строку (заголовок) и во всех строках надо убрать последний столбик пишу

шаблон
Код:
<?php
defined('_JEXEC') or die('Restricted access');
$result = phpQuery::newDocument($html);
$out=pq($result)->find('table.txt');
$out->find('tr:first')->remove();
$out->find('tr>td:last')->remove();>

убирается только последний столбик в последней строчке, почему?
нужно ли использовать цикл? вроде нет если писать $out->find('tr>td')->remove(); убираются же все можно ли к элементам обращаться по номеру? Ну или хотя бы подскажите что читать желательно на русском
Записан
nikonor
Завсегдатай
*****

Репутация: +54/-0
Offline Offline

Пол: Мужской
Сообщений: 496


Content Grabber


« Ответ #356 : 27.06.2010, 10:24:59 »

смотрите тут
Записан
sandra21
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 5


« Ответ #357 : 28.06.2010, 00:25:19 »

Ладно с этим разобралась  Grin

теперь другой вопрос, беру с сайта в windows-1251 у меня соответственно UTF-8 из чего куда кодировать указанно но ничего не грабится, если кодировку не указываешь то грабится но с вопросиками граблю отсюда http://finam.info/home/main/default.asp
Записан
nikonor
Завсегдатай
*****

Репутация: +54/-0
Offline Offline

Пол: Мужской
Сообщений: 496


Content Grabber


« Ответ #358 : 28.06.2010, 22:14:30 »

используйте iconv
iconv  (  'UTF-8', 'Windows-1251',  $out  );
где  $out - это переменная в которой хранится вся информация которая на выходе должна быть
Записан
sandra21
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 5


« Ответ #359 : 29.06.2010, 14:55:52 »

Спасибо, помогло  Cheesy
Записан
yuri-it
Живу я здесь
******

Репутация: +34/-3
Offline Offline

Сообщений: 940


« Ответ #360 : 29.06.2010, 15:26:58 »

вот собственно ошибки мои появились:

Notice: Undefined offset: 1 in H:\home\test1.ru\www\auto2\modules\mod_grabber\helper.php on line 123

Notice: Undefined variable: go in H:\home\test1.ru\www\auto2\modules\mod_grabber\mod_grabber.php on line 80

Notice: Undefined variable: atr in H:\home\test1.ru\www\auto2\modules\mod_grabber\mod_grabber.php on line 85
Записан
Страниц: 1 2 3 4 5 6 7 8 9 10 11 [12] 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Рейтинг@Mail.ru Rambler Top100 Powered by SMF 1.1.18 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet