0 Пользователей и 1 Гость просматривают эту тему.
  • 880 Ответов
  • 213323 Просмотров
*

OParshin

  • Новичок
  • 5
  • 0 / 0
Вах!!!  :D

Правда ругается на строку 117:
Fatal error: main() [function.require]: Failed opening required '.../modules/mod_grabber/grab.class.php' (include_path='.:/usr/share/php:/usr/share/pear') in .../modules/mod_grabber/mod_grabber.php on line 117

потому в строке стоит запись
require_once($mosConfig_absolute_path."/modules/mod_grabber/grab.class.php");

а сам "grab.class.php" находится в подкаталоге, т.е. так "/mod_grabber/mod_grabber/grab.class.php"
Если его скопировать в корень "/mod_grabber" все работает.

И атрибута _target не появилось, но все работает.


или у меня что-то не так встало?
« Последнее редактирование: 02.02.2009, 01:34:43 от OParshin »
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
что то не так ...
у меня все нормально работает ... позже гляну что там ..
*

TAX

  • Захожу иногда
  • 154
  • 10 / 0
Поставил последнюю версию. Проверил демку на lenta.ru - работает.
ставлю свою ссылку http://www.meteoprog.ua/ru/weather/Sumy/  и теги
Код
<div class="block_header" style="color: #016BDB; padding: 0px 0px 6px 12px;">
Код
<div style="padding: 20px 0px 0px 0px;">
получаю ошибку
Цитировать
Warning: preg_match_all() [function.preg-match-all]: Unknown modifier '0' in W:\home\mic\www\modules\mod_grabber\grab.class.php on line 22

Warning: Invalid argument supplied for foreach() in W:\home\mic\www\modules\mod_grabber.php on line 124
Что это может означать?
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Используйте в качестве начального тэга
Код
<!-- begin w.block 1 -->
а в качестве конечного
Код
<!-- begin w.block 2 -->
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Вах!!!  :D

Правда ругается на строку 117:
Fatal error: main() [function.require]: Failed opening required '.../modules/mod_grabber/grab.class.php' (include_path='.:/usr/share/php:/usr/share/pear') in .../modules/mod_grabber/mod_grabber.php on line 117

потому в строке стоит запись
require_once($mosConfig_absolute_path."/modules/mod_grabber/grab.class.php");

а сам "grab.class.php" находится в подкаталоге, т.е. так "/mod_grabber/mod_grabber/grab.class.php"
Если его скопировать в корень "/mod_grabber" все работает.

И атрибута _target не появилось, но все работает.


или у меня что-то не так встало?
а версия модуля для какой версии joomla?

у кого нить еще есть подобная проблема?
*

OParshin

  • Новичок
  • 5
  • 0 / 0
mod_grabber_1.4.3_rus_J1.5.zip

потому как сайт на Joomla 1.5
*

OParshin

  • Новичок
  • 5
  • 0 / 0
На что влияет кэширование в этом модуле?

Пример.
Граббинг идет с форума (сайта донора), если в модуле включен кэш, при обновлении страницы на котором стоит грабинг будут показаны новые сообщения с форума (донора сайта) или останутся те, что в кэше?

ЗЫ
Еще раз спасибо за модуль
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Кэш работает очень просто.
Сграбленное содержимое не выводится на страницу, а записывается в файл.
При следующем запросе контента модуль проверяет, есть ли что у него в кэш-файле и не истек ли срок его хранения (время кэширования, которое вы указываете в настройках), если кэш файл существует, он не пустой и время кэширования еще не истекло, то контент он возьмет из файла и к сайту донору вообще обращаться не будет.
Если время кеширования истекло, модуль лезет на сайт донор и опять записывает контент в файл.

Если вы собираетесь использовать модуль для сбора частообновляемого контента, то кэширование лучше отключить (но это повлияет на скорость загрузки вашего сайта)
*

OParshin

  • Новичок
  • 5
  • 0 / 0
Понятно.
А если сайт-донор накроется (перестанет грабится контент), что покажет модуль? Есть ли механизм защиты, например, при такой ситуации на месте сграбленного контента выдается заглушка, что мол сайт-донор в дауне, ждите подъема.
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
пока время кэширования не истекло, а сайт донор в дауне, то вы увидите закэшированный ранее контент
когда время кэширования истекло, а сайт донор в дауне, то выводится сообщение на русском и английском "Сайт не найден"
*

SETEVOY

  • Осваиваюсь на форуме
  • 13
  • 0 / 0
Поставил, настроил.
Выдает в итоге:
Warning: Invalid argument supplied for foreach() in X:\home\test1.ru\www\modules\mod_grabber.php on line 141

:( в чем причина?
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
не верно указаны тэги
*

Спутник

  • Новичок
  • 3
  • 0 / 0
странно, пробую для примера взять с яндекса верхушку <table id=neck></table>, берется. В характерном виде непонятого utf8. Там кодировка utf8, у меня cp1251, так и пишу: Кодировка сайта-донора utf8 Кодировка вашего сайта cp1251; сохраняю, обновляю страничку, пусто. Там где должен быть модуль с яндексовскими новостями - пусто, совсем ничего нет...

Так же и с любым другим сайтом - пока не ставлю перекодировку - все робит. Ставлю исправление кодировки - пусто. Joostina 1.20 stable на денвере.

PS хостер allow_url_fopen не включает :( но это уже другая история :)
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
попробуйте в качестве кодировки своего сайта ставить не cp1251, а windows-1251
*

Спутник

  • Новичок
  • 3
  • 0 / 0
попробуйте в качестве кодировки своего сайта ставить не cp1251, а windows-1251
попробовал. пустота :(
PS у кого-нибудь вобще на джустине1.20 эта штука работает?
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
попробовал. пустота :(
Кэш отключали? Файл-кэш чистили?
PS у кого-нибудь вобще на джустине1.20 эта штука работает?
демо работает на Joostina 1.2.0
граббинг идет с рамблера там как раз utf-8
*

Спутник

  • Новичок
  • 3
  • 0 / 0
чето там по ссылке одни ошибки: и в шапке
Warning: Invalid argument supplied for foreach() in /home/y/yarbeikaru/elevengroup/public_html/templates/eleven/ja_menus/Base.class.php on line 41

Notice: Undefined variable: children in /home/y/yarbeikaru/elevengroup/public_html/templates/eleven/ja_menus/Base.class.php on line 97

и в том что должно быть Демо:
Notice: Uninitialized string offset: 0 in /home/y/yarbeikaru/elevengroup/public_html/modules/mod_grabber.php on line 141

Warning: Invalid argument supplied for foreach() in /home/y/yarbeikaru/elevengroup/public_html/modules/mod_grabber.php on line 141

Ладно, я только что переехал на платный хостинг, попробую - сразу отпишу!
---
Попробовал! Действительно, на нормальном хостинге все пашет на ура.

Спасибо за хороший полезный компонент!
« Последнее редактирование: 20.02.2009, 23:21:58 от Спутник »
*

Nktz

  • Осваиваюсь на форуме
  • 29
  • 0 / 0
Реально ли вытащить выделенную строку из фрейма, в котором приминен ajax? Вот здесь ah.fm
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Реально, но не с этим модулем :)
*

Nktz

  • Осваиваюсь на форуме
  • 29
  • 0 / 0
Ок, а то думал, что не так что-то делаю.
*

kasius_kley

  • Новичок
  • 3
  • 0 / 0
Аналогичная ситуация как была у andragor`a . Не могу заграбить озон.ру по поисковому запросу.
URL cайта-донора -  http://www.ozon.ru/?context=search&text=тра-ля-ля
Начальный тэг      -  <div class="searchResult_person searchResult_block frame frame_dashed_blue">
Конечный тэг       -   </div></div>
все остальное как он указывал, даже скрипт правил

Ура, заработало!

В mod_grabber.php после:
$url = $params->get('url','');

ставим:

global $id;
global $database;
$database->setQuery("SELECT title_alias FROM #__content where id = '$id'");
$header = $database->loadResult();
$header = iconv("UTF-8", "windows-1251", $header); - если сайт на UTF-8
$header = urlencode($header);
$url = $url.$header;

А в URL cайта-донора пишем:

http://www.ozon.ru/?context=search&text=


В итоге. 60 строку выдает (это кодировка в участке php добавленная andragor`ом)

убираешь её выдает ошибки:
www/htdocs/modules/mod_grabber/mod_grabber.php on line 107
www/htdocs/modules/mod_grabber/mod_grabber.php on line 108
www/htdocs/modules/mod_grabber/mod_grabber.php on line 110
www/htdocs/modules/mod_grabber/mod_grabber.php on line 117
www/htdocs/modules/mod_grabber/mod_grabber.php on line 117

БАШКА КИПИТ. НЕРВЫ НА ПРЕДЕЛЕ.
и еще не понял вот это выражение andragor`a не понял :

nikonor

Это оказалось не так просто, ведь начинается ссылка всегда с href=, а кончатся может, чем угодно.

Промучившись, решил сделать несколько str_replace под каждое конкретное окончание, например:
Код
$oldbacklink2 = "\" title";
$newbacklink2 = "&partner=andragor\" rel=\"nofollow\" title";
$text = str_replace($oldbacklink2, $newbacklink2, $text);

Если какой более оптимизированный вариант придумаешь - напиши, а то у меня совсем через одно место.


это куда "сделать несколько str_replace под каждое конкретное окончание"
извините, объясните как решить проблему для упавших с танка
*

kasius_kley

  • Новичок
  • 3
  • 0 / 0
Абсолютно верно. В 1.5.9. из-за этой стоки не грузтся сайт ваще.


Вах!!!  :D

Правда ругается на строку 117:
Fatal error: main() [function.require]: Failed opening required '.../modules/mod_grabber/grab.class.php' (include_path='.:/usr/share/php:/usr/share/pear') in .../modules/mod_grabber/mod_grabber.php on line 117

потому в строке стоит запись
require_once($mosConfig_absolute_path."/modules/mod_grabber/grab.class.php");

а сам "grab.class.php" находится в подкаталоге, т.е. так "/mod_grabber/mod_grabber/grab.class.php"
Если его скопировать в корень "/mod_grabber" все работает.

И атрибута _target не появилось, но все работает.


или у меня что-то не так встало?

После переноса в корень модуля нормально все.
Ну как все также выдает кучу ошибок перед самим сграбленным тектом только уже в окне модуля

 Warning: filesize(): Stat failed for /www/cookfood/www/htdocs/modules/mod_grabber/content/mod_grabber.html (errno=2 - No such file or directory) in /www/cookfood/www/htdocs/modules/mod_grabber/mod_grabber.php on line 107

Warning: file_get_contents(/www/cookfood/www/htdocs/modules/mod_grabber/content/mod_grabber.html): failed to open stream: No such file or directory in /www/cookfood/www/htdocs/modules/mod_grabber/mod_grabber.php on line 108

Warning: filemtime(): Stat failed for /www/cookfood/www/htdocs/modules/mod_grabber/content/mod_grabber.html (errno=2 - No such file or directory) in /www/cookfood/www/htdocs/modules/mod_grabber/mod_grabber.php on line 110

Warning: fopen(/www/cookfood/www/htdocs/modules/mod_grabber/content/mod_grabber.html): failed to open stream: No such file or directory in /www/cookfood/www/htdocs/modules/mod_grabber/mod_grabber.php on line 160

Warning: fwrite(): supplied argument is not a valid stream resource in /www/cookfood/www/htdocs/modules/mod_grabber/mod_grabber.php on line 161

Warning: fclose(): supplied argument is not a valid stream resource in /www/cookfood/www/htdocs/modules/mod_grabber/mod_grabber.php on line 162
*

kasius_kley

  • Новичок
  • 3
  • 0 / 0
Ошибки вылетают вот в этих строках php а ниже идет контент с сграбленного сайта

$fsize        = filesize($tmpfname);
$fromfile     = file_get_contents($tmpfname);
$filetimech = filemtime($tmpfname);


$handle = fopen($tmpfname, "a+");
fwrite($handle, $starttext.$text.$endtext);
    fclose($handle);



*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Цитировать
Абсолютно верно. В 1.5.9. из-за этой стоки не грузтся сайт ваще.
Ошибку исправил, качайте.
На случай, если кто то хочет сам все исправить вот так должны на самом деле выглядеть указанные строки в файле mod_grabber.php
Код
14   $xmlfile      = simplexml_load_file($mosConfig_absolute_path."/modules/mod_grabber/mod_grabber/templates/".$template_name);
48   @$tmpfname = $mosConfig_absolute_path."/modules/mod_grabber/mod_grabber/content/".$name.".html";
70   $tmpfname     = $mosConfig_absolute_path."/modules/mod_grabber/mod_grabber/content/mod_grabber.html";
117  require_once($mosConfig_absolute_path."/modules/mod_grabber/mod_grabber/grab.class.php");
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Аналогичная ситуация как была у andragor`a . Не могу заграбить озон.ру по поисковому запросу.
в вашем случае настройки будут выглядеть так
URL cайта-донора               -  http://www.ozon.ru/?context=search&text=тра-ля-ля
Начальный тэг                    -  <div class="searchResult_person searchResult_block frame frame_dashed_blue">
Конечный тэг                      -   <div class="searchResult_block"> /*это тэг, который идет следом за </div></div>*/
Использовать тэги               - Нет
Текст / HTML перед кодом - <div class="searchResult_person searchResult_block frame frame_dashed_blue">
Текст / HTML после кода - <div/>

Уже говорил и повторю еще разок -
Не пихайте ДВА тэга сразу. Только ОДИН тэг!
*

Mr.Tokio

  • Новичок
  • 4
  • 0 / 0
Люди подскажите настроил модуль на 3dnews.все прекрасно работает но вот загвоздка как сделать чтобы отображалось 6 новостей а не 10...подскажите плз.
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
задайте параметры таким образом чтоб модуль забирал не 10 , а 6 новостей :)
*

Mr.Tokio

  • Новичок
  • 4
  • 0 / 0
Да но как это сделать?я такого параметра там не нашел..поэтому спросилл..если не сложно то укажите подробно как сделать...
*

necrqlan

  • Осваиваюсь на форуме
  • 13
  • 1 / 0
Спасибо за модуль. Скажите, а можно сделать так, что бы в скачанном контенте ссылок небыло совсем? т.е.заголовок просто как текст шел. (и картинки)
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Да но как это сделать?я такого параметра там не нашел..поэтому спросилл..если не сложно то укажите подробно как сделать...
мне нужны данные, адрес и тэги
Спасибо за модуль. Скажите, а можно сделать так, что бы в скачанном контенте ссылок небыло совсем? т.е.заголовок просто как текст шел. (и картинки)
Теоретически можно, но практически этого делать я пока не собираюсь.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Модуль для отображения курсов валют

Автор Геон

Ответов: 2
Просмотров: 338
Последний ответ 03.02.2024, 22:19:02
от Геон
Модуль «Image Show gk4», не отображается ни картинка, ни текст

Автор kaasin

Ответов: 1
Просмотров: 1977
Последний ответ 13.05.2023, 15:42:15
от anastasya96
Компонент Commedia и плагин mp3browser для медиа-сайтов

Автор ecolora

Ответов: 557
Просмотров: 118621
Последний ответ 13.03.2023, 00:25:14
от ecolora
Стандартный модуль случайного изображения не выводит фотографии

Автор strix

Ответов: 8
Просмотров: 6351
Последний ответ 19.10.2022, 16:07:11
от Andrej_777
Модуль тегов Joes Word Cloud для Joomla 3

Автор ecolora

Ответов: 1
Просмотров: 1321
Последний ответ 05.05.2022, 19:04:44
от ecolora