0 Пользователей и 1 Гость просматривают эту тему.
  • 880 Ответов
  • 213594 Просмотров
*

Demios

  • Осваиваюсь на форуме
  • 11
  • 0 / 0
Ув. nikonor
Я не это имел в веду.. Можно ли сделать так чтобы при переходе по странам оно открывало страницы как бы в фрейме? - оформлением и ulr мои а информация донора.
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Тогда, только используя копии модуля.
То есть на каждую страну свой модуль. Ссылки там на них статичны, поэтому проблем быть не должно
Указываете в качестве URL адрес страницы с нужной страной
Начальный <tbody id="id_travel_1" >
Конечный <script type='text/javascript'>
Использовать тэги НЕТ
HTML перед <div><table>
*

stef21

  • Захожу иногда
  • 156
  • 8 / 0
Подскажите пожалуйста у данного грабера есть возможность грабинга   информации с текстового файла с исходным форматированием?
Допустим с такого адреса  sait.ru/fail.txt
 
« Последнее редактирование: 17.12.2012, 13:47:32 от stef21 »
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
а что вы подразумеваете под исходным форматированием в txt файле? перенос строк?
*

stef21

  • Захожу иногда
  • 156
  • 8 / 0
Столбцы, подчеркивание и т.д. там выполнено типа таблички
*

Shustry

  • Гуру
  • 6434
  • 745 / 3
Подчёркивания в txt сделано симвлоами «_» или «-». Отступы в столбцах пробелом или табулятором. В общем, это не псевдоформатирование. Делайте альтернативный шаблон вывода модуля и разбирайте регулярными выражениями.
*

zayard

  • Осваиваюсь на форуме
  • 16
  • 0 / 0
Помогите пожалуйста.
Нужно вывести афишу кинотеатра на сайте http://www.vdlv.ru/sityposter/7-cinema/32-luxorfilm. Для примера возьмем сайт http://luxorfilm.ru/afisha
Какие начальные и конечные теги нужно указать и что нужно указать в теге материала на нашей странице {loadmodule ...}, чтобы запустить модуль? А то что-то совсем ничего не выходит... Спасибо.
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Попробуйте
Начальный <div class="afisha_cont cf">
Конечный <div class="clear">
Использовать эти тэги НЕТ

Публикуете модуль в позиции grabber (прямо руками впишите эту позицию), после этого в контенте вставляйте {loadposition grabber}
*

zayard

  • Осваиваюсь на форуме
  • 16
  • 0 / 0
Спасибо, теперь разберусь, заработало. Отличный модуль.
*

dimmer

  • Осваиваюсь на форуме
  • 32
  • 1 / 0
Сжатые страницы Content Grabber не грабит?
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
теоретически сжатые страницы не должны быть проблемой ... если cURL в состоянии такие страницы забирать, то проблемы быть не должно
*

dimmer

  • Осваиваюсь на форуме
  • 32
  • 1 / 0
Сегодня бился над страницей http://www.hahasport.com/c-4.html . Выдавало или ничего или "Не удается запустить процесс с указанными параметрами!". Потом попробовал сохранить страницу Wgetом. И фигвам - ОШИБКА 404: Not Found. Yahoo pipes тоже не может ее забрать. На руборде мне подсказали, что страница сжатая. Для cURL дали такие ключи: cURL --compressed -O "http://www.hahasport.com/c-4.html"
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
это интересно.
вообще опция
Код
curl_setopt($ch, CURLOPT_ENCODING, '');

позволяет декодировать identity, deflate и gzip
то есть как я понимаю, если бы проблема была только в том, что страница сжата, то мы бы сейчас получили просто набор непонятных символов (закодированный сжатый текст), но вместо контента нам отдают 404, а это уже попахивает обнаружением грабера
попробую на выходных один финт ушами .. если не прокатит, то - увы  :(
*

dimmer

  • Осваиваюсь на форуме
  • 32
  • 1 / 0
У меня вот так  
Код
curl.exe --compressed -O "http://www.hahasport.com/c-4.html"
скачивает страницу.
*

Delpo

  • Новичок
  • 7
  • 0 / 0
Привет! у меня опять небольшой вопрос возник..
Парсится страница, но бывает так что теги по которым идет граббинг бывают недоступны (т.е. не выводятся на странице айта донора), тогда граббер выдает 1 что логично. Можно ли эту "1" заменить на свое текстовое сообщение? (т.е. чтобы выводилось сообщение на моем сайте вместо 1 )

*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Delpo
в файле tmpl/default.php
вместо
Код
echo $html;
пропишите
Код
if ($html=='1') {
echo 'Ваш текст';
}else{
echo $html;
}
dimmer времени еще не было проверить :(
*

astawbm

  • Новичок
  • 2
  • 0 / 0
Здравствуйте nikonor
А для J2.5 это все настройки или я что то делаю не так?

И, пожалуйста, возьмитесь за настройку шаблона для моей странички. (---- сабака --- .---)
зы
Мне почему то нельзя отправлять сообщения в личку, видимо, потому как только что сделал учетку...
« Последнее редактирование: 22.01.2013, 14:47:10 от astawbm »
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
это не все настройки ...
*

astawbm

  • Новичок
  • 2
  • 0 / 0
nikonor
Да, я понял. Пожалуйста, проверьте почту.
*

dimmer

  • Осваиваюсь на форуме
  • 32
  • 1 / 0
Пробовал добавлять в helper.php разные настройки, но что-то ничего не вышло. Потом придумал костыль: в cron на хостинге добавил cURL, который периодически скачивает архивированную страницу и складывает ее в папку на сайте. А в CG прописал ссылку уже на эту распакованную страницу. Работает.

Возникла еще одна нештатная ситуация, связанная с настройками на хостинге. Нужно было стянуть с википедии одну биографию. Настроил в Денвере, все ok.  Перенес на хостинг - не работает. Обнаружил, что на хостинге стоит какое-то ограничение (на макс загрузку или кол-во символом), но какое именно так и не понял. Вот это предложения еще грабится, а следующее уже ни в какую. CG не может получить всю страницу. Придумал решение: взял два модуля CG, половину статьи в 1-ый, половину во 2-ой. А потом на странице они выводятся друг за другом, получается статья целиком. Минус в том, что на стыках частей пришлось использовать контент в качестве конечного и начального тега. Если текст поменяется, граббинг сломается. Но пока все ok, работает отлично.
*

bobmyp

  • Новичок
  • 6
  • 0 / 0
Подскажите, пожалуйста, чайнику,  как в урл-е (уже добавленному в Content Grabber) поменять один get параметр на взятую из сграбленного контента инфу(цифру). Конкретно - дату.  Еще проблема в том, что формат даты в гет параметре URL должен быть dd/mm/yyyy  а в сграбленном тексте он - dd.mm.yyyy.    То есть  еще надо точки на слеши заменть...  В  сграбленном контенте есть ссылка донара с параметром даты, в принципе, ее путем замен можно привести к нужному виду, но там она, блин,  тоже в формате  с точками а не со слешами...(
« Последнее редактирование: 17.03.2013, 14:11:14 от bobmyp »
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
Цитировать
В  сграбленном контенте есть ссылка донара с параметром даты
первое что приходит в голову.
идете в файл шаблона, там есть переменная $html - в ней собственно весь ваш сграбленный контент.
регуляркой забираете ссылку донора с параметрами, путем замен приводите ее в нужный вид
теперь будет
$url = 'тут ваш обработанный урл';
$html = $starttext.ModGrabberHelper::grabhtml($url, $start, $end, $show, $regexp, $mestype).$endtext;
   if (($fromcharset<>'') AND ($tocharset<>'')) $html = ModGrabberHelper::correct_charset($fromcharset, $tocharset, $html);
   if ($replace_params) $html = ModGrabberHelper::replaceit($replace_params, $html);
echo $html;
*

sotvm

  • Новичок
  • 7
  • 1 / 0
вопрос о замене контента :D объясните пожалуйста.
к примеру:сграбил таблицу :o
Спойлер
[свернуть]
так как мне прописать "хитро" чтобы удалить пустые строки(ячейки),
вопрос в том что я не знаю как вот этот кусок кода целиком вставить, в replace_params
Спойлер
[свернуть]
чтобы, если данных в строке(ячейке) нет, то заменить на "пробел"(удалить короче),
дело в том что
Код
<DIV><a>БЛА-БЛА-БЛА </a></DIV>
ПОМЕНЯТЬ НА XXX без проблем,
НО ВОТ ТАК если есть перевод строки после любого символа или тега? :'(
 (я так полагаю уже надо как то "экранировать перевод строки" ,НО знаний моих маловато)
Код
<DIV>
<a>БЛА
        -БЛА
           -БЛА </a></DIV>

да и ещё сразу такой вопрос, как из тела страницы можно удалЯть
Код
<script src="бла-бла-бла=каждый раз генерится новый код.js" type="text/javascript">
то есть нужно чтобы В СГРАБЛЕНОМ отсеять всякий мусор-типа всплывающей рекламы
ну как то так crazy! как смог объяснил

« Последнее редактирование: 29.04.2013, 23:34:06 от sotvm »
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
replace_params позволяет делать простые замены, если вам по каким то причинам не подходит этот параметр, то вы всегда можете сделать замены всего и вся с помощью регулярных выражений в файле шаблона
Цитировать
идете в файл шаблона, там есть переменная $html - в ней собственно весь ваш сграбленный контент.
ну а потом preg_replace вам в помощь ... вот, кстати, небольшой пример использования из мануала php
Код: php
$string = "The quick brown fox jumped over the lazy dog.";

$patterns[0] = "/quick/";
$patterns[1] = "/brown/";
$patterns[2] = "/fox/";

$replacements[2] = "bear";
$replacements[1] = "black";
$replacements[0] = "slow";

echo preg_replace($patterns, $replacements, $string);
у вас вместо $string будет $html
*

sotvm

  • Новичок
  • 7
  • 1 / 0
Код
[quote author=nikonor link=topic=46583.msg1318572#msg1318572 date=1367265428]
..... а потом preg_replace вам в помощь ...
у вас вместо $string будет $html
[/quote]

знаю что курить "букварь " нужно, НО В 40лет crazy! *DRINK* сложновато мне с синтаксисом разобраться,
да и спросить больше не у кого.
я правильно понимаю?
сперва нужно задать переменные
Код
$pattern = '/quick/'
  искомый образец (какую роль несут слеши? /)
Код
$replacement = ' ' 
на что заменяем(если просто две кавычки одинарных, то равнозначно удалению?)
Код
$string = $html
(НУ ХОТЬ ТУТ МНЕ ВСЁ ПОНЯТНО без вопросов)
Код
preg_replace($patterns, $replacements, $string);    
 сама функция с параметрами
и всю эту конструкцию вставить в файл helper.php (/modules/mod_grabber/helper.php)
в самом низу кода, перед ?

Код
return $html;
можно живой примерчик для наглядности?
как правильно присвоить переменной
Код
$pattern

скажем вот такой код-это я скопировал  (как есть) кусочек из
/modules/mod_grabber/content/mod_grabber_1.html
Код
<td style="background-color: #eee
;" align="center">
<p>&nbsp;</p></td>
« Последнее редактирование: 30.04.2013, 10:45:01 от sotvm »
*

Batis

  • Новичок
  • 8
  • 0 / 0
http://www.radikal.cc/action.aspx#

Вывожу лоадом граббер на главной страницы в модуле.

Он просто даже не ругается это самое обидное.

Ребят подскажите чего Неправильно делаю?
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
sotvm все правильно у вас написано
по примеру .. попробуйте так
Код
$pattern="/<td style="background-color: #eee(.*)</td>/";
то есть должно быть заменено в итоге <td style="background-color: #eee, </td> и все что между ними
*

koskanalya

  • Захожу иногда
  • 62
  • 0 / 0
А можно таким граббером парсить данные с кинопоиска(обложку, описание фильма и тд) и вставлять непосредственно в k2?
*

nikonor

  • Давно я тут
  • 513
  • 56 / 0
  • Content Grabber
*

agussev

  • Осваиваюсь на форуме
  • 23
  • 0 / 0

что-то не получается форму сграбить
http://www.prof-translate.ru/

один из примеров сработал
тут может теги не те беру
какие  теги тут лучше прописать?
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Модуль для отображения курсов валют

Автор Геон

Ответов: 2
Просмотров: 397
Последний ответ 03.02.2024, 22:19:02
от Геон
Модуль «Image Show gk4», не отображается ни картинка, ни текст

Автор kaasin

Ответов: 1
Просмотров: 2031
Последний ответ 13.05.2023, 15:42:15
от anastasya96
Компонент Commedia и плагин mp3browser для медиа-сайтов

Автор ecolora

Ответов: 557
Просмотров: 118854
Последний ответ 13.03.2023, 00:25:14
от ecolora
Стандартный модуль случайного изображения не выводит фотографии

Автор strix

Ответов: 8
Просмотров: 6409
Последний ответ 19.10.2022, 16:07:11
от Andrej_777
Модуль тегов Joes Word Cloud для Joomla 3

Автор ecolora

Ответов: 1
Просмотров: 1372
Последний ответ 05.05.2022, 19:04:44
от ecolora