Форум русской поддержки Joomla!® CMS
23.06.2017, 12:47:47 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 3.0 FAQ Joomla 2.5 FAQ Joomla 1.5 FAQ Правила форума Новости Joomla Реклама Войти Регистрация Помощь  
Страниц: 1 ... 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 [29] 30   Вниз
  Добавить закладку  |  Печать  
Автор

Content Grabber (скачать) - модуль импорта инфы с других сайтов

 (Прочитано 175045 раз)
0 Пользователей и 1 Гость смотрят эту тему.
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« : 11.11.2008, 18:12:05 »

Нужна помощь в возвращении модуля на JED!
Сейчас там
Цитировать
This extension has been unpublished for the following reason: UR13-Bait and Switch
Пробовал писать - несколько месяцев никакого ответа.
Если кто-то сталкивался - расскажите (в личку) что нужно сделать что бы вернуть модуль к публикации


Этот модуль позволяет отображать на вашем сайте содержимое другого сайта.
Content Grabber вставляет не всю страницу, как это делает модуль wrapper, а лишь только ту часть информации на странице, которая вам необходима.

Что модуль НЕ делает:
  • не пишет сграбленный контент в базу данных
  • не грабит динамическое содержимое
  • не собирает полный вариант материала (не берет вступительный и полный текст одновременно, если они на разных страницах)

Зачем нужен Content Grabber:
  • отображение у себя на сайте различных информеров (если нет возможность получить их иначе)
  • отображение статичных данных - таблиц, расписаний
  • придумайте сами Azn

Скачать | Content Grabber на

Внимание!
Версия модуля 1.5.0 переименована в Content Grabber PQ
Подробнее о версии здесь http://joomlaforum.ru/index.php/topic,46583.msg591405.html#msg591405


Принцип работы и пример настройки
Показать текстовый блок

Известные проблемы
Показать текстовый блок

Советы
Показать текстовый блок

История версий
Показать текстовый блок

Скриншоты настроек
Показать текстовый блок

Скачать
« Последнее редактирование: 20.12.2014, 01:16:39 от nikonor » Записан
 
kost757
Завсегдатай
*****

Репутация: +1/-2
Offline Offline

Пол: Мужской
Сообщений: 402



« Ответ #841 : 17.04.2014, 15:08:07 »

перезалейте файл. Админ удалил файл. загрузите на Яндекс диск.
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #842 : 18.04.2014, 00:19:30 »

прикрепил ссылку в первый пост
Записан
palexa
Живу я здесь
******

Репутация: +85/-0
Offline Offline

Пол: Мужской
Сообщений: 936


В следующей жизни, я буду кошкой


« Ответ #843 : 27.11.2014, 14:55:20 »

прикрепил ссылку в первый пост
Цитировать
Ничего не найдено
Возможно, владелец удалил файлы или закрыл к ним доступ.
А может быть, вам досталась ссылка с опечаткой.

Сначала вспоминал как называется, нашёл, а тут облом

Может обновите пожалуйстаз, а то на J2.5 надо очень
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #844 : 27.11.2014, 15:03:39 »

Обновил ссылку
Там версия для 3, но на 2.5 тоже должно работать
Записан
palexa
Живу я здесь
******

Репутация: +85/-0
Offline Offline

Пол: Мужской
Сообщений: 936


В следующей жизни, я буду кошкой


« Ответ #845 : 27.11.2014, 19:02:52 »

Спасибо, но было две проблемы

Код:
Warning: curl_setopt() [function.curl-setopt]: CURLOPT_FOLLOWLOCATION cannot be activated when safe_mode is enabled or an open_basedir is set in /home/public_html/modules/mod_grabber/helper.php on line 39

Было в извеснтых проблемах, за комментировал 39 строку
//curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

Цитировать
Warning: set_time_limit() has been disabled for security reasons in /home/public_html/modules/mod_grabber/helper.php on line 17

Решил сделать по аналогии, за комментировал 17 строку (надеюсь это правильно)
//set_time_limit(0);

Хотя по идее можно просто отключить все Warning, дописать в начале файла, после <?php
Код:
error_reporting(0);
« Последнее редактирование: 27.11.2014, 19:10:29 от palexa » Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #846 : 27.11.2014, 23:35:01 »

Ну, это ж не проблемы ... так ... ерунда .. всего лишь предупреждения, которых, на иначе настроенном сервере, может и не быть
Записан
palexa
Живу я здесь
******

Репутация: +85/-0
Offline Offline

Пол: Мужской
Сообщений: 936


В следующей жизни, я буду кошкой


« Ответ #847 : 27.11.2014, 23:37:55 »

Ну, это ж не проблемы ... так ... ерунда .. всего лишь предупреждения, которых, на иначе настроенном сервере, может и не быть

Согласен, но я написал примерные ответы, для "особо одарённых" (тоже таким был)

Добавь в "Известные проблемы" - если хочешь
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #848 : 27.11.2014, 23:50:33 »

Добавил, спасибо
Записан
bobmyp
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 6


« Ответ #849 : 19.12.2014, 16:45:37 »

Здравствуйте!
Возникла такая проблема. Помогите решить.  При исчезновении искомого тега на странице донора, страница сайта, на которой расположен модуль вывода, зависает.  Просто - пустая белая страница. На предыдущей версии модуля (на Joomla 1,5) такого не было. Тогда просто исчезало значение сграбленного контента (страница открывалась). Сейчас Joomla 3.3.6, Content Grabber 1.4.6.3 
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #850 : 19.12.2014, 21:12:10 »

включите отображение ошибок .. посмотрите что пишет
Записан
bobmyp
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 6


« Ответ #851 : 19.12.2014, 21:52:04 »

Notice: Undefined offset: 1 in /home/cb-myp1/cb-myp.ru/docs/components/com_content/router.php on line 317

Notice: Undefined offset: 1 in /home/cb-myp1/cb-myp.ru/docs/components/com_content/router.php on line 317

Strict Standards: Non-static method ModGrabberHelper::grabhtml() should not be called statically in /home/cb-myp1/cb-myp.ru/docs/modules/mod_grabber/mod_grabber.php on line 68

Fatal error: Call to undefined method JUtility::sendMail() in /home/cb-myp1/cb-myp.ru/docs/modules/mod_grabber/helper.php on line 49

расшифровать бы...)
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #852 : 19.12.2014, 22:05:06 »

отключите в настройках модуля отправку уведомлений об ошибках на почту
Записан
bobmyp
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 6


« Ответ #853 : 20.12.2014, 00:44:41 »

По ходу заработоло, как я понял не пустое значение выводится а последнее, из сохроненного в файле...
раньше было пусто, и я знал что пора что то обновлять...
В любом случае, огромное Вам спасибо nikonor, за участие и за великолепный модуль!
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #854 : 20.12.2014, 01:11:08 »

это все настраивается ... посмотрите внимательно настройки ... конкретно опцию Игнорировать недоступность сайта - при обновлении, в случае недоступности сайта-источника, будет выводиться информация сграбленная ранее. Работает только с включенным собственным кэшированием
Записан
bobmyp
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 6


« Ответ #855 : 20.12.2014, 02:16:44 »

...при недоступности сайта все(сграбленное ранее) выводится и работает. Функция включена.  Я про то, когда сайт донор работает, а у него просто исчезает начальный(и конечный) тег! Предложение закончилось - тег другой.
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #856 : 20.12.2014, 02:38:25 »

прямо сейчас не могу в код посмотреть, но суть одна или сайт недоступен или тэги не найдены - контент не получить .. в этом случае срабатывае правило показа контента из кэша
Записан
bobmyp
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 6


« Ответ #857 : 20.12.2014, 20:26:34 »

Спасибо большое! Разобрался.  Все так и есть как Вы написали.
Записан
kost757
Завсегдатай
*****

Репутация: +1/-2
Offline Offline

Пол: Мужской
Сообщений: 402



« Ответ #858 : 21.12.2014, 03:14:07 »

Нельзя сделаать чтобы он сохранят ввиде статьи материал?
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #859 : 21.12.2014, 06:40:02 »

можно, но это, как говорится, совсем другая история Azn
Для этого лучше что бы модуль превратился, как минимум, в плагин с дописанной процедурой записи в базу сграбленного контента.
Конечно, подобную процедуру можно написать и в модуле, но это не совсем верный путь.
Я этот функционал планирую реализовать, но вот когда - большой вопрос.
Записан
koguja
Осваиваюсь на форуме
***

Репутация: +16/-0
Offline Offline

Пол: Мужской
Сообщений: 173


Учиться , учиться .... (R) Ленин


« Ответ #860 : 05.03.2015, 12:09:12 »

Насколько я понял, с https модуль не работает ?
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #861 : 05.03.2015, 12:47:32 »

Глянул в код .. странно, вроде добавлял работу с https ... сейчас там нет этих инструкций

добавьте в файл helper.php следующие строки (дополнительные параметры для сеанса cURL)
Код
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
должно выглядеть как-то так
Код
curl_setopt ($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_USERAGENT, $agent);
curl_setopt($ch, CURLOPT_REFERER, $referer);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
 

это отключает проверку сертификатов и должно помочь
Записан
o1ps
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 8


« Ответ #862 : 26.03.2015, 17:44:47 »

Подскажите пожалуйста: забираю таблицу с 3 колонками. тег начала table и конец /table

Есть ли возможность исключить 2ю и 3ю колонки? Они не пустые. Буду очень признателен за советы!
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #863 : 26.03.2015, 18:02:23 »

только с помощью jquery
Код
$("table tr").each(function() {
   $(this).find("td:eq(1),td:eq(2),th:eq(1),th:eq(2)").remove();
});
 
Записан
o1ps
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 8


« Ответ #864 : 26.03.2015, 19:35:30 »

только с помощью jquery
Код
$("table tr").each(function() {
   $(this).find("td:eq(1),td:eq(2),th:eq(1),th:eq(2)").remove();
});
 

 Не могли бы вы пожалуйста подсказать как это реализовать в настройках модуля. Все вставляю в Текст/HTML перед кодом (даже отдельно прописываю линки на библиотеки) но колонки не уходят.
« Последнее редактирование: 26.03.2015, 19:40:20 от o1ps » Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #865 : 26.03.2015, 19:55:57 »

полностью код должен выглядеть так
Код
jQuery(function($) {
$("table tr").each(function() {
   $(this).find("td:eq(1),td:eq(2),th:eq(1),th:eq(2)").remove();
});
})
 
Записан
o1ps
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 8


« Ответ #866 : 26.03.2015, 20:07:13 »

полностью код должен выглядеть так
Код
jQuery(function($) {
$("table tr").each(function() {
   $(this).find("td:eq(1),td:eq(2),th:eq(1),th:eq(2)").remove();
});
})
 

Спасибо огромное! очень Вам признателен за помощь!

Еще 1 вопрос: в извлекаемой информации содержатся разные ссылки. Как задать в исключении что бы удалились все ссылки?
Код:
<a href="xxx1">
<a href="xxx2">
....
<a href="xxx999999">

Код:
jQuery(function($) {
$("a").each(function() {
    $(this).find("href").remove();
});
})

так не работает
« Последнее редактирование: 27.03.2015, 00:10:08 от o1ps » Записан
o1ps
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 8


« Ответ #867 : 27.03.2015, 22:32:57 »

удаляет все теги a на странице полностью. А хотелось бы что бы только в полученном парсером тексте. Ссылки имеют класс.
Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #868 : 28.03.2015, 12:06:52 »

вы можете в параметрах замены сделать следующее
Код:
<a|<span
</a>|</span>
href|data-href
первая и вторая строка изменит тэг a на span
третья строка изменит атрибут href
... таким образом сами линки в теле страницы останутся, но для посетителя не будет видно ни каких ссылок
Записан
o1ps
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 8


« Ответ #869 : 30.03.2015, 23:04:03 »

Подскажите пожалуйста, из-за чего может вылетать на 504 Gateway Time-out. Модулей на сайте 4 - 3 работают нормально, четвертый запинается. Ошибок на почту/сообщений на сайте нет. Кеш очищен и отключен. Если модуль снять с публикации страница загружается нормально. Сайт "донор" работает - ошибок на нем нет, исходный код не поменялся. teleos-1@mail.ru

в логах ошибок хостинга mod_fcgid: read data timeout in 300 seconds
« Последнее редактирование: 30.03.2015, 23:29:37 от o1ps » Записан
nikonor
Завсегдатай
*****

Репутация: +56/-0
Offline Offline

Пол: Мужской
Сообщений: 513


Content Grabber


« Ответ #870 : 30.03.2015, 23:49:03 »

слишком большая нагрузка на ваш сервер, скорее всего
попробуйте включить кэширование в модуле и запустите их по очереди, а не все сразу
Записан
Страниц: 1 ... 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 [29] 30   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by SMF 1.1.21 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet