Пожелания и предложения

[malus]

Предлагаю пользователям компонента высказывать идеи по поводу улучшения функционала скрипта. Как показало время, наиболее востребованные идеи воплощаются с  завидной регулярностью.

[VETERINAR]

Я читал обзор последней версии компонента, но к сожалению не понял есть ли возможность не закачивать картинки себе на сайт, а просто в атрибуте href картинки давать ссылку на оригинал? Если такой возможности нет, то хотелось бы её видеть, т.к. со временем количество картинок на сайте будет огромным, а это дополнительные расходы на дисковое пространство. И со временем они будут только расти.

[smart]

а просто в атрибуте href картинки давать ссылку на оригинал?

однако на других сайтах тоже не дураки ведь сидят? я к примеру как минимум на десятке сайтов лично запрещал отдавать картинки другим сайтам

[VETERINAR]

однако на других сайтах тоже не дураки ведь сидят? я к примеру как минимум на десятке сайтов лично запрещал отдавать картинки другим сайтам

Тем не менее, большинство сайтов этого не запрещают. Хотелось бы видеть такую возможность.

[malus]

со временем количество картинок на сайте будет огромным, а это дополнительные расходы на дисковое пространство. И со временем они будут только расти.

А что мешает удалять устаревшие файлы с хостинга? Вы ведь удаляете старые новости? Раз в месяц менять каталог картинок, чтобы они были сортированы по месяцам, по прошествие времени удалять старые новости с сайта и удалять каталоги картинок.

[VETERINAR]

Вы ведь удаляете старые новости?

Я ещё ничего не удаляю, т.к. компонент ещё не купил А зачем их удалять? Не вижу смысла. Максимум - перенести в архив, но ссылка на архив на сайте всё равно будет. И новости будут в индексе.


Я не вижу проблемы. Почему нельзя сделать такую опцию? Вам троже жалко траффика донора? Или по каким-то другим соображениям?

Плюс ко всему, нагрузка при импорте значительно уменьшится, если не забирать с сервера картинки.

[malus]

VETERINAR, в свое время это неоднократно обсуждалось.
Вы готовы к тому, что по прихоти администрации донора, при обрушении/выключении сервера донора, при просадке канала до донора, вы лишаетесь всех картинок на своем сайте? Кроме того, при таком подходе невозможно менять размеры подгружаемых картинок. Можно, конечно, изменить цифры в теге имиджа, при условии, что во входящем тэге указана и ширина и высота, но трафик на клиенте будет при этом неизменен. Лично я принципиально против такого подхода.

[VETERINAR]

Вы готовы к тому, что по прихоти администрации донора, при обрушении/выключении сервера донора, при просадке канала до донора, вы лишаетесь всех картинок на своем сайте?

Готов.

Кроме того, при таком подходе невозможно менять размеры подгружаемых картинок. Можно, конечно, изменить цифры в теге имиджа, при условии, что во входящем тэге указана и ширина и высота, но трафик на клиенте будет при этом неизменен.

Я не предлагаю сделать это обязательным, но опция для тех, кому это нужно, нужна.

Приведу пример:

Граблю контент с сайта, который выкладывает картинки на хостинг для картинок. Вот объясните мне что плохого ставить ссылку на оригинал в таком случае, а?

[malus]

VETERINAR, собственно все плохое озвучили я и smart. Опция крайне редко востребована. Кроме того, опция относится к отдельно взятой ленте (поправьте меня, если я не прав). А ситуация такова, что общее количество опций ленты конечно. Это связано с возможностями клиентской станции при обработке/отображении большого количества управляющих элементов. Дальше начинаются тормоза и глюки браузера. Особенно это относится к всеми нами любимому IE. Таким образом, приоритет имеют наиболее востребованные опции.

[smart]

@malus: мне кажется стоит все-таки реализовать систему плагинов для пред- и постобработки исходных данных, чтобы желающие могли бы сами реализовывать даже такие задачи... Бо как я понимаю, большинству пользователей это не нужно, и вносить это в ядро я лично смысла не вижу... А с другой стороны, лишать конкретных пользователей возможности решать свои задачи тоже нехорошо... Мне кажется введение плагинов может решить эту проблему

[malus]

Серега, я уже озадачился этим вопросом. Буду реализовывать, но не прямо сейчас.

[VETERINAR]

 Да-да-да, плагины, плагины!  

[SERGUN]

Здравствуйте! Вопрос автору! Можно ли настроить грабинг в разные разделы или категории.. например: политика, технологии... и т.д.

[StaN]

malus, подскажи пожалуйста, а где вообще сам компонент покупать, посмотреть описание - типо сайт поддержки ?...

[smart]

malus, подскажи пожалуйста, а где вообще сам компонент покупать, посмотреть описание - типо сайт поддержки ?...

неужели так сложно найти сайт? мне казалось что это очевидно: newsgrabberjc.ru

[malus]

SERGUN, да. Для этого есть целый набор инструментов. Качайте хэлп с официального сайта http://www.newsgrabberjc.ru и читайте.

[Dutch]

Замечание по билду 1.2-1.3, или то что хотелось бы улучшить:

1. компонент не спарсивает все новости. Было несколько случаев, когда 1 новость оставалась за бортом.
2. система граббинга не привязана к точным цифрам указанным в конфиге ленты. Тоесть новости не грабятся через каждые 10 минут, если установлено такое значение. Новости грабятся как угодно будет компоненту. Пока это не критично, но хотелось бы усовершенствованный механизм грабинга точно по времени.
3. не нравится система шаблонов для обработки тегов: оптимально все настройки шаблонов делать для каждой ленты отдельно. Можно сделать систему шаблонов из двух вариантов - стандартные (мы указываем, что стандартное, а что нет) и подтягиваем их как сейчас, и персональные, только для определённой ленты, а то имея 3 ленты я уже запутался (на 2-х дентах у меня по 20 элементов шаблона).

[malus]

1. Перед загрузкой притянутой новости в БД компонент выполняет ряд проверок на ее валидность в контексте Joomla. Только для одного заголовка их три: отсутствует, битый, превышает 100 символов.
Кроме того, проверяется ряд условий, заявленных пользователем. Всевозможные брать/не брать и так далее. Потому часть новостей будет отсеиваться. В средней ленте присутствует около 50 новостей. Если из пятидесяти не взята одна - это 2%.

2. Ленты грабятся по превышении заданного интервала ожидания. Если он прошел - лента встает в очередь автоимпорта. А дальше все зависит от входящих на сайт пользователей (бот) или от настроек cron`а.

3. А сейчас-то как? Отдельно общие, отдельно для каждой ленты. Это как раз то, к чему я пришел по многочисленным просьбам пользователей. Если путаешься в стандартных шаблонах - делай их отдельно для каждой ленты 

[Dutch]

...Только для одного заголовка их три: отсутствует, битый, превышает 100 символов...

А можно тогда задать проверку на 200-250 символов? или хотя бы вынести количество символов в конфиг ленты?
Есть много сайтов которые любят жирные заголовки.
Спасиб.

[malus]

Денис, е-мое  Стартани пхпмайадмин, и проверь таблицу префикс_content. Конкретно поле title.

ЗЫ. Хак CMS встречается сплошь и рядом. Но только не для распространенных компонентов. Или так: хак CMS нужно осуществлять в полном сознании того, чего хочешь добиться. Подумай об обновлениях системы и все такое.

[Joker]

malus? возможно ли реализовать плагин/мамбот который при удаление новости контента удалял бы и картинки упомянутые в данной публикации

[malus]

Можно. И подозреваю, что такого добра в сети как грязи.

[Joker]

да что то искал  но ненашел, если можете ткните носом

[malus]

Я не искал подобное. Не встречал.

[smart]

malus? возможно ли реализовать плагин/мамбот который при удаление новости контента удалял бы и картинки упомянутые в данной публикации

Здесь это оффтоп, но решение этой задачи существует. Постучись к xobot, думаю сторгуетесь.

[Joker]

smart, спасибо