Автонаполняемые модули Joomla - Joomla 3.x: Общие вопросы

		// Подключаем библиотеку парсера
		require_once('phpQuery.php');

// Страница со списком новостей.

$url_news_list = 'https://www.miele.ru/domestic/new-products-302.htm';         

// :nth-child(0)   

// Переменная CSS для парсера ссылки на страницу первой новости со страницы списка новостей.
$css_link_first_news = 'div#mainArea div#contentArea div.contentBox div.vertical-delimiter-left div.news-events-page div.ym-gl:nth-child(0) div.teaser-big div.ym-gbox a';


// Кодировка исходного сайта.
 $code_assci = 'utf-8';
// $code_assci = 'cp1251';
// $code_assci = 'windows-1251';

// ID Категории

$cat_id = '372';

// Убираем, подменяем - ! Для каждого сайта индивидуально !
 $del_cont = array( '<strong>'=>'','</strong>'=>'');
 
                                 
// ---------- Парсим список новостей
// Забираем страницу со списком новостей
$html_page = file_get_contents($url_news_list);                 
// echo $html_page;

$html_doc = phpQuery::newDocument($html_page);

//  Парсим ссылку на первую новость ! На разных сайтах может быть прописанна по разному
	$link_first_news = 'https://www.miele.ru'.(pq($css_link_first_news)->attr('href'));
//	echo $link_first_news;

// Освобождаем память
phpQuery::unloadDocuments($html_doc);		



// md5 уникальность на основе URL первой(последний) новости            
 $md5_news_url = $cat_id.'-'.md5($link_first_news);
// echo $md5_news_url;

// Ищем в базе md5 исходя из URL новости
	$db = JFactory::getDbo();					
	$query = "SELECT #__content.md5
	FROM #__content
	WHERE #__content.md5 = $db->quote('".$md5_news_url."') ORDER BY #__content.id DESC LIMIT 80";
 	$db->setQuery($query);
	$md5ListParser = $db->loadObjectList();
	$count_md5 = count($md5ListParser);

	if ($count_md5 == 0) {                        // -------- 'такой новости нет в базе';

// ---------- Парсим новость
// Забираем страницу с первой новостью
$html_page = file_get_contents($link_first_news);     

$html_doc = phpQuery::newDocument($html_page);

// Парсим title
$meta_title = pq('title')->html();
$meta_title = mb_convert_encoding($meta_title, "UTF-8", $code_assci);
// echo $meta_title;

// Парсим новость
$news = pq('section.news-single-post')->html();
$html_news = mb_convert_encoding($news, "UTF-8", $code_assci);
// echo $html_news;

// Убираем, подменяем
$html_news = strtr($html_news, $del_cont);

// Удоляем ссылки
$html_news = preg_replace('/<a[^>]+>/i', '', $html_news);
$del_end_a = array('</a>'=>'');
$html_news = strtr($html_news, $del_end_a);

// Посчитаем кол-во символов в новости, без тегов и пробелов.
$chr_temp = strip_tags($html_news);
$chr_temp = str_replace(" ","", $chr_temp);
$chr_temp = str_replace(chr(13),"", $chr_temp);
$chr_temp = str_replace(chr(10),"", $chr_temp);
$chr_temp = str_replace(chr(9),"", $chr_temp);
$chr_count = iconv_strlen($chr_temp);

// Добовляем ссылку на оригинал
$html_news = '<hr style="margin: 10px 0 10px 0;">'.'<p>Лента новостей - <a href="'.$url_news_list.'" style="padding-left: 30px;" target="_blank">'.$url_news_list.'</a></p>'.'<p>('.$chr_count.') - Символов без пробелов и тегов.</p>'.'<a href="'.$link_first_news.'" style="padding-left: 30px;" target="_blank">'.$link_first_news.'</a><input class="spoilerbutton" value="Читать еще..." onclick="this.value=this.value=='Читать еще...'?'Свернуть.':'Читать еще...';" type="button" /><div class="spoiler"><div>'.$html_news.'</div></div><hr style="margin: 10px 0 10px 0;">';



// Освобождаем память
phpQuery::unloadDocuments($html_doc);

}

// ---------------------------------------------------------------------------- Пишем в базу
	if ($count_md5 == 0) {		//	такой новости нет в базе

// Делаем alias 
  function translit($str) {
    $rus = array(',', '.', '!', ':', ' ', 'А', 'Б', 'В', 'Г', 'Д', 'Е', 'Ё', 'Ж', 'З', 'И', 'Й', 'К', 'Л', 'М', 'Н', 'О', 'П', 'Р', 'С', 'Т', 'У', 'Ф', 'Х', 'Ц', 'Ч', 'Ш', 'Щ', 'Ъ', 'Ы', 'Ь', 'Э', 'Ю', 'Я', 'а', 'б', 'в', 'г', 'д', 'е', 'ё', 'ж', 'з', 'и', 'й', 'к', 'л', 'м', 'н', 'о', 'п', 'р', 'с', 'т', 'у', 'ф', 'х', 'ц', 'ч', 'ш', 'щ', 'ъ', 'ы', 'ь', 'э', 'ю', 'я');
    $lat = array('', '', '', '', '-', 'A', 'B', 'V', 'G', 'D', 'E', 'E', 'Gh', 'Z', 'I', 'Y', 'K', 'L', 'M', 'N', 'O', 'P', 'R', 'S', 'T', 'U', 'F', 'H', 'C', 'Ch', 'Sh', 'Sch', 'Y', 'Y', 'Y', 'E', 'Yu', 'Ya', 'a', 'b', 'v', 'g', 'd', 'e', 'e', 'gh', 'z', 'i', 'y', 'k', 'l', 'm', 'n', 'o', 'p', 'r', 's', 't', 'u', 'f', 'h', 'c', 'ch', 'sh', 'sch', 'y', 'y', 'y', 'e', 'yu', 'ya');
    return str_replace($rus, $lat, $str);
  }
  $alias = translit($meta_title);
  $alias = mb_strtolower($alias);
  
// Узнаем автора, через категорию

 	$db = JFactory::getDbo();					
	$query = "SELECT #__categories.created_user_id
	FROM #__categories
	WHERE #__categories.id = $db->quote('".$cat_id."') ORDER BY #__categories.id DESC LIMIT 1";
	$db->setQuery($query);
	$created_user_id = $db->loadObject();
    $created_by = $created_user_id->created_user_id;


  $metadata = '{"robots":"","author":"","rights":"","xreference":""}';
  $attribs = '{"show_title":"","link_titles":"","show_tags":"","show_intro":"","info_block_position":"","info_block_show_title":"","show_category":"","link_category":"","show_parent_category":"","link_parent_category":"","show_author":"","link_author":"","show_create_date":"","show_modify_date":"","show_publish_date":"","show_item_navigation":"","show_icons":"","show_print_icon":"","show_email_icon":"","show_vote":"","show_hits":"","show_noauth":"","urls_position":"","alternative_readmore":"","article_layout":"","show_publishing_options":"","show_article_options":"","show_urls_images_backend":"","show_urls_images_frontend":""}';
  $urls = '{"urla":false,"urlatext":"","targeta":"","urlb":false,"urlbtext":"","targetb":"","urlc":false,"urlctext":"","targetc":""}';
  $images = '{"image_intro":"","float_intro":"","image_intro_alt":"","image_intro_caption":"","image_fulltext":"","float_fulltext":"","image_fulltext_alt":"","image_fulltext_caption":""}';
  $date_parset = date('Y-m-d H:i:s');
  
	$query = "INSERT INTO `#__content`(`id`, `asset_id`, `title`, `alias`, `introtext`, `fulltext`, `state`, `catid`, `created`, `created_by`, `created_by_alias`, `modified`, `modified_by`, `checked_out`, `checked_out_time`, `publish_up`, `publish_down`, `images`, `urls`, `attribs`, `version`, `ordering`, `metakey`, `metadesc`, `access`, `hits`, `metadata`, `featured`, `language`, `xreference`, `md5`) 
			  VALUES (`id`, `asset_id`, '".$meta_title."', '".$alias."', '".$html_news."', `fulltext`, `state`, '".$cat_id."', '".$date_parset."', '".$created_by."',
			  `created_by_alias`, '".$date_parset."', `modified_by`, `checked_out`, `checked_out_time`, `publish_up`, `publish_down`, '".$images."', '".$urls."', '".$attribs."',
			  `version`, `ordering`, `metakey`, `metadesc`, '1', `hits`, '".$metadata."', `featured`, '*', `xreference`, '".$md5_news_url."')";

    $db->setQuery($query);
	$db->query();
}
// ---------------------------------------------------------------------------- Конец Пишем в базу