Изменение индексации и выдачи при включенном ЧПУ

hensler

Захожу иногда
58
3 / 0

Изменение индексации и выдачи при включенном ЧПУ

« : 21.07.2006, 23:57:52 »

Второй раз сталкиваюсь с проблемой. После включения ЧПУ индексация замедляется и в выдаче поисковиков сайт проваливается за пределы видимости.

Первый раз (Joomla 1.0.08) просто отключил ЧПУ, т.к. проект был коммерческий и ждать когда сайт вернется в выдаче на свои места не мог. После отключения все восстановилось за пару недель.

Второй раз при переходе с Nuka на Joomla и переносе сайта с поддомена на домен 2 недели не включал ЧПУ и с индекацией и с выдачей потихоньку шло к старым результатам. Решил вклюить ЧПУ и честно дождаться полной переиндексации. Фиг. За 2 м-ца проиндексировано чуть больше 1000 страниц. Да и эта цифра то дойдет до 1500, то опять спустится. Если учесть 900 фотографий в галерее + форум + 10 новостей ежедневно + 400 старых статей + новые и т.д. - мало. Но даже проиндексированное, в выдаче ушло за горизонт.

Ни хрена не понимаю. Сайт yarcenter.ru

Записан

Batman

Новичок
4
0 / 0

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #1 : 22.07.2006, 19:32:55 »

при включении ЧПУ, получается что у вас одна и та же страница может быть доступна по двум адресам, н-р,

/joomla/index.php?option=com_content&task=blogsection&id=8&Itemid=43

и

/joomla/content/blogsection/8/43

это две абсолютно одинаковые страницы (не знаю правильно ли составил вид второй УРЛ, но главное - идея).

Как мне говорили, для оптимизации необходимо чтобы страница была уникальной в пределах данного сайта.
Возможно это и влечет такие странности?

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #2 : 23.07.2006, 00:02:39 »

Цитата: Batman от 22.07.2006, 19:32:55

при включении ЧПУ, получается что у вас одна и та же страница может быть доступна по двум адресам

на самом деле, иногда получается что более чем две... это происходит потому, что поисковики, иногда, найдя ссылку типа /222/1/, проверяют сразу же ссылку /222/2/, а так как часто, в SEF-ссылках последним параметром идет именно Itemid (параметр фактически влияющий только на pathway), то получается, что поисковик запоминает довольно много ссылок на одну и ту же статью, но с разными Itemid. Обнаруживается это, как правило, случайно: когда пользователь открывает материал, а в pathway указана совсем другая категория (потому как Itemid «левый») или же при анализе проиндексированных страниц. Однако, несмотря на наличие таких дубликатов, я не раз видел весьма неплохо проиндексированные сайты на Joomla, использующие стандартный SEF.

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #3 : 23.07.2006, 00:34:12 »

А какие вы видите пути решения данной проблемы? Если честно мне не нравится такая фича в джумле. Несколько ссылок на один материал это бардак.

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #4 : 23.07.2006, 01:35:01 »

Цитата: pav от 23.07.2006, 00:34:12

А какие вы видите пути решения данной проблемы? Если честно мне не нравится такая фича в джумле. Несколько ссылок на один материал это бардак.

Например, отказаться от SEF или воспользоваться решениями сторонних разработчиков (например OpenSEF, хотя это и даст нагрузку на БД).

Можно попробовать написать свое решение для генерации SEF ссылок, тоже не сложно (я в свое время делал такое для www.n-admin.com).

Теоретически, можно написать системный мамбот, который будет отслеживать обращения к материалам (т.е. когда option=com_content и task=view) и проверять соотвествие Itemid, переданного параметром, реальному Itemid материала. И в случае неверного значения — делать редирект с 301 кодом ошибки. Если при этом граммотно задействовать механизм кэширования, то по идее нагрузка на БД будет небольшая.

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #5 : 23.07.2006, 01:51:30 »

Спасибо. Оба решения вроде понятны. Я пользуюсь OpenSEF но внутрь не залезал. Он дает возможность обрабатывать такого рода запросы и выдвать соответствующий хедер (например 404)?

На счет бота идея тоже интересная наверное буду ее реализовывать.

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #6 : 23.07.2006, 01:58:19 »

Цитата: pav от 23.07.2006, 01:51:30

На счет бота идея тоже интересная наверное буду ее реализовывать.

я думаю такое расширение наверняка будет полезно всему сообществу, поэтому если нужна будет какая-либо помощь — я помогу

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #7 : 23.07.2006, 02:23:01 »

Да помощ понадобится т.к. в оригенальной сборке джумлы нету ниодного системного мамбота. Вы бы немогли дать ссылок на любые стистемные маботы чтоб можно было по сорцам разобрася что к чему.

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #8 : 23.07.2006, 02:32:43 »

Цитата: pav от 23.07.2006, 02:23:01

Вы бы немогли дать ссылок на любые стистемные маботы чтоб можно было по сорцам разобрася что к чему.

например мой мамбот OptimizeTables. Разница от обычных мамботов небольшая: используются события OnStart или OnAfterStart (можешь посмотреть где они вызываются в index.php), и им, в отличие от мамботов группы content, не передаются никакие параметры.

Судя по фрагменту кода из index.php, для нашей задачи логичнее использовать событие OnAfterStart:

Код


// trigger the onAfterStart events
$_MAMBOTS->trigger( 'onAfterStart' );

// checking if we can find the Itemid thru the content
if ( $option == 'com_content' && $Itemid === 0 ) {
	$id = intval( mosGetParam( $_REQUEST, 'id', 0 ) );
	$Itemid = $mainframe->getItemid( $id );
}

с таким расчетом, чтобы второй условный блок уже не отрабатывался (т.е. самому вычислять Itemid для материала и заносить его в глобальную переменную

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #9 : 23.07.2006, 03:00:59 »

Спасибо! Буду изучаать.

Кстати а как вы считаете какие дулжен действовать мамбот при несовпадении заданного Itemid и реального Itemid? Мне кажется будет достатчное

Код


header("HTTP/1.0 404 Not Found");

или лучше всетаки перенаправлять куданибудь?

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #10 : 23.07.2006, 03:28:12 »

Цитата: pav от 23.07.2006, 03:00:59

или лучше всетаки перенаправлять куданибудь?

я думаю следует сначала пытаться вычислить правильный, если вычислить получилось, то делать именно редирект на правильную копию с кодом 301 (Moved Permanently)

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #11 : 23.07.2006, 05:11:26 »

Написал по быстрому мамбот. Все вроде работает как надо.
Но вот меня смущает следующее:
1) нахрена в методае getItemid в том случие если после поиска Itemid в бд ничего не найдена он просто берет и возвращает Itemid из запроса.
2) тот же getItemid упорно нехочет находит Itemid если id == 0 . В сорцах дальше копатся нестал просто в сон клонит но всетаки странно.

А так все работает пользуйтесь кому надо (;

[вложение удалено Администратором]

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #12 : 23.07.2006, 05:40:25 »

Цитата: pav от 23.07.2006, 05:11:26

Написал по быстрому мамбот. Все вроде работает как надо.

есть несколько небольших замечаний и пожеланий:

1. помимо проверки option, надо проверять еще и task, бо иначе это будет отрабатываться не только для режима просмотра материала
2. строчка:

$request_itemid=mosGetParam($_REQUEST, 'Itemid', false);

весьма непонятна, зачем в качестве значения по умолчанию давать булевскую переменную, когда лучше дать 0 или null. Да и лучше в этом случае обернуть результат mosGetParam в intval - мы же точно знаем, что там должно быть число:

$request_itemid = intval( mosGetParam( $_REQUEST, 'Itemid', 0 ) );

3. вместо строчки:

$url=$mosConfig_live_site.'/index.php?option='.$option.'&task='.$task.'&id='.$id.'&Itemid='.$real_itemid;

лучше написать так:

$url=sefRelToAbs('index.php?option='.$option.'&task='.$task.'&id='.$id.'&Itemid='.$real_itemid);

4. И еще, функция getItemid принимает дополнительный набор параметров, для снижения количества запросов к БД, поэтому наверное имеет смысл, строчку:

$real_itemid = $mainframe->getItemid( $id );

заменить на вот такую конструкцию:

$bs

= $mainframe->getBlogSectionCount();

$bc

= $mainframe->getBlogCategoryCount();

$gbs

= $mainframe->getGlobalBlogSectionCount();

$real_itemid = $mainframe->getItemid( $id, 0, 0, $bs, $bc, $gbs );

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #13 : 23.07.2006, 05:56:00 »

С замечаниями и пожелаиями полностью согласен, подправил (:
Внес изменения, тепеь все работает как надо. Спасибо за помощь.

[вложение удалено Администратором]

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #14 : 23.07.2006, 22:29:28 »

Цитата: pav от 23.07.2006, 05:56:00

С замечаниями и пожелаиями полностью согласен, подправил (:
Внес изменения, тепеь все работает как надо. Спасибо за помощь.

все равно есть несколько недочетов:

1. после строчки

$id=intval(mosGetParam($_REQUEST, 'id', 0));

переменная $id никогда не будет равна false, поэтому сравнение
if ( $id===false ) {

надо заменить на
if ( $id===0 ) {

2. код:

return true;

exit();

приведет к завершению работы ВСЕГО скрипта, а не только одной функции, так что достаточно просто return true;

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #15 : 24.07.2006, 00:36:02 »

Да действительно... false убрал а проверку его забыл подпраить... на счет exit это да я поле отладки забыл убрать.

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #16 : 24.07.2006, 00:37:39 »

Цитата: pav от 24.07.2006, 00:36:02

Да действительно... false убрал а проверку его забыл подпраить... на счет exit это да я поле отладки забыл убрать.

воот... теперь в предыдущих мессагах давай наверно прибьем старые версии, выложи новую, а я утром повешу анонс на joomlaportal.ru

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #17 : 24.07.2006, 01:05:40 »

Кстати вы еще упоминали о првоерке task... на предмет чего вы именно хотели делать проверку? $task=='view' ? или что иное?

Записан

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #18 : 24.07.2006, 01:08:30 »

И еще

Код


if ( $id===0 ) {

Такаое ветвление некоректно т.к id может быть равным нулю... недо просто првоерять пусто ли $id или нет. Вы согласны?
Тоесть
сделать

Код


$id=mosGetParam($_REQUEST, 'id', null);

Код


if ( $id===null ) {

« Последнее редактирование: 24.07.2006, 01:16:44 от pav »

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #19 : 24.07.2006, 01:16:49 »

Цитата: pav от 24.07.2006, 01:08:30

Такаое ветвление некоректно т.к id может быть равным нулю...

пустым быть не может, после intval мы точно имеем integer... а нулевого значения у идентификатора статьи так же быть не может. Поэтому если там 0, это неверная ссылка, и значит надо или 404, или редирект на главную с кодом 301 (что тоже кстати допустимо)

Цитата: pav от 24.07.2006, 01:05:40

Кстати вы еще упоминали о првоерке task... на предмет чего вы именно хотели делать проверку? $task=='view' ? или что иное?

да, в то же условие, где мы проверяем option... чтобы валидация Itemid производилась только для режима просмотра конкретного материала (ну нет смысла этого делать в блогах или таблицах категорий)

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #20 : 24.07.2006, 01:56:23 »

Цитировать

пустым быть не может, после intval мы точно имеем integer... а нулевого значения у идентификатора статьи так же быть не может. Поэтому если там 0, это неверная ссылка, и значит надо или 404, или редирект на главную с кодом 301 (что тоже кстати допустимо)

Почему? У меня вот есть ссылка рабочая index.php?option=com_content&task=blogsection&id=0&Itemid=9 здесь как вы видете id равен нулю.

Цитировать

ну нет смысла этого делать в блогах или таблицах категорий

Почему нет? Обоснуйте...

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #21 : 24.07.2006, 01:58:42 »

Цитата: pav от 24.07.2006, 01:56:23

Почему нет? Обоснуйте...

потому что эти страницы часто обновляются, и их содержимое не так важно, как содержимое самих материалов...

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #22 : 24.07.2006, 02:11:46 »

Так но фель создания мамбота в том чтобы для любых материалов на сайте была одна единая ссылка. Так? Если так то я думаю что все что связанно с com_content должно обрабатыватся мамботом.

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #23 : 24.07.2006, 02:17:31 »

Цитата: pav от 24.07.2006, 02:11:46

Так но фель создания мамбота в том чтобы для любых материалов на сайте была одна единая ссылка. Так? Если так то я думаю что все что связанно с com_content должно обрабатыватся мамботом.

но com_content обрабатывает не только материалы, но и категории и разделы, а мне кажется это уже второстепенная информация. на самом деле я не особо настаиваю на такой проверке, но мне кажется это было бы уместно с точки зрения оптимизации и снижения нагрузки на БД

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #24 : 24.07.2006, 02:31:10 »

Можно сделать чтоб пользователь сам задавал что конкретно из com_content подвергалось проверке в настройки мамбота.

« Последнее редактирование: 24.07.2006, 02:34:11 от pav »

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #25 : 24.07.2006, 02:34:39 »

Цитата: pav от 24.07.2006, 02:31:10

Можно сделать чтоб это опционально настраивалось из настройки мамбота.

учитывая тот факт, что в мамбот параметры извне не передаются, получение параметров мамбота потребует дополнительного запроса к БД, а это мне кажется излишне... мы выиграем не много... ладно, давай пока не будем ставить такую проверку, посмотрим что пользователи скажут...

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

hensler

Захожу иногда
58
3 / 0

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #26 : 24.07.2006, 02:46:44 »

Цитата: Batman от 22.07.2006, 19:32:55

...
и

/joomla/content/blogsection/8/43
...

С дублированием понятно, но может ли и еще один момент влиять - у меня все ссылки имеют слэш на конце.
/joomla/content/blogsection/8/43/

Т.е. если ссылка вида /joomla/index.php?option=com_content&task=blogsection&id=8&Itemid=43 ведет с точки зрения паука прямо к документу, то с ЧПУ в конце паука посылают поискать за слэшем пустоту. Во всяком случае судя по рекомендациям Рамблера (думаю и у Яндекса так же)

Цитировать

Следует также иметь в виду, что с точки зрения HTML записи типа:
<a href="directory" ...> и
<a href="directory/" ...> ("слэш" в конце href)
являются разными ссылками. Обычно при запросе по первой ссылке робот получит редирект на вторую, а значит извлечет сам документ при обращении к Вашему серверу только на следующем проходе. Тем самым Вы замедляете индексацию Вашего сайта.
http://www.rambler.ru/doc/recommendations.shtml

Или я уже на воду дую?

Жду окончательный вариант бота.
P.S. Сколько запросов бот добавит?

« Последнее редактирование: 24.07.2006, 02:49:45 от hensler »

Записан

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #27 : 24.07.2006, 02:50:25 »

Все на этом и порешим. Вот окончательный вариант... вроде (;

[вложение удалено Администратором]

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #28 : 24.07.2006, 03:09:05 »

Цитата: hensler от 24.07.2006, 02:46:44

Или я уже на воду дую?

мне кажется да, потому как судя по рекомендациям, слеш в конце нужен... что и получаем мы в результате использования стандартного SEF

Цитата: hensler от 24.07.2006, 02:46:44

P.S. Сколько запросов бот добавит?

от 1 до 7 запросов, в зависимости от типа материала, и заполненности меню ссылками на категории и разделы... в следующую версию мамбота можно добавить поддержку кэширования, чтобы снизить нагрузку на БД

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

hensler

Захожу иногда
58
3 / 0

Re: Изменение индексации и выдачи при включенном ЧПУ

« Ответ #29 : 24.07.2006, 03:56:27 »

Поставил. Добавилось 4 запроса.
На данный момент проиндексировано Яндексом: 2 092 - стандартно, 1068 - с учетом зеркал
Посмотрим, как изменится. ИМХО если все правильно, первая цифра должна или остановиться или расти вровень со второй (до момента обновления БД Яндекса), а потом всё равно сравняться. На другом сайте (без ЧПУ) они равны.

« Последнее редактирование: 24.07.2006, 04:03:21 от hensler »

Записан

При включённом SEF не могу поменять meta и title на гланой странице Автор 01Kuzma	Ответов: 1 Просмотров: 1243	28.01.2018, 17:05:00 от Sambiz2
При включенном SEF не скачиваются файлы элемента Download, а открывается ссылка Автор alexmixaylov	Ответов: 0 Просмотров: 1264	24.12.2017, 11:56:31 от alexmixaylov
Вдруг перестают работать ссылки меню при включенном SEF Автор natashalina	Ответов: 2 Просмотров: 1970	14.12.2017, 09:59:54 от natashalina
Неправильно работает отображение модулей при включенном SEF Автор art22	Ответов: 2 Просмотров: 1653	14.02.2017, 00:18:04 от art22
Узнать ID текущей категории и материала при включенном SEF Автор back	Ответов: 13 Просмотров: 14680	11.01.2017, 12:46:50 от beliyadm

Как оптимизировать сайт под нейросети? С 2023 года нейросети и чат-боты, основанные на больших...

Плагин Поля - WT Yandex Map для Joomla

Вышел шаблон Astroid 3.3.0.Astroid - один из популярных шаблонов-конструкторов для Joomla. v.3.3.0

Похожие темы