Размышления о необходимости OpenSEF - страница 2 - OpenSEF

OPENSEF это вопрос качественной индексации сайта, и на привлечение посетителей это оказывает второстепенную роль

нужен по 2 причинам

1.  Индекс Google индексирует динамически созданные веб-страницы, в том числе страницы форматов .asp и .php, а также страницы, в URL которых присутствуют вопросительные знаки. Однако эти страницы могут создать проблемы для сканеров, в результате чего они могут быть проигнорированы. Если Вас не устраивает то, что динамически созданные страницы игнорируются, попробуйте создать статические копии этих страниц для нашего сканера.

http://www.google.com/support/webmasters/bin/answer.py?answer=34431&topic=8522

2. Главная причина
Joomla создаёт дубликаты, т.е. страница с одни содержанием имеет 2 и более URL.
И чем больше сайт, тем больше дубликатов.

Например,

Содержание одно, а страницы разные:
нулевые страницы
http://joomlaportal.ru/content/blogsection/1/70/
http://joomlaportal.ru/content/blogsection/1/70/10/0/

или
http://joomlaportal.ru/content/view/226/59/
http://joomlaportal.ru/content/view/226/46/

или так
joomlaportal.ru/content/view/1323/75/
joomlaportal.ru/content/view/1323/1/
joomlaportal.ru/content/view/1323/2/

и все 3 в Yandexe

http://www.yandex.ru/yandsearch?text=%CA%E0%EA+%E4%EE%E1%E0%E2%E8%F2%FC+IP+%EF%EE%EB%FC%E7%EE%E2%E0%F2%E5%EB%FF+%E2+%EF%E8%F1%FC%EC%E0+%E8%E7+%EA%EE%EC%EF%EE%ED%E5%ED%F2%E0+%CA%EE%ED%F2%E0%EA%F2%FB%3F&surl=joomlaportal.ru&surl_manually=true

Статьи взял первые попавшиеся

Причина Itemid

«Так как на один и тот же материал можно прийти несколькими путями (с главной страницы, из пункта меню ведущего на материал, из списка материалов блога и т.д.), то в конечном счете, ссылок на один и тот же материал может быть несколько.» (http://joomlaforum.ru/index.php/topic,12816.0.html)

Вот это поисковики не любят очень сильно. В лучшем случае уменьшения значимости страницы, а при большом количестве и , возможно, уменьшение общей авторитетности сайта. А авторитетность сайта влияет на привлечение посетителей.

Минус OPENSEF –

Нагрузка на сервер. Надеюсь, что хаки по нагрузки помогут

joomlaportal.ru/content/view/1323/75/
joomlaportal.ru/content/view/1323/1/
joomlaportal.ru/content/view/1323/2/
Если эти ссылки не фигурируют на сайте, то зачем поисковику на них лесть?

Если эти ссылки не фигурируют на сайте, то зачем поисковику на них лесть?

как показывает практика поисковик индексирует не только те ссылки какие находит, но и пытается найти те, которых нет, т.е. если есть на сайте ссылка, которая заканчивается на /1/, он пытается проверить, а есть ли ссылка заканчивающаяся на /2/. Joomla в таком случае не ругается, и свободно показывает страницу. Бо последний параметр в ссылке это Itemid, а не что-то иное.

«Так как на один и тот же материал можно прийти несколькими путями (с главной страницы, из пункта меню ведущего на материал, из списка материалов блога и т.д.), то в конечном счете, ссылок на один и тот же материал может быть несколько.» (http://joomlaforum.ru/index.php/topic,12816.0.html)

Вот это поисковики не любят очень сильно. В лучшем случае уменьшения значимости страницы, а при большом количестве и , возможно, уменьшение общей авторитетности сайта. А авторитетность сайта влияет на привлечение посетителей.

все верно, за исключением одного - эти страницы не являются точной копией одна другой. Ведь в зависимости от Itemid на них опубликованы РАЗНЫЕ модули. Правильные или нет — это уже второй вопрос. Но страницы не совсем одинаковые, хоть и имеют одинаковый заголовок и часть содержимого совпадает. Так что это конечно не хорошо, но и не так плохо, как могло бы быть.

как показывает практика поисковик индексирует не только те ссылки какие находит, но и пытается найти те, которых нет,

Уважаемы Smart это заблуждение.
Поисковики проверяют только существующие ссылки и лишнюю работу себе не добавляют.

Во-первых, потому что при  2 572 000 000 проиндексированных страниц (по Yandex) проверка возможности существования ещё каких-либо страниц (которые могут существовать только в теории) процесс ресурсоемкий.
Во-вторых, эта и лишняя нагрузка на сервер не нужная владельцу сайта и вероятность (хоть и малая ) скачать скрытые страницы (а поисковики о владельцах сайта всё-таки заботятся).
В-третьих, по вашей логике, если поисковик нашел страницу с /1/ на конце ссылки, он  пытается сгенерировать адрес и проверить страницу с /2/ и успешно её находит. Значит, он должен продолжать проверку, пытаясь сгенерировать адрес и проверить страницу с /3/, /4/,/5/,/6/,/7/ и т.д.

Но как мы видим, на примере,  у нас есть только эти страницы, а не 75 штук,
joomlaportal.ru/content/view/1323/75/
joomlaportal.ru/content/view/1323/1/
joomlaportal.ru/content/view/1323/2/
Значит, только на эти страницы поисковик нашел ссылки, а не генерировал их самостоятельно.

все верно, за исключением одного - эти страницы не являются точной копией одна другой. Ведь в зависимости от Itemid на них опубликованы РАЗНЫЕ модули. Правильные или нет — это уже второй вопрос. Но страницы не совсем одинаковые, хоть и имеют одинаковый заголовок и часть содержимого совпадает. Так что это конечно не хорошо, но и не так плохо, как могло бы быть.

Дублированный контент это не процентное соотношение различных частей текста или модулей и, к сожалению,  наказание за это вполне конкретное.

Подробнее о степени дублированности контента и наказаниях, фильтрах и банах за это можно прочитать у Ашманова на этой странице
http://www.optimization.ru/subscribe/130.html#art

Надеюсь эта информация будет полезна сообществу :-)

Значит, только на эти страницы поисковик нашел ссылки, а не генерировал их самостоятельно.

вот только где он мог их найти? если их нет на страницах сайта? Я такое видел уже не раз. Ставишь небольшой сайт, включаешь стандартный SEF, строишь Google Sitemap (сторонних скриптов-пауков для этого масса). Проходит какое-то время. В выдаче находишь кривую ссылку - смотришь карту - в карте ее нет. Возникает вопрос - если в карте (которая построена сторонним скриптом, путем рекурсивного обхода сайта и анализа страниц) такой ссылки нет, если сам такую ссылку никогда не вставлял. Откуда же она может взяться?

Дублированный контент это не процентное соотношение различных частей текста или модулей и, к сожалению,  наказание за это вполне конкретное.

а я не говорю о процентах, я говорю о том, что если такая ситуация может реализована не для обмана поисковика, а для благих целей - например для улучшения юзабилити сайта, для удобства пользователя и т.д. И в таком случае, если вдруг какие-то санкции сработают, всегда можно аргументировано объяснить зачем это сделано, для чего и т.д. И если сайт содержит полезную информацию и действительно сделан для людей, а не для манипуляций алгоритмами поисковых ботов, то бояться тут совершенно нечего.

Откуда же она может взяться?

Например, от сюда

Пример №1

Страница с исходящей неправильной ссылкой: http://joomlaportal.ru/content/category/2/38/2/
(текст ссылки: Как добавить IP пользователя в письма из компонента Контакты? )
Сама ссылка
http://joomlaportal.ru/content/view/1323/2/

Дрцугие ссылки на эту страницу
joomlaportal.ru/content/view/1323/75/
joomlaportal.ru/content/view/1323/1/

Пример №2

Статья: Как увеличить длину заголовков материалов

ис. http://joomlaportal.ru/content/blogcategory/30/46/9/9/
вид ссылки: http://joomlaportal.ru/content/view/226/53/

ис. http://joomlaportal.ru/content/category/3/30/61/
вид ссылки:http://joomlaportal.ru/content/view/226/61/

Поиск был совершен по записям Yandex.
Если провести полную проверку всех ссылок, например, при помощи PagePromoter, то можно будет наверняка обнаружить все страницы, которые ссылаются с этими ссылками.

Однако есть ещё один вариант. Сайт большой, возможно когда-то была проиндексирована страница с корявым URL, потом ссылка на эту страницу была закрыта для пользователей, но оставалась рабочей и в памяти поисковика. Он просто периодически находил страницу, находил корявую ссылку  и сохранял её.


Что касается сторонних пауков, которые выстраивают карту.

Далее я могу только предполагать, так как не знаю, был ли динамичный Sitemap, которым Вы пользовались, происходила ли проверка ссылок на сайте хотя бы 1 раз в неделю с внесением в карту сайта новых изменений.

Как мы уже с Вами говорили причина изменения ссылок это Itemid, он разный при различном расположении модулей.
При работе с сайтом, уже после создания Sitemap,  Вы наверняка добавляли модули, использовали разное отображение списков статей Блогом или в виде таблицы и т.д в результате на каких то страницах появлялись ссылки на страницы с «корявым» URL
Если Sitemap не динамичный, то такие изменения не отображались в карте сайта, а поисковик находил эти страницы и индексировала, как страницы так и ссылки с «корявыми» URL.

Но на счёт сторонних пауков и причин «корявых» URL это только моё предположение


 

а я не говорю о процентах, я говорю о том, что если такая ситуация может реализована не для обмана поисковика, а для благих целей - например для улучшения юзабилити сайта, для удобства пользователя и т.д. И в таком случае, если вдруг какие-то санкции сработают, всегда можно аргументировано объяснить зачем это сделано, для чего и т.д. И если сайт содержит полезную информацию и действительно сделан для людей, а не для манипуляций алгоритмами поисковых ботов, то бояться тут совершенно нечего.

Согласен, аргументировано всегда можно объяснить технической поддержки поисковика, что это сделано для удобства пользователя, но не роботу-поисковику.
Он анализирует страницы на основе вложенных  в него алгоритмов и на их основе налагает фильтры и баны. Если сайт вылетает из поисковой системы это заметно владельцу сайта и он начинает разбираться, переписывать с тех. поддержкой.

Но большинство владельцев сайта даже не заметят наложенные фильтры, исчезновение из поиска по каким-то ключевым запросам (если они этого не отслеживают). Сайт в индексе поисовика, но в результате идёт снижение количества посетителей из поисковых систем.

Не побежишь же к тех. поддержки поисковика с вопросом, почему от Вас людей так мало стало ходить ко мне на сайт :-)
Да и поисковики не сообщают о том, что на сайт наложено наказание или фильтр.

И если на небольших сайтах ещё можно как-то отследить изменения наложение фильтров, уменьшение «авторитетности», то для больших сайтов это сделать очень сложно.




И ещё один неприятный момент, скорее всего связанный с добавление новых моделей или появлением других путей попадания на статью пользователем


Вот эти URL были у статьи "Как увеличить длину заголовков материалов" 03.07.2007 проиндексированы Yandex
http://joomlaportal.ru/content/view/226/59/
http://joomlaportal.ru/content/view/226/46/

А эти URL от 29.07.2007 (проиндексированы Yandex)
joomlaportal.ru/content/view/226/63/
joomlaportal.ru/content/view/226/61/
joomlaportal.ru/content/view/226/58/

Постоянный вид URL для страниц один из важных показателей поисковикам надежности и авторитетности сайта, а он меняется во времени.




Joomla система интересная, но без качественного SEF снижаются конкурентные возможности сайтов, построенные на этой CMS.

Встроенный SEF эту проблему не решает. Может быть следует доработать в русских локализациях этот минус?

Я не программист, и в тоже время, если вдруг будет создаваться такая SEF готов участвовать в тестировании 

Работал только с OpenSEF и пока меня беспокоят только две вещи в нём:

1. ( Главная) Нагрузка на сервер, общая скорость работы сайта и соответственно скорость работы с ним посетителей.

2. Размер URL, их как-то надо уменьшать.

Если провести полную проверку всех ссылок, например, при помощи PagePromoter, то можно будет наверняка обнаружить все страницы, которые ссылаются с этими ссылками.

хм, что интересно, этих ссылок (на /category/) на сайте-то давно уже нет... надо позакрывать нафиг их в robots.txt Вот только что делать с кривыми... вручную их отыскать весьма проблематично будет, я думаю. Идеи есть?

Далее я могу только предполагать, так как не знаю, был ли динамичный Sitemap, которым Вы пользовались, происходила ли проверка ссылок на сайте хотя бы 1 раз в неделю с внесением в карту сайта новых изменений.

карта генерится ежесуточно, ночью...

ну и в чём проблема сделать урл коротким???

У меня стоит ряд компонентов такие как MarcetPlace, xDir, FireBoard, СB + стандартные. Будут эти компоненты работать с OpenSef?

по fireboard и cb плагины вроде бы были.
под остальное - х.з.

ну и в чём проблема сделать урл коротким???

Не могу понять как это правильно настроить и где?
Вот здесь эта тема http://joomlaforum.ru/index.php/topic,16671.0.html

хм, что интересно, этих ссылок (на /category/) на сайте-то давно уже нет...

может быть они не доступны пользователю, но они не удалены и поисковик периодически обновляет информацию по этим страницам

надо позакрывать нафиг их в robots.txt Вот только что делать с кривыми... вручную их отыскать весьма проблематично будет, я думаю. Идеи есть?

да закрыть /category/, убрать сквозную навигацию, но это будут только полумеры, проблему это не решит

Во-первых ,будет трудно найти все страницы, которые дают корявые ссылки и закрыть их. + найти все страницы, которые имеют одинаковое содержимое, но разный URL
выбрать какой-то один вариант и оставить его для поисковиков

Во-вторых, синтаксис для прописки команд в robots.txt  весьма несовершенен, нету единых стандартов, даже для Рунета в некоторых поисковиках нет даже команд, таких как, например, звездочка. Это мешает например убрать нулевые страницы

В-третьих, размер индексируемого robots.txt для того же Yandex не должен быть более 32 Kb.  По своему опыту могу сказать, что на 50 страниц приходится примерно 2 Kb


Идея такая: менять  SEF нужно, но что сайт при этом теряет?

карта генерится ежесуточно, ночью...

можно посмотреть на карту и сам скрипт для генерации

2Aysek:
Проблема Itemid возникает у новичков всегда, она у меня так же была, но я из нее сделал пользу и теперь она для меня не проблема

Да Itemid не удобен, но иногда за счет него можно выграть кое-какие плюсы, но не о них речь.
Я вот подозреваю, что вы можете давать в разных меню ссылку на одну и туже страницу, блог, категорию и т.д. Поэтому и ссылки разные для одной страницы.

Уважаемый Dutch.

Посмотрите, пожалуйста, мои примеры в посте http://joomlaforum.ru/index.php?topic=4819.msg97150#msg97150

и прочтите мои остальные посты в этой теме. Я пишу о страницах с разными URL на сайте joomlaportal.ru, а не на своём, и объясняю, с чем эти проблемы связаны.
В том числе и с Itemid

Разные Itemid из-за того что с меню делается ссылка на тот же материал.
Да если подставить новый итэм то немного сменится структура вывода модулей.
Но хочу уверить, что не только такие фокусы есть в джумле.

Возьмем к примеру движок на котором бегает сайт немецкой волны:
http://www.dw-world.de/dw/0,,298,00.html
это главная страница русской редакции
заменим 00 в конце адреса на 01 - http://www.dw-world.de/dw/0,,298,01.html
уп-с, опять главная.
Но что интересно если на сайте нет ссылки на не существующий итэм, то поисковик никогда не будет искать того чего он не видит на сайте.

Кстати, Смарт прав в том плане, что если менять итэмы, то меняются и модули по по существу поисковик получает уже другую страницу с измененным контентом.

З.Ы. если следить за ссылками, то поисковик не выдаст несуществующего на сайте юрла - из практики работы с мамбо/джумла!!!

ОЧЕНЬ волнует  вопрос, уважаемые специ...:
готовится сайт на Жумла 1,13 - каталог статей- около 1000-1200 статей(типа энциклопедия).. посещаемость ориентировочная (будет раскручиваться и продаваться под рекламу,партнерки..)- около 1000-2000 хостов в сутки.. и никаких голосований, регистраций, отзывов, форумов и прочих модулей-примочек на страницах не будет- больше текста и картинок опо 1-2 на статью..
ВОПРОС: как по-вашему мнению, уважаемые специ.. -стоит ли ставить OPENSEF? (нравятся мне ссылки вида *.html) или пользоваться встроенным (/..../..../)??   
ЯСНОЕ дело что нагрузку создаёт, но насколько она будет критична для вышеописанного примера?у кого-нибудь есть опыт работы с большим информационным сайтом + SEF?
! И вообще- насколько это серъёзная нагрузка на БД, для ДЖУМЛЫ ? провайдер платный -СВЭБ (spaceweb).. вроде хорошие компы..2 зиона и 4 гига оперативы.. не хочу чтоб потом выгнали с перегрузом и с этой cms..

Что мешает использовать стандартные ЧПУ Джумлы?
Раскрутить сайт с стандартным джумловским ЧПУ так же просто, как и с опэнсэфовским.

Теперь такой момент:
Если же вы делаете сайт только с контентом и графикой, без лишних сторонних расширений, может стоит тогда его сделать на джумла 1.5?
В 1.5 есть 3 вида подачи СЭФа, даже если нет поддержки мод_рэврайт!
Есть выбор кэширования данных: в файлах (причем кэш-файлы теперь создаются в отдельных папках, в зависимости от того с чего делается кэш), в базе данных (при условии, что хостинг предоставляет аксселератор, мэм-кэш и т.д.).

На вашем месте, я бы в этом случаи делал бы сразу сайт на 1.5.

Стандартный -  делает много ссылок на один и тот же "текст"...
ТАМ в 1,5 такая же кака с двойными (тройными) УРЛАМИ -этоя установид DEMO:
_http://bestrest.info/features/29-the-cms/22-whats-new-in-15.html
_http://bestrest.info/joomla-overview/what-is-new-in-1-5.html
_http://bestrest.info/22222/29-the-cms/22-whats-new-in-15.html
обратите внимание - для SEO -это критично...  opensef редиректит все возможные ссылки стандартного урлогенератора на одну страницу(склеивает иными словами..)

2 rusreach: что полностью цитировать так обязательно???

Извините... бред! У меня ничего не склеивает за счет разницы отображения модулей и т.п.
Поверьте - при разумном подходе к формированию навигации и страниц - риск склейки минимален!
У меня на одном портале на 300 страниц контента - 2000 страниц в индексе! И в ТОПе!

Извините... бред!

я не правильно может выразился.. opensef подменяет возможные варианты ссылок на один и тотже материал одной sef-ссылкой.. правильно?

В 1.5 вы можете вписывать алиас статьи, как например в вордпрессе или друпале, и ссылка у вас будет одна.
Рекомендовал бы повнимательней изучить работу режимов сэфа в 1.5

Рекомендовал бы повнимательней изучить работу режимов сэфа в 1.5

С алиасом понятно, может подскажите где там варианты настроек sef (в английском не сильно силён чтобы документацию читать, а русской хорошо переведённой ещё нет).. в настройках есть 3 пункта- включить sef через апач / без апач / и с добавление суффикса- html .. более не встречал..

opensef подменяет возможные варианты ссылок на один и тотже материал одной sef-ссылкой.. правильно?

Правильно. Но и нагрузочку Вы себе обеспечите неслабую! Пользуйтесь стандартным SEF, а если нет нужды в доп. расширениях - как Вам уже советовал Dutch - однозначно 1.5