CMS без дублей - страница 3 - Joomla! vs ....

А при чём здесь MySQL?
Наличие или отсутствие базы данных к вопросу не имеет отношения вообще.

Хм, не знал, просто ставил пару раз без MySQL  и там не было дублей, так как не было и SEF и все очень примитивно.
Ну еще там нет движка (если CMS с подключением MySQL, там монстр получается, по сравнению с без), который бы генерировал дубли....Ну я так рассуждал...я ошибался.
Бум знать Форум для этого и существует, чтобы узнавать новое, и я очень рад, что тема дублей все больше проясняется. Я за последние два дня о дублях узнал больше, чем за 2 года, если б не форум, я б о дублях страниц вообще нет

А с с www и без www Вы и у статичной странички дубль получите если не закроете это в .htaccess.

ну это у всех

______________
Мало дублей, или их отсутствие:
HostCMS
MODx REVO
InstantCMS
Bitrix
NanoCMS

Дубли плодят (пока только Open Source ):
Joomla
Drupal
TYPO3
WordPress
KAPcms

Pazys
SDKiller
Пасибо, открыли глаза!
Стоит KAPCMS - есть дубли много...

__________________________
Вчера написал в службу поддержки HostCMS:

Вопрос:
> Ваша CMS образует дубли страниц при включенном SEF
> Заранее спасибо за ответ
Ответ:
В HostCMS ЧПУ (SEF) включен всегда, соответственно простых страниц без ЧПУ просто нет.

Слышал, что такие системы будут виснуть, если много пользователей одновременно зайдет на сайте
Ну это вообще шик
тут наверно вообще нет недочетов, и все под конкретный проект

Будут виснуть из-за того, что при заходе пользователя выполняется php и все это загружается в память, при заходе нового пользователя - он (PHP) опять загружается в память, и так пока память не засрется. Далее начинает все ставится в очередь.
Но это не проблема этих CMS, а PHP.

Нет, своя CMS универсальная .... но не юзается из-за лени писать к ней дополнения. Так ... проектов 10 на ней висит.

Нет, своя CMS универсальная .... но не юзается из-за лени писать к ней дополнения. Так ... проектов 10 на ней висит.

она без msql?
Я также слышал, что можно подключаться при необходимости БД...ну это так к слову.
Надо будет почитать статьи о дублях, а то я не ориентируюсь в пространстве

Есть у кого FAQ по дублям и природе их происхождения? (не как от них избавиться) процесс генерации, как выявить

Есть у кого FAQ по дублям и природе их происхождения? (не как от них избавиться) процесс генерации, как выявить

В каждой cms природа дублей разная. Зависит от архитектуры, и корректности кода, отвечающего за "понимание" чпушной ссылки.
Однако в почти в любой cms, обычно имеется как минимум 2 ссылки на каждую страницу - чпушная и нечпушная

danik.html вооот, вот это меня и интересует
То есть включив ЧПУ мы обрекаем сайт на дубли так?

Потом. Давайте немного отойдем от CMS и обратимся к компонентам.
Например, есть компонент тырнет магазина, у него есть встроенный ЧПУ (родной, клацкаешь и было afgdsfgsdfgdsfgdsfgsdfg/dsfgdsf/dsfg стало
category/product/blalala
Получается это дубли?
Или надо смотреть конкретно по ситуации? как будет работать ссылка afgdsfgsdfgdsfgdsfgsdfg/dsfgdsf/dsfg или не будет или будет редирект на category/product/blalala

В общем мой вопрос:
Любой компонент или CMS, кот имеет возможно создавать ЧПУ (подключать их точнее) - есть дубли?
То есть если я не включаю ЧПУ - все, дублей нет, так?

То есть включив ЧПУ мы обрекаем сайт на дубли так?

Не, все-таки нечпушные сссылки должны закрываться в роботсе, ибо избавиться от них на уровне движка - сложно. Да и не нужно.
Вобще, я думаю в роботсе должно быть прописано Disallow *?* или как там пишется..

danik.html вооот, вот это меня и интересует
Любой компонент или CMS, кот имеет возможно создавать ЧПУ (подключать их точнее) - есть дубли?
То есть если я не включаю ЧПУ - все, дублей нет, так?

Вобще не понял твои примеры. И вопрос. Если ты не включишь чпу, то ты не сможешь закрыть *?* , а значит у тебя бесконечное число дублей , коротые без проблем может индексировать ПС:
site.ru/index.php?id=5
site.ru/index.php?id=5&bla=0
site.ru/index.php?id=5&bla=1
site.ru/index.php?id=5&bla=2

и так до бесконечности. И на все страницы ответ будет 200 ОК.

Я думаю, эта проблема должна рассматриваться не в разрезе - чпу/не чпу ссылка (закрываем не чпу в роботсе). Главная проблема - это когда имеем две разные ссылки на одну и ту же страницу. Например в вирте:
и
Как результат - получим две разные чпу ссылки на одну и ту же страницу.
Решение - вычищать ссылки при формировании чпу ссылок в каждом конкретном случае.

А еще, можно тупо переставлять параметры в ссылках - и, что бы вы думали? Правильно, получаем еще кучу дублей
Поэтому вопрос дублей я даже не стал бы рассматривать в режиме выключенного чпу. Да и вобще - зачем его выключать то?

А еще в Joomle 1.5 по умолчанию есть просмотр шаблона:
домен/?tp=дальше что угодно
в 2.5 по умолчанию выключено.

А еще в Joomle 1.5 по умолчанию есть просмотр шаблона:
домен/?tp=дальше что угодно
в 2.5 по умолчанию выключено.

Есть такое, это дубль что ль? ппц

Это бесконечный дубль.

Это бесконечный дубль.

Disallow: /?tp=* решение?
Если да, себе щас поставлю
у меня всего 254 урла, а поисковик еще 30 откуда то берет...Вчера избавился от некоторых, может еще не проиндексировал

Disallow: /?tp=* решение?
Если да, себе щас поставлю

Ты проверь сначала, есть ли он у тебя...

Ты проверь сначала, есть ли он у тебя...

По-моему нашел вечный источник дублей:
Якоря Якорные ссылки
У меня их много...

http://mysite/karcher.html#3/
http://mysite/karcher.html#3
http://mysite/karcher.html#3/.html
http://mysite/karcher.html#3.html

ппц... Стоит бороться?
если да то как?
Disallow: #* ?

Есть такое, это дубль что ль? ппц

Я ведь уже писал, что при включенном чпу нужно вобще запрещать индексацию ссылок, содержащих параметры, тоесть Disallow *?* или как там.


Якоря - это вобще другая история. Хэш-часть ссылки нужна для указания адреса внутри документа,тоесть на конкретную часть документа, поисковики же обрабатывают документы целиком, а не частями, поэтому я уверен на 100% что они либо вообще отбрасывают хэш-составляющую, либо адекватно как-то ее обрабатывают.
Получается это не дубли, это uri, указывающие на один документ, но на разные его части. Хэш-часть скорее всего обрабатывается только браузером.

Можно подытожить:

В теории, при включенном чпу движок должен отдавать страницу только по единственно верному урлу ( составляющая после ? не в счет )
Ссылки, имеющие строку запроса (знак ?) не должны индексироваться поисковиками, для этого нужно прописать соответсвующую инструкцию в robots.txt.

Какие расхождения практической реализации в Joomla и теории:
1) Некорректная обработка ссылок-дублей:
site.ru/page
site.ru/page/
site.ru/page.html
site.ru/page/////////////////////

ну и другие глюки
2) Доступность страницы по адресу, сформированному меню Joomla и по адресу, созданному собственно компонентом:
site.ru/menualias.html
site.ru/component/content/pagealias.html (или как там)

Первая проблема решается довольно просто. А вот для решения второй - нужно подумать. У кого есть идеи?

Отдельно отмечу что в Joomla нужно еще открыть в роботсе индексацию ?limit=x&start=y

Первая проблема решается довольно просто. А вот для решения второй - нужно подумать. У кого есть идеи?

Ну так собственно этим способом удаляются все возможные дубли (имею ввиду com_content). Осталось только ?start=9999 (пока руки не дошли, а навскидку придумать не могу)

А еще, можно тупо переставлять параметры в ссылках - и, что бы вы думали? Правильно, получаем еще кучу дублей

Значит нужно ужесточать обработку в роутере компонента - фиксированный набор параметров в строго определённом порядке, иначе - 404

Значит нужно ужесточать обработку в роутере компонента - фиксированный набор параметров в строго определённом порядке, иначе - 404

В Joomla не предусмотрено определение порядка переменных в запросе. И нигде не предусмотрено. Помоему это тупиковая идея. Не лучше ли включить чпу?

Стоит отметить, что при использовании редиректа станет невозможной передача параметров через урл. В часности не работает страница печати.

это очень печально и сильно сужает возможность применения.

это очень печально и сильно сужает возможность применения.

А исключения на ссылки страницы печати и т.д. в условии никак нельзя не прописать?

P.S.: эти страницы печати только дубли создают ненужные.

Можно ... в роботе:
Disallow: /*print=1

Тока я смотрю, Google плевать на роботс ...

Можно ... в роботе:
Disallow: /*print=1

Тока я смотрю, Google плевать на роботс ...

Вот-вот =) Причем такие страницы лучше индексируются Гуглом.

Вобще не пойму, зачем для печати создавать отдельные страницы. Есть же @media print{}
А на иконку печати повесить обработчик print()

А не нужно создавать ... они "из коробки" доступны. Их наоборот надо отключать и далее @media ...

А не нужно создавать ... они "из коробки" доступны. Их наоборот надо отключать и далее @media ...

Я знаю. Я даже где-то расписывал по шагам как их отключить. Для j1.5 правла..

Не лучше ли включить чпу?

А кто сказал что после включения чпу будут недоступны урл вида

http://mysite.ru/index.php?option=com_content&view=article&id=1

или

http://mysite.ru/index.php?option=com_content&id=1&view=article

или

http://mysite.ru/index.php?id=1&view=article&option=com_content

А кто сказал что после включения чпу будут недоступны урл вида
http://mysite.ru/index.php?option=com_content&view=article&id=1

Я сказал. Уже много раз говорил:

Если ты не включишь чпу, то ты не сможешь закрыть *?* , а значит у тебя бесконечное число дублей , коротые без проблем может индексировать ПС:
site.ru/index.php?id=5
site.ru/index.php?id=5&bla=0
site.ru/index.php?id=5&bla=1
site.ru/index.php?id=5&bla=2

и так до бесконечности. И на все страницы ответ будет 200 ОК.

Не, все-таки нечпушные сссылки должны закрываться в роботсе, ибо избавиться от них на уровне движка - сложно. Да и не нужно.
Вобще, я думаю в роботсе должно быть прописано Disallow *?* или как там пишется..

В теории, при включенном чпу движок должен отдавать страницу только по единственно верному урлу ( составляющая после ? не в счет )
Ссылки, имеющие строку запроса (знак ?) не должны индексироваться поисковиками, для этого нужно прописать соответсвующую инструкцию в robots.txt.

danik.html я приведу пример как это - "?" можно вообще закрыть в Рево, даже не хаком а маленьким плагином, думаю в Joomla тоже так можно, при условии. что у вас пагинация всё тоже в ЧПУ.
.... всё, если в урле будет знак вопроса - пошлёт сразу на 404