Yandex против Joomla&Joostina, а Google за! - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Яндексу перестали нравиться сайты на Joomla&Joostina. Это не голословное утверждение.
Начал делать небольшой сайт на Joostina 1.2.0 v2 в домене третьего уровня http://sibtrakt.udmedu.ru. Добавил туда 6 статей, систему статистики JoomlaStats (www.JoomlaStats.org), пару ботов (hsimage, glossary).
Зашел http://webmaster.yandex.ru/ и пытался добавить URL-адрес в базу Yandex. Получил сообщение "указанный URL запрещен к индексации".
Вижу, что бот проверил только первую страницу. Ну и я проверил robot.txt и index.php - индексация разрешена. 
В Google сайт добавился без проблем.
Проверил десяток других своих сайтов. Оказалось, что с мая 2009 года бот Яндекса перестал ходить на половину из них, преимущественно в домены третьего уровня. Сайты делались на Joomla 1.0.12, Joostina 1.1.3, 1.2.0 и практически не менялись.
Сделал запрос в службу поддержки Яндекс. Пришел такой вот ответ:

Лицом, ответственным за создание или поддержание Вашего сайта, была нарушена «Лицензия на использование поисковой системы Яндекса» – http://rules.yandex.ru/termsofuse.xml. Страницы сайта содержат скрытый или слабовидимый текст, недоступный пользователям сайта, и предназначенный исключительно для робота поисковой системы.
В соответствии с пунктом 3.5 Лицензии мы не предуведомляем об удалении сайтов из поиска, и не даем никаких гарантий и сроков на повторное их включение в индекс.
Мы не вступаем в переписку по поводу степени тяжести нарушения, конкретных адресов страниц на сайте и/или конкретных технических приемов, а также способов устранения проблемы.
Вопрос возможности восстановления ресурса в поисковой базе Яндекса может быть рассмотрен не ранее чем через месяц после получения уведомления о принятых мерах.
--
С уважением, Платон Щукин Служба поддержки Яндекс.Ру http://help.yandex.ru/

Еще раз взглянул на index.php - никакого криминала не обнаружил. Служба Яндекса фактически отказалась указать место "предназначенное для роботов".
Ну и пара вопросов. Кто виноват? и что делать?

Одно могу утверждать на 100% - движок тут ни причем, может шаблон бот яндекса плохо читает - там общий фон черный, буквы тоже черные, возможно в этом причина. А если на этом поддомене что-то раньше было, то может и оно сказывается.

Согласен это не Joomla капайте контент и шаблон. У меня домен 3-го уровня и Joomla 1.5.x, и тьфу тьфу тьфу нормально все. Домену 1,5 года.

Одно могу утверждать на 100% - движок тут ни причем, может шаблон бот яндекса плохо читает - там общий фон черный, буквы тоже черные, возможно в этом причина. А если на этом поддомене что-то раньше было, то может и оно сказывается.

Фон графический - не смотрит же бот цвета картинок? Если без картинок, то черные буквы на белом фоне - никакого криминала.
Поддомен был открыт только 14 июля.

Согласен это не Joomla капайте контент и шаблон. У меня домен 3-го уровня и Joomla 1.5.x, и тьфу тьфу тьфу нормально все. Домену 1,5 года.

Капал. Вставок для робота не обнаружил! Но у меня ведь не только по этому домену проблемы с Яндексом начались. С Google проблем нет. С другой стороны некоторые сайты с тем же набором сомпонентов и модулей Яндексу нравятся (Например http://shaer.ru, http://rek-udm.ru).
Вопрос в том, что именно не понравилось Яндексу на http://sibtrakt.udmedu.ru?

А как яндекс относиться к домену второго уровня: http://udmedu.ru, проверьте может с ним проблемы?

body {
-moz-background-clip:border;
-moz-background-inline-policy:continuous;
-moz-background-origin:padding;
-x-system-font:none;
background:transparent url(../images/bg2.gif) repeat scroll 0 0;
color:#333333;

Это что касается цвета твоего боди. В последней строке задан цвет. Фиребаг его показывает как черный.

А как яндекс относиться к домену второго уровня: http://udmedu.ru, проверьте может с ним проблемы?

Вот так он относится к  http://udmedu.ru
Общая информация
Дата последнего обращения робота к сайту: 11 июля 2009, 10:46
Число загруженных страниц: 1334 ТИЦ: 70
Индекс
Страниц в индексе: 0
Внешних ссылок на страницы сайта: 721
Внутренних ссылок на страницы сайта: 0
======================================
Заходит, но не индексирует?

body {
....
background:transparent url(../images/bg2.gif) repeat scroll 0 0;
color:#333333;
Это что касается цвета твоего боди. В последней строке задан цвет. Фиребаг его показывает как черный.

color:#333333; - это буквы, они почти черные, а фон transparent и если убрать просмотр картинок в браузере, то фон будет белым.

Яндекс из поисковой системы давно превратился в цензора Рунета - причем, этакого одноглазого цензора-дальтоника с параноидальным мышлением.
У меня был абсолютно белый проект на Joomla 1.5 с абсолютно уникальным самописным контентом, но Яндекс наотрез отказался его индексировать. После нескольких переписок с Платоном и шаблонных ответов про "генерированный контент" и еще какую-то совершенно абсурдную хрень решила сайт забросить.
При всём при этом в Яндексе (и даже в ЯК) можно обнаружить тонны г*сайтов с копипастом или синонимизированным контентом, которые благополучно индексируются и получают ИЦ.

Безусловно, Джумла не при чем. Может быть, домен в бане - пишите Платону (через форму поддержки, ссылка внизу яндекс.вебмастера)

Яндекс из поисковой системы давно превратился в цензора Рунета - причем, этакого одноглазого цензора-дальтоника с параноидальным мышлением.
У меня был абсолютно белый проект на Joomla 1.5 с абсолютно уникальным самописным контентом, но Яндекс наотрез отказался его индексировать. После нескольких переписок с Платоном и шаблонных ответов про "генерированный контент" и еще какую-то совершенно абсурдную хрень решила сайт забросить.
При всём при этом в Яндексе (и даже в ЯК) можно обнаружить тонны г*сайтов с копипастом или синонимизированным контентом, которые благополучно индексируются и получают ИЦ.

Раз в индексе у домена 2-го уровня 0 страниц, значит проблемы с ним.
Как давно он у Вас?
Откуда у Вас контент на домене 2-го уровня? Граберами тяните или сами набиваете?
А по поводу ЯК туда можно попасть если у сайта огромная популярность (читал, что многие популярные проекты группа яндекса сама добавляла ручками), а так туда можно попасть только за деньги.

Сайту ведь 3 года, получается за 3 года 0 страниц в индексе:
created:    2006.04.20
paid-till:  2010.04.20
Проверьте шаблон http://udmedu.ru, может при переделывании под себя Вы что-то упустили! И есть скрытый текст?

Во первых не забываем что янедкс не может индексаровать страницы выводящими пхп и прочими скриптами! Для того что бы бот яндекса начал Вас индексировать необходимо перевести страницы в псевдостатический вид! Отсюда следует что если Вы не провели соотвествующих мероприятий по этому делу яндекс просто не сможет добавить Вас в индекс. Ответ по первому посту вполне возможно из-за этого Вас и забанил яндекс. + к всему к этому можно получить бан из-за не правильного манипулирования со ссылками. Если вы участвовали в линк обмене вполне возможно Вас забанили из-за этого.

"А по поводу ЯК туда можно попасть если у сайта огромная популярность (читал, что многие популярные проекты группа яндекса сама добавляла ручками), а так туда можно попасть только за деньги" Начнем с того что Ваше положение в яндекс каталоге зависит в первую очередь от индекса цитирования ТИЦ чем Выше показатели тиц тем больше шансов попасть туда и тем выше Ваша позиция в нем!

Во первых не забываем что янедкс не может индексаровать страницы выводящими пхп и прочими скриптами! Для того что бы бот яндекса начал Вас индексировать необходимо перевести страницы в псевдостатический вид! Отсюда следует что если Вы не провели соотвествующих мероприятий по этому делу яндекс просто не сможет добавить Вас в индекс.

Что за глупость?

"А по поводу ЯК туда можно попасть если у сайта огромная популярность (читал, что многие популярные проекты группа яндекса сама добавляла ручками), а так туда можно попасть только за деньги" Начнем с того что Ваше положение в яндекс каталоге зависит в первую очередь от индекса цитирования ТИЦ чем Выше показатели тиц тем больше шансов попасть туда и тем выше Ваша позиция в нем!

Мой сайт barier-cs.com в каталоге яндекса, денег не платил, популярность средняя или ниже средней.

body {
....
background:transparent url(../images/bg2.gif) repeat scroll 0 0;
color:#333333;
Читай внимательнее - и background: относится к цвету фона и color: так-же. если-бы был font-color тогда-бы относилось к тексту. Утверждаю, 99,9% что именно в этом проблема, особенно если обратить внимание на текст письма Платона.

Во первых не забываем что янедкс не может индексаровать страницы выводящими пхп

Это что за бред?

Все что я написал имеет непосредственную опору под собой, фуфла не пишу.

Во первых не забываем что янедкс не может индексаровать страницы выводящими пхп и прочими скриптами! Для того что бы бот яндекса начал Вас индексировать необходимо перевести страницы в псевдостатический вид! Отсюда следует что если Вы не провели соотвествующих мероприятий по этому делу яндекс просто не сможет добавить Вас в индекс. Ответ по первому посту вполне возможно из-за этого Вас и забанил яндекс. + к всему к этому можно получить бан из-за не правильного манипулирования со ссылками. Если вы участвовали в линк обмене вполне возможно Вас забанили из-за этого.

Не совсем так, к тому же на всех сайтах включены "Дружественные для поисковых систем URL-ы (SEF)" На том же сервере отлично индексируется http://shaer.ru и на соседнем http://rek-udm.ru
В линк-обменах не учавствую уже три года. Была скрытая реклама от пользователей в гостевой на udmedu.ru. Но давно обнаружили и удалили...

Все что я написал имеет непосредственную опору под собой, фуфла не пишу.

Молодой человек, у меня сайт был на самописной CMS, без всяких ЧПУ, все выводилость с imdex.php?... причем я умудрялся за небольшую сумму денег в топе по своим запросам стоять. Сейчас СЕО забросил, некогда пока, так-что на позиции можно не смотреть.

Во первых не забываем что янедкс не может индексаровать страницы выводящими пхп и прочими скриптами!

т.е. пол интернета попало в индекс по ошибке?

т.е. пол интернета попало в индекс по ошибке?

Яндекс очень часто ошибается

ну так это вторая половина

body {
....
background:transparent url(../images/bg2.gif) repeat scroll 0 0;
color:#333333;
Читай внимательнее - и background: относится к цвету фона и color: так-же. если-бы был font-color тогда-бы относилось к тексту. Утверждаю, 99,9% что именно в этом проблема, особенно если обратить внимание на текст письма Платона.

Я то, как раз, внимательно читаю
body{ ...
background: url(../images/bg2.gif) repeat; << точка с запятой - означают конец правила
color:#333333; << следующее правило
}
Чтобы фон покрасить надо написать или так:
background: #333333 url(../images/bg2.gif) repeat;
или вот так: background-color: #333333;
Проверить легко - отключи просмотр картинок - увидишь фон!

я придумал - Яндекс индексирует напрямую базу MySQL!

ДА???
тогда я к пингвинам курить. не ждите...

Раз в индексе у домена 2-го уровня 0 страниц, значит проблемы с ним.
Как давно он у Вас?
Откуда у Вас контент на домене 2-го уровня? Граберами тяните или сами набиваете?
А по поводу ЯК туда можно попасть если у сайта огромная популярность (читал, что многие популярные проекты группа яндекса сама добавляла ручками), а так туда можно попасть только за деньги.

1. Домен не забанен в Я. У Гугля с сайтом тоже проблем нет, он ему даже PR2 выписал.
2. Месяцев 8.
3. Контент самописный. Я г*сайтами не занимаюсь.
4. Вот, навскидку, недавняя объява о продаже сайта с сёрча:
"Продам сайт. Домен org.ua CMS - Ucoz Тематика - спорт (футбол),сайт есть в Яндекс Каталоге. Тиц и ПР пока нулевые в Яндексе больше 200 страниц".

Вообще, о чем говорить? Я не первый год сайтами занимаюсь, у меня с десяток проектов - некоторые с 2003 года. Раньше не было таких проблем с индексацией в Я. А сейчас, например, наблюдаю большую разницу в отношении к ru-доменам и к gtld-доменам.

я придумал - Яндекс индексирует напрямую базу MySQL!

Шутка? Еще раз прочитайте мое самое первое сообщение http://joomlaforum.ru/index.php/topic,71856.msg415321.html#msg415321

Вижу (статистика на сайте показывает), что бот проверил только первую страницу. Ну и я проверил robot.txt и index.php - индексация разрешена.

Шутка?

Кончно, это мы так от грустного к смешному перешли незаметно