Стоит Xmap. Кроме него никто карту сайта создать не может - виснет все. И jcrowler и сторонние сервисы. Создание нескольких карт не столь очевидный вопрос. На сайте у нас есть главное меню , оно по сути и определяет разделы сайта для пользователя.
Смотрим на живой сайт www.pickupguild.ru
Главное меню это Теория соблазнения, Форум, Обучение и т.д. Пользователь видит это сразу. Робот же видит и выпадающее меню более чем из 300 подпунктов, вспомогательную навигацию трех уровней и бесконечные модули, выводящие аннотацию материалов на главную страницу. Вероятно это и ес ть причина технической ошибки индексации сайта.
Xmap создает карты сайта из меню, а главное меню как раз и представляет из себя проблему. Взяв его за основу получается просто гигантский список. Его надо разбить. Можно создать специальные меню которые не публикуются на сайте (hidden menu). При этом использовать линк на внешний урл при создании - иначе алиасы будут другие чем по факту.
Вопрос только в том, какие меню создавать и как их связать в единую систему, чтобы робот увидел разделы сайта. Да так, чтобы мог построить быстрые ссылки на их основе.
Я смотрел сайты конкурентов, например pickup.ru Так там главное меню просто из трех пунктов , вот оно и есть разделы сайта, инфа не обновляется, сайт по сути - рекламная старичка. Номер один в выдаче. Логично создать подобное меню без подпунктов и скормить яндексу, но станет ли он тогда индексировать сами материалы? Может получится через список категорий туда выйти, в принципе уровень вложения там не больше трех. пойдет ли он в глубь?
Следует ли создавать подменю из основных разделов на сайте. Ставить подменю на разделы форума, которые Яндекс не проиндексировал (взял только одну категорию почему то )? Вот буду экспериментировать и по результатам что писать сюда.