А нужен ли sitemap? - Карта сайта

Поднялась очередная тема о гибели всеми любимого Xmap, и даже форк MapX помер. Из достойных альтернатив остался OSMap. Но вопрос - так ли необходима карта сайта?

Известно, что боты поисковиков индексируют именно ссылки. Карта сайта может помочь обнаружить страницы, на которые нет нигде ссылок, оптимизировать алгоритмы краулинга, в остальном же индексируется контент сайта в зависимости от внутренней перелинковки.

На официальных страницах Яндекса и Google о необходимости этого файла говорится довольно размыто. Может помочь...но не факт.

Файлы Sitemap учитываются при обходе сайта, однако мы не гарантируем, что все URL из вашего файла Sitemap будут добавлены в поисковый индекс Яндекса.

Google не гарантирует, что мы будем сканировать или индексировать все ваши URL.

Ну и в довесок:

Даже если вы создали файл Sitemap, это не гарантирует, что Google будет сканировать и индексировать все ваши страницы, так как эти процедуры выполняются при помощи сложных алгоритмов. В большинстве случаев эти файлы приносят пользу и не приводят к ошибкам.

Что то такое было и у Яндекса, сейчас не нашел.

Собственно вопрос: так ли необходима карта для сайтов на движке Joomla? Каково ваше мнение?

1) вебмастер будет выдавать ошибку, если карты сайта не будет
2) карта сайта нужна для молодого сайта или резкой переиндексации большого количества страниц - там тоже есть свои ограничения на количество ссылок в сутки
3) во всех остальных случаях карта сайта больше для того, чтобы помочь найти ссылки, которые поисковик сам не смог найти (хотя это уже  вопрос плохой перелинковки)

Саша, я не о том, для чего он нужен. Я о том, нужен ли он вообще для среднестатистического сайта. Упор своего суждения сделал на то, что обе поисковые машины делают ставку на ссылки, а не карту сайта, хотя иногда и ее учитывают.

где-то встречал аналогичную тему, так там промелькнуло такое, что для не больших сайтов (к примеру, сайт-визитка до 10-ти страниц) карта сайта не нужна. Якобы поисковые роботы проиндексируют и без ее.
Так ли это или нет - думаю на этот вопрос может ответить тот, кто занимается продвижением - СЕОшник

1) вебмастер будет выдавать ошибку, если карты сайта не будет
2) карта сайта нужна для молодого сайта или резкой переиндексации большого количества страниц - там тоже есть свои ограничения на количество ссылок в сутки
3) во всех остальных случаях карта сайта больше для того, чтобы помочь найти ссылки, которые поисковик сам не смог найти (хотя это уже  вопрос плохой перелинковки)

Согласен, если карты сайта нет, вебмастера ругаются, значит может она все же нужна?

Яндекс сканирует не только sitemap, а все что есть на сайте. Т.е. он и без него проиндексирует. Я как-то задавал пару лет назад вопрос им насчет того, найдет ли он то, чего нет в sitemap (у меня не все попадало в него). Вот их ответ.

Помимо файла sitemap робот заносит в базу все ссылки, находящиеся непосредственно на сайте или на любых других сайтах, которые находятся в открытом доступе.

Наверное, sitemap облегчает сканирование, и для крупных сайтов все-таки нужен.

Компонент карты сайта в 95% не нужен.
Саму карту надежнее сделать сервисами или десктопными краулерами.

Есть конечно случаи, когда часто и много контента добавляется - тогда может и нужен, но это те оставшиеся 5%

вопрос о необходимости карты сайты был задан на 5й веб-мастерской яндекса осенью 2016, ответ яндекса: карта необязательна, но рекомендуема, страницы, указанные в карте, имеют технический приоритет при обходе сайта поисковым роботом

Рассказываю, как я понимаю для чего он нужен:
Допустим у вашего сайта 200 страниц. Включая всякую пагинацию, дубли (привет Joomla) и статьи.
У каждого сайта есть краулинговый бюджет - сколько ссылок в день может просканировать поисковик. Допустим у вас это 10 в день у Яндекса, т.к. сайт молодой, у Google намного больше (зависит не только от возраста, а от скорости ответа сервера, качества сайта и количества ежедневных публикаций).
Вы добавляете новые статьи - 20 штук, но структура такая, что на них нет ссылок с главной, а они в какой-то категории.
В итоге Яндексу может понадобится от одного дня до недели, чтобы просканировать их.
Для кого-то это может быть приемлемо, а кто-то захочет, чтобы они просканировались как можно быстрее.
Для этого можно:
- Добавить sitemap с корректными датами изменения страниц.
- Добавить анонсы статей на главную.
- Добавить отдачу Last-Modified и If-Modified-Since Http заголовков.
- Пинговать страницы статей при сохранении (В wp встроенная функция). Можно так-же вручную или через специальные сервисы пинговать RSS.
- Пинговать sitemap (Работает только в Google)
- Делать анонсы в соц.сетях Twitter или Google Plus, vk, facebook и т.д. где боты живут постоянно.
-
Т.е. вывод: для Google, если сайт небольшой - можно ничего не делать или добавить RSS как карту сайта, хотя он RSS и сам видит и сканирует (проверено). Для Яндекса - делать либо анонсы статей на главную, но для гарантированной более быстрой индексации стоит добавить sitemap. Только повторю, что дата изменения страницы обязательна, иначе бестолку такой sitemap.
Яндекс вебмастер ругается на отсутствие sitemap, но он не считает это критической ошибкой. На ранжирование у него влияют критические ошибки.

Из достойных альтернатив остался OSMap. Но вопрос - так ли необходима карта сайта?

А как же JSitemap PRO? - это ведь лучший в этом направлении.

Нужна ли карта? - на двадцать страниц можно без неё или прописать их в ручную, чтоб панель вебмастера успокоить от предупреждений.
А вот если идёт постоянное добавление контента, стоит доска объяв, форум и т.п., то без карты ни как.

Есть ли эффективность от карты? - ДА! и ещё какая.
не зря в сёрч-консоли и вебмастере этому отведены отдельные пункты.

Пункты там отведены, потому, что карта сайта важна самим поисковикам - она помогает им быстрее получать актуальные изменения у сайтов и экономить ресурсы сканирующих ботов.

Я думаю, вопрос ни о чём. Мы не знаем правил игры поисковиков, но если они "просють", то почему бы не дать? Да, они ходят по ссылкам внутри сайта и себе "на уме", но и читают карту. Так что, пока я думаю, нужна.

Ну почему, при желании вы можете много узнать о правилах игры, наблюдая в логах как часто к вам заходит поисковый бот и что он сканирует. При этом добавлять или убирать sitemap или делать другие изменения.
В Google вебмастер даже отдельный раздел есть - сколько страниц в день просканировал робот, сколько байт скачал и какой у сайта ответ сервера. Добавьте sitemap - увидите, что он активизируется и многие страницы переобойдёт, нарепостите в соц.сети - увидите, что он активизируется, снизьте ответ сервера - увидите, что он в день станет больше сканировать, поднимите ответ сервера до 1500мс и увидите, что он начнёт заходить значительно реже.
Правил вы можете узнать достаточно много.

А как же JSitemap PRO? - это ведь лучший в этом направлении.

Я не трогаю платные расширения. Полагаю, что те, кто их покупает за 50 евро, знают, что делают и у них не стоит вопрос в том, нужно оно им или нет.

https://www.xml-sitemaps.com/ Бесплатно до 500 страниц.

Сергей, нужна карта сайта вообще на сайте или вопрос про компонент, который будет генерировать? Если как расширение, то в большинстве случаев излишне, сгенерировать карту сайта не проблема.

Сергей, нужна карта сайта вообще на сайте или вопрос про компонент, который будет генерировать?

Речь о необходимости наличия карты на сайте, как то предлагают поисковики. Собственно, ответ дан исчерпывающий.

так и не понял: нужна карта или не кретично, - можно забить на неё?

так и не понял: нужна карта или не кретично, - можно забить на неё?

Поставьте это и не парьтесь.

да я вообще забил на эту карту сайта и не парюсь.

Если ключевые страницы сайта доступы из меню (которое видно на сайте) - нафиг карта сайта не нужна, древнее дерьмо мамонта это.

XML отдать с роботса и в панелях вебмастера и хватит.

Ну карта сайта очень полезная штука... я могу сказать, что она очень сильно улучшает индексацию сайта. Без карты сайта новые старницы в поисковик могут попадать неделями. С картой почти моментально, так как поисковики судя по логам чекают главную и карту сайта... если у вас на главной ничего не обновляется, то ваши новые страницы могут попадать в индекс очень долго.

Можно и без карты обойтись, если страниц не много новых. Можно в Яндекс и Google, Bing, в ручную добавить. У Яндекс текст добавить в уникальные тексты. Новые страницы всегда ручками добавляю у Яндекс и Google, Bing. В Google обязательно, у него нет уникального текста добавить. Ну и карты тоже стоят (где компаненты, где ручками делал), хуже не будет.

...всегда ручками добавляю у Яндекс и Google, Bing.

Ну кто то ездит на машине, а кто то выкидывает двигатель, ставит педали и крутит, крутит... Здоровый образ жизни... 
А на что Bing влиет? Это что, поисковик какой то, от которого зависит что то?

Google умеет RSS использовать как Sitemap. Если страниц немного, то этого достаточно. За Яндекс точно не знаю.

Кому принципиально нужен Sitemap и сайт приносит деньги (например интернет-магазин) - есть платный JSitemap PRO

Ну кто то ездит на машине, а кто то выкидывает двигатель, ставит педали и крутит, крутит... Здоровый образ жизни... 
А на что Bing влиет? Это что, поисковик какой то, от которого зависит что то?

Если пять страниц добавить раз в месяц, большого труда не составит, если 200 каждый день. То ручками в лом будет. Смотря какие цели.

Средства веб-мастера поисковой системы Bing.
Корпорация Майкрософт (Microsoft) всерьез занялась своей поисковой системой, ранее известной как MSN Search. В сети достаточно мануалов по продвижению сайтов в Яндекс или Google, а вот про Bing почему-то забыли. Вероятно этот поисковик не так популярен в России и странах СНГ.

Добавить хуже не будет думаю.Делов то

Google умеет RSS использовать как Sitemap. Если страниц немного, то этого достаточно. За Яндекс точно не знаю.

Кому принципиально нужен Sitemap и сайт приносит деньги (например интернет-магазин) - есть платный JSitemap PRO

Или бесплатный JL Sitemap  :-)

А добавлять ручками то еще удовольствие :-)