А нужен ли sitemap?

  • 16 Ответов
  • 330 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

SeBun

  • Практически профи
  • *******
  • 3076
  • 186
  • @SeBun48
А нужен ли sitemap?
« : 01.06.2017, 14:31:15 »
Поднялась очередная тема о гибели всеми любимого Xmap, и даже форк MapX помер. Из достойных альтернатив остался OSMap. Но вопрос - так ли необходима карта сайта?

Известно, что боты поисковиков индексируют именно ссылки. Карта сайта может помочь обнаружить страницы, на которые нет нигде ссылок, оптимизировать алгоритмы краулинга, в остальном же индексируется контент сайта в зависимости от внутренней перелинковки.

На официальных страницах Яндекса и Google о необходимости этого файла говорится довольно размыто. Может помочь...но не факт.

Цитировать
Файлы Sitemap учитываются при обходе сайта, однако мы не гарантируем, что все URL из вашего файла Sitemap будут добавлены в поисковый индекс Яндекса.

Цитировать
Google не гарантирует, что мы будем сканировать или индексировать все ваши URL.

Ну и в довесок:

Цитировать
Даже если вы создали файл Sitemap, это не гарантирует, что Google будет сканировать и индексировать все ваши страницы, так как эти процедуры выполняются при помощи сложных алгоритмов. В большинстве случаев эти файлы приносят пользу и не приводят к ошибкам.

Что то такое было и у Яндекса, сейчас не нашел.

Собственно вопрос: так ли необходима карта для сайтов на движке Joomla? Каково ваше мнение?
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Администрирование | Разработка
Ник занят

*

ProtectYourSite

  • Живу я здесь
  • ******
  • 849
  • 48
Re: А нужен ли sitemap?
« Ответ #1 : 01.06.2017, 16:08:41 »
1) вебмастер будет выдавать ошибку, если карты сайта не будет
2) карта сайта нужна для молодого сайта или резкой переиндексации большого количества страниц - там тоже есть свои ограничения на количество ссылок в сутки
3) во всех остальных случаях карта сайта больше для того, чтобы помочь найти ссылки, которые поисковик сам не смог найти (хотя это уже  вопрос плохой перелинковки)

*

SeBun

  • Практически профи
  • *******
  • 3076
  • 186
  • @SeBun48
Re: А нужен ли sitemap?
« Ответ #2 : 01.06.2017, 16:13:18 »
Саша, я не о том, для чего он нужен. Я о том, нужен ли он вообще для среднестатистического сайта. Упор своего суждения сделал на то, что обе поисковые машины делают ставку на ссылки, а не карту сайта, хотя иногда и ее учитывают.
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Администрирование | Разработка
Ник занят

*

darkghost

  • Практически профи
  • *******
  • 2100
  • 94
Re: А нужен ли sitemap?
« Ответ #3 : 01.06.2017, 16:27:46 »
где-то встречал аналогичную тему, так там промелькнуло такое, что для не больших сайтов (к примеру, сайт-визитка до 10-ти страниц) карта сайта не нужна. Якобы поисковые роботы проиндексируют и без ее.
Так ли это или нет - думаю на этот вопрос может ответить тот, кто занимается продвижением - СЕОшник

*

MosTender

  • Осваиваюсь на форуме
  • ***
  • 118
  • -4
Re: А нужен ли sitemap?
« Ответ #4 : 01.06.2017, 16:31:04 »
1) вебмастер будет выдавать ошибку, если карты сайта не будет
2) карта сайта нужна для молодого сайта или резкой переиндексации большого количества страниц - там тоже есть свои ограничения на количество ссылок в сутки
3) во всех остальных случаях карта сайта больше для того, чтобы помочь найти ссылки, которые поисковик сам не смог найти (хотя это уже  вопрос плохой перелинковки)


Согласен, если карты сайта нет, вебмастера ругаются, значит может она все же нужна?

*

capricorn

  • Практически профи
  • *******
  • 1634
  • 106
Re: А нужен ли sitemap?
« Ответ #5 : 01.06.2017, 16:43:50 »
Яндекс сканирует не только sitemap, а все что есть на сайте. Т.е. он и без него проиндексирует. Я как-то задавал пару лет назад вопрос им насчет того, найдет ли он то, чего нет в sitemap (у меня не все попадало в него). Вот их ответ.

Цитировать
Помимо файла sitemap робот заносит в базу все ссылки, находящиеся непосредственно на сайте или на любых других сайтах, которые находятся в открытом доступе.

Наверное, sitemap облегчает сканирование, и для крупных сайтов все-таки нужен.

*

voland

  • Профи
  • ********
  • 9365
  • 421
  • СКАЙП утерян! Пишите в телеграм @volandku
Re: А нужен ли sitemap?
« Ответ #6 : 01.06.2017, 17:11:43 »
Компонент карты сайта в 95% не нужен.
Саму карту надежнее сделать сервисами или десктопными краулерами.

Есть конечно случаи, когда часто и много контента добавляется - тогда может и нужен, но это те оставшиеся 5%

*

AlekVolsk

  • Профи
  • ********
  • 6301
  • 336
Re: А нужен ли sitemap?
« Ответ #7 : 01.06.2017, 17:39:24 »
вопрос о необходимости карты сайты был задан на 5й веб-мастерской яндекса осенью 2016, ответ яндекса: карта необязательна, но рекомендуема, страницы, указанные в карте, имеют технический приоритет при обходе сайта поисковым роботом

*

ChaosHead

  • Профи
  • ********
  • 4667
  • 396
Re: А нужен ли sitemap?
« Ответ #8 : 01.06.2017, 17:39:42 »
Рассказываю, как я понимаю для чего он нужен:
Допустим у вашего сайта 200 страниц. Включая всякую пагинацию, дубли (привет Joomla) и статьи.
У каждого сайта есть краулинговый бюджет - сколько ссылок в день может просканировать поисковик. Допустим у вас это 10 в день у Яндекса, т.к. сайт молодой, у Google намного больше (зависит не только от возраста, а от скорости ответа сервера, качества сайта и количества ежедневных публикаций).
Вы добавляете новые статьи - 20 штук, но структура такая, что на них нет ссылок с главной, а они в какой-то категории.
В итоге Яндексу может понадобится от одного дня до недели, чтобы просканировать их.
Для кого-то это может быть приемлемо, а кто-то захочет, чтобы они просканировались как можно быстрее.
Для этого можно:
- Добавить sitemap с корректными датами изменения страниц.
- Добавить анонсы статей на главную.
- Добавить отдачу Last-Modified и If-Modified-Since Http заголовков.
- Пинговать страницы статей при сохранении (В wp встроенная функция). Можно так-же вручную или через специальные сервисы пинговать RSS.
- Пинговать sitemap (Работает только в Google)
- Делать анонсы в соц.сетях Twitter или Google Plus, vk, facebook и т.д. где боты живут постоянно.
-
Т.е. вывод: для Google, если сайт небольшой - можно ничего не делать или добавить RSS как карту сайта, хотя он RSS и сам видит и сканирует (проверено). Для Яндекса - делать либо анонсы статей на главную, но для гарантированной более быстрой индексации стоит добавить sitemap. Только повторю, что дата изменения страницы обязательна, иначе бестолку такой sitemap.
Яндекс вебмастер ругается на отсутствие sitemap, но он не считает это критической ошибкой. На ранжирование у него влияют критические ошибки.
« Последнее редактирование: 01.06.2017, 17:58:51 от ChaosHead »

*

djumfan

  • Осваиваюсь на форуме
  • ***
  • 115
  • 9
  • ненавижу кошек - особенно на аватарах!!!
Re: А нужен ли sitemap?
« Ответ #9 : 01.06.2017, 17:54:47 »
Из достойных альтернатив остался OSMap. Но вопрос - так ли необходима карта сайта?
А как же JSitemap PRO? - это ведь лучший в этом направлении.

Нужна ли карта? - на двадцать страниц можно без неё или прописать их в ручную, чтоб панель вебмастера успокоить от предупреждений.
А вот если идёт постоянное добавление контента, стоит доска объяв, форум и т.п., то без карты ни как.

Есть ли эффективность от карты? - ДА! и ещё какая.
не зря в сёрч-консоли и вебмастере этому отведены отдельные пункты.

*

ChaosHead

  • Профи
  • ********
  • 4667
  • 396
Re: А нужен ли sitemap?
« Ответ #10 : 01.06.2017, 18:10:17 »
Пункты там отведены, потому, что карта сайта важна самим поисковикам - она помогает им быстрее получать актуальные изменения у сайтов и экономить ресурсы сканирующих ботов.

*

arma

  • Живу я здесь
  • ******
  • 1318
  • 63
Re: А нужен ли sitemap?
« Ответ #11 : 01.06.2017, 18:19:59 »
Я думаю, вопрос ни о чём. Мы не знаем правил игры поисковиков, но если они "просють", то почему бы не дать? Да, они ходят по ссылкам внутри сайта и себе "на уме", но и читают карту. Так что, пока я думаю, нужна.

*

ChaosHead

  • Профи
  • ********
  • 4667
  • 396
Re: А нужен ли sitemap?
« Ответ #12 : 01.06.2017, 18:28:31 »
Ну почему, при желании вы можете много узнать о правилах игры, наблюдая в логах как часто к вам заходит поисковый бот и что он сканирует. При этом добавлять или убирать sitemap или делать другие изменения.
В Google вебмастер даже отдельный раздел есть - сколько страниц в день просканировал робот, сколько байт скачал и какой у сайта ответ сервера. Добавьте sitemap - увидите, что он активизируется и многие страницы переобойдёт, нарепостите в соц.сети - увидите, что он активизируется, снизьте ответ сервера - увидите, что он в день станет больше сканировать, поднимите ответ сервера до 1500мс и увидите, что он начнёт заходить значительно реже.
Правил вы можете узнать достаточно много.

*

SeBun

  • Практически профи
  • *******
  • 3076
  • 186
  • @SeBun48
Re: А нужен ли sitemap?
« Ответ #13 : 01.06.2017, 18:49:16 »
А как же JSitemap PRO? - это ведь лучший в этом направлении.
Я не трогаю платные расширения. Полагаю, что те, кто их покупает за 50 евро, знают, что делают и у них не стоит вопрос в том, нужно оно им или нет.
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Администрирование | Разработка
Ник занят

*

Apoca1ypto

  • Завсегдатай
  • *****
  • 712
  • 69
Re: А нужен ли sitemap?
« Ответ #14 : 01.06.2017, 19:18:09 »
https://www.xml-sitemaps.com/ Бесплатно до 500 страниц.
Во время спора в Интернете Ваш оппонент приводит неопровержимые доказательства своей точки зрения? Не отчаивайтесь. До...тесь до орфографии.

*

ProtectYourSite

  • Живу я здесь
  • ******
  • 849
  • 48
Re: А нужен ли sitemap?
« Ответ #15 : 01.06.2017, 19:43:02 »
Сергей, нужна карта сайта вообще на сайте или вопрос про компонент, который будет генерировать? Если как расширение, то в большинстве случаев излишне, сгенерировать карту сайта не проблема.

*

SeBun

  • Практически профи
  • *******
  • 3076
  • 186
  • @SeBun48
Re: А нужен ли sitemap?
« Ответ #16 : 01.06.2017, 22:29:22 »
Сергей, нужна карта сайта вообще на сайте или вопрос про компонент, который будет генерировать?
Речь о необходимости наличия карты на сайте, как то предлагают поисковики. Собственно, ответ дан исчерпывающий.
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Администрирование | Разработка
Ник занят