JSiteMaper - генератор sitemap.xml файла для Вашего сайта - Карта сайта

Компонент JSiteMaper позволяет создать файл формата SiteMap для вашего сайта, работающего на основе CMS Joomla.

Отличительной особенностью данного компонента является, то что он никак не привязан к меню и определенным компонентам Joomla (он не требует никаких дополнительных плагинов, надстроек и т.п.). Компонент JSiteMaper при индексировании страниц сайта эмулирует работу поискового робота, который обходит все существующие страницы Вашего сайта. После успешного индексирования JSiteMaper создает файл sitemap.xml в корневой директории Вашего сайта, а также добавляет директиву подключения sitemap-файла в файл robots.txt.



Немаловажной особенностью компонента JSiteMaper является возможность задания шаблонов исключения ссылок, которые не попадут в файл sitemap.xml. По умолчанию в компоненте исключаются стандартные ссылки Joomla: печатная версия, отправить по E-mail'у и ссылки на PDF-версии страниц. Кроме того в процессе индексации сайта компонентом JSiteMaper пользователь может настраивать скорость индексации, тем самым контролируя нагрузку на свой веб-сервер.

Стоимость компонента: 99 рублей
Более подробная информация о компоненте JSiteMaper: http://joomlasoft.ru/extensions/21-com-jsitemaper
Демонстрация: http://joomlasoft.ru/?go=demo.joomlasoft.ru%2Fadministrator%3Fdemo%3Dcom_jsitemaper (логин: demo, пароль: demo)

Купил, карту создал нормально, впихнул её яндексу, вроде норм.
Только вот как мне её сделать, чтобы она была доступна для просмотра через сайт?!

Только вот как мне её сделать, чтобы она была доступна для просмотра через сайт?!

кто XML-карта? а зачем на SiteMap-карта нужна для просмотра на сайте? Надеюсь Вы понимаете что компонент JSiteMaper предназначен именно для генерации XML-файла а не "карты сайта" в виде ссылок на странице!
Ссылка на SiteMap-файл у вас доступна на странице компонента после генерации.

Купил компонент. Отписал вам на почту о проблеме.

Добавляю шаблоны исключения но они не учитываются при проходе ботом и он сканирует все подряд, исключая только те, которые изначально были добавлены:

/component/mailto/
index.php?option=com_mailto&tmpl=component&

Посмотрел структуру.

Исключения дефолтные добавлены в базу jos_components, JSiteMaper, params . Мне конечно несложно сейчас напрямую прописать руками в базе но надо поправить.

А хорошо бы еще загружать сразу из файла роботс исключения.

Исправили выявленные вами недочеты. Можете обновить вашу версию компонента JSiteMaper - до более свежей JSiteMaper 1.1 (http://joomlasoft.ru/joomla-extension/seo/3-com-jsitemaper).
По поводу вашего предложения:

А хорошо бы еще загружать сразу из файла роботс исключения.

постараемся реализовать в ближайшее время

Большое спасибо за быстрое обновление.

Пересканировал, теперь все хорошо работает.

Если будете брать исключения из роботс то не забудьте, что там сейчас регулярки работают * и $. 

Купил. Поставил. Доволен, как удав.

Нюансы.

1. Не создается карта во фронте. См.http://joomlaforum.ru/index.php/topic,96354.0.html и делаем собственные выводы.

Личное мнение: У меня порядка 40.000 страниц (будет значительно больше - это музыкальный каталог). Прикажете их все во фронт? Можно конечно отобразить только основную структуру (Главное меню, еще что-то), но я и так максимально упростил навигацию, все понятно интуитивно без всяких карт.

Вывод: Во фронте карта не нужна.

2. Реально работает без всяких плагинов сторонних расширений. Все знают проблемы с плагинами для SEF Service Map и Xmap, т.ч. это ОГРОМНЫЙ плюс.

Кстати, возвращаясь к 1 пункту. У меня вышеупомянутые расширения на фронте не давали четкой структуры сайта, кое-что по причине отсутствия плагинов вообще в карту не попадало (соответственно к поисковикам).

3. Ложка дегтя. Работает медленно. Пробовал на разных режимах, все-равно около 5-10 сек на ссылку. Т.е. математика простая 40 тыс.*5 сек (в идеале)/3600= около 56 часов или более 2 суток непрерывного сканирования.

И это не страшно. Ничто не мешает создать карту и потихоньку обновлять ее не спеша. Но заметил косяк, скорее КОСЯЧИНу. Ставлю "Время жизни сессии" в конфиге 600 мин, запускаю компонент и иду спать. Просыпаюсь, опаньки всего-то 500 ссылок добавилось...

Выяснилось. Виснет он на каком-то пределе. Надо либо тупо обновить страницу, либо перезапустить компонент (Начинает с момента прерывания, данные не пропадают). В общем, сайт-то я отсканировал за неделю, а в будущем на заметку разработчикам.

1. Не создается карта во фронте.

на самом деле работаем над этим )) в скором будет версия включающая эту возможность! Реализовано будет все через меню Joomla - да бы упростить редактирование созданной карты сайта.

3. Ложка дегтя. Работает медленно. Пробовал на разных режимах, все-равно около 5-10 сек на ссылку.]3. Ложка дегтя. Работает медленно. Пробовал на разных режимах, все-равно около 5-10 сек на ссылку.

тут конечно же многое зависит от серверных возможностей, на данный момент компонент работает в режиме "AJAX-ping", т.е. по сути браузер является двигателем толкателем всего процесса. Уже дорабатываем этот момент, скоро появится более быстрая и настраиваемая версия компонента.

Все кто уже купил продукт просто обновятся до более новой версии!
Спасибо за Ваши замечания

enshtein еще сделайте пожалуйста пункт, чтобы писал в robots.txt по желанию, а не обязательным пунктом как сейчас.

а как дела с lastmod ?
и можно сделать так, чтобы sitemap.xml не лез вперед User-agent: *
я может излишне параною, но эстетически это картину портит

Меня интересует вопрос лицензии. Могу ли я купить данный компонент и ставить её на неограниченно кол-во сайтов?

Меня интересует вопрос лицензии. Могу ли я купить данный компонент и ставить её на неограниченно кол-во сайтов?

компонент распространяется без лицензии =)
купив компонент вы может делать с ним все что угодно, ставить на любые ваше сайты!

есть статистика как скоро и точно всё "съедают" Google и Yandex?
и второе, если обновление (сканирование) включается вручную, то при каждом новом материале придется его запускать?
и как будет происходить сканирование - как бы с нуля или только добавлять новые данные?
т.е. интересует вопрос времени - как тут писали "отсканировал за неделю,"

есть статистика как скоро и точно всё "съедают" Google и Yandex?

простите, а какое имеет это отношение к компоненту? то как быстро робот прочитает и воспримет ваш SiteMapXML файл - от метода его генерации не зависит, и от инструмента генерации в том числе.

и второе, если обновление (сканирование) включается вручную, то при каждом новом материале придется его запускать?

да запуск заново, сейчас ведется разработка многопоточной версии где будет возможность обновления

простите, а какое имеет это отношение к компоненту? то как быстро робот прочитает и воспримет ваш SiteMapXML файл - от метода его генерации не зависит, и от инструмента генерации в том числе.да запуск заново, сейчас ведется разработка многопоточной версии где будет возможность обновления

На сайте было обещано обновление компонента "к марту". Интересно к какому?

Компонент достойный, но на сайтах с большим количеством страниц, с частыми дополнениями (изменениями)  - НЕПРИГОДЕН. Ждать полмесяца, когда он отсканирует сайт?

В-общем, ждемс...

Уважаемый господа! Сообщаем Вам что работа над новой версией JSiteMaper почти закончена.
Мы полностью заново переписали весь компонент, сделали его многопоточным, появилось большое количество дополнительных настроек и опций. Новая версия компонента выйдет под названием JSiteMaperPro и будет доступна для покупки в ближайшие дни на сайте http://joomlasoft.ru.

Так как старая версия и новая практически полностью не совместимы, обновления старой версии JSiteMaper не будет!
Стоимость старой версии будет снижена до 59 рублей. Мы считаем что старая версия вполне оправдана и пригодна для небольших сайтов (не более 100-200 страниц).

Новый компонет JSiteMaperPro будет доступен для покупки по цене 199 рублей.

С уважением,
joomlasoft.ru

Так как старая версия и новая практически полностью не совместимы, обновления старой версии JSiteMaper не будет!
Стоимость старой версии будет снижена до 59 рублей. Мы считаем что старая версия вполне оправдана и пригодна для небольших сайтов (не более 100-200 страниц).

Новый компонет JSiteMaperPro будет доступен для покупки по цене 199 рублей.

С уважением,
joomlasoft.ru

Подход, конечно интересен.
Со своей стороны, вот моя точка зрения:

Для добросовестных покупателей версии 1.1. цена получится 199 + 99 = 298 рублей, ибо я лично старую версию использовать не буду, у меня крупный проект и там она просто не работает. Фактически происходит финансирование выпуска новой версии. И дело не в деньгах (они небольшие).
Логично было бы доплатить 100 рублей за апгрейд.

Подумайте над этим, Уважаемые господа!

Да разумеется Вы правы конечно! Забыл написать просто "Всем покупателям старой версии JSiteMaper 1.x 50% скидка на приобретение новой версии продукта JSiteMaperPro

При всем этом самое главное понимать что JSiteMaperPro - не развитие старого JSiteMaper в какую-то новую версию. Это абсолютно новый продукт, переписанный "с чистого листа" так сказать. Чуть позже перед самой продажей продукта я создам тут тему анонса JSiteMaperPro и вы сами все поймёте

Да разумеется Вы правы конечно! Забыл написать просто "Всем покупателям старой версии JSiteMaper 1.x 50% скидка на приобретение новой версии продукта JSiteMaperPro

Это же другое дело, ждемс.

Читал читал но так и не понял
1.Если компонент работает по принципу эмулирования поискового робота - то почему вы решили что поисковый робот не сможет также сам пройтись по ссылкам как и ваш компонент?.
2. Задача файла XML не в предоставлению поисковому роботу перечня ссылок (для этого есть sitemap.txt) а возможность задавать свойства для каждой ссылки . Т.е это частота, важность, интервал сканирования. Скажите, в вашем компонента есть эта возможность?
Потому как именно это полезно, когда нужна понизить траф от ботов для конкретный страниц.
3. За идею и реализацию +1. Но я все таки склоняюсь к функционалу который берет ссылки с БД а не ходит по внешним линкам.  Ведь основная задача sitemap -
это предоставление ссылок которые трудно просканировать.

1.Если компонент работает по принципу эмулирования поискового робота - то почему вы решили что поисковый робот не сможет также сам пройтись по ссылкам как и ваш компонент?.

- конечно может и постоянно это делает! Но этот Ваш вопрос можно спросить зачем же нужен вообще этот SiteMap - ведь все равно поисковый робот пройдется по сайту (просканирует)!

2. Задача файла XML не в предоставлению поисковому роботу перечня ссылок (для этого есть sitemap.txt) а возможность задавать свойства для каждой ссылки . Т.е это частота, важность, интервал сканирования. Скажите, в вашем компонента есть эта возможность?
Потому как именно это полезно, когда нужна понизить траф от ботов для конкретный страниц.

да как раз в новом компоненте JSiteMaperPro все это можно будет настроить!

3. За идею и реализацию +1. Но я все таки склоняюсь к функционалу который берет ссылки с БД а не ходит по внешним линкам.  Ведь основная задача sitemap -
это предоставление ссылок которые трудно просканировать.

а в БД Joomla хранятся все ссылки?
Новый JSiteMaperPro имеет встроенный алгоритм определения внешних ссылок - потому никакого лишнего трафика с сервера не будет, более того он включает в себя алгоритмы определения "мета-тегов страниц robots, тегов noindex и атрибутов ссылок nofollow", кроме того можно будет настроить шаблоны исключений для отделения нежелательных ссылок в формате регулярных выражений.

Потерпите чуть чуть и Вы все увидите
Я думаю новый компонент понравится многим и не разочарует своим функционалом и производительностью!

простите, а какое имеет это отношение к компоненту? то как быстро робот прочитает и воспримет ваш SiteMapXML файл - от метода его генерации не зависит, и от инструмента генерации в том числе.да запуск заново, сейчас ведется разработка многопоточной версии где будет возможность обновления

ок, спрошу по другому
скажем есть некий материал который нужно проиндексировать
но робот может его "игнорировать"
так вот насколько sitemap "быстро" поможет решить эту проблему - сразу после следующего "захода" робота или как получиться?

Приветствую!
Купил, установил, а она вот так и должна работать?



И кстати, у нее есть настройки?

Приветствую!
Купил, установил, а она вот так и должна работать?

http://i001.radikal.ru/1103/3b/565290dc6806.png

И кстати, у нее есть настройки?

Здравствуйте, напишите пожалуйста об этом в тех. поддержку Вам помогут.

Написал .

Продолжаю общаться с техподдержкой.
Ну судя по всему пара нюансов:).
Первый из них, у меня эта хрень не работает. Причина неизвестна - все работает, а эта не работает .
Вторая, заключается в том, что он ссылки на яве скрипт не обрабатывает, судя по ответу техподдержки, VirtueMart вообще тогда в сайтмап не попадет:). Чего то не увидел, что робот-имулянт, обхадящий все страницы моего сайта, не может обрабатывать некторые вещи. Эта кстати третья прога, две первых были похуже, но делать могли.
Продолжаю общаться дальше .

не беспокойтесь! решим Вашу проблему я думаю, разберемся и поможем
по поводу JavaScript ссылок, Вы оказались первым примером в этом вопросе.
JSiteMaper - не обрабатывает ссылки генерируемые c помощью JavaScript'ов!
В новой версии JSiteMaperPro мы реализуем функционал поиска ссылок на основе шаблонов, позволяющий избежать такого рода проблем и полностью проиндексировать сайт включая даже такие ссылки

Новый компонент JSiteMaperPro уже доступен для покупки.
Обсуждение нового компонента тут: http://joomlaforum.ru/index.php/topic,156231.msg845398.html#msg845398

не беспокойтесь! решим Вашу проблему я думаю, разберемся и поможем
по поводу JavaScript ссылок, Вы оказались первым примером в этом вопросе.
JSiteMaper - не обрабатывает ссылки генерируемые c помощью JavaScript'ов!
В новой версии JSiteMaperPro мы реализуем функционал поиска ссылок на основе шаблонов, позволяющий избежать такого рода проблем и полностью проиндексировать сайт включая даже такие ссылки

Вообще то, это первая программа, которая не смогла сгенерить ссылки из виртуемарта. И кстати, они у нас выведены сверху в дубляже, не через ява скрипт, и тоже не прошли. А та проблема которую я озвучил, вообще оказалась не решена. Так же, Ваше предложение, доплатить мне денег, за новую программу, которая не работает, вызвало дикое веселье.
Программа Ваша как и поддержка - чушь собачья. Но в любом случае 100 рублей не жалко - так как в процессе, всплыл нюанс, что при выключенном ява-скрипт, не выводится некоторые вещи - за это Вам спасибо!