0 Пользователей и 1 Гость просматривают эту тему.
  • 445 Ответов
  • 192510 Просмотров
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Оцените пожалуйста, всё окей ли?

Google, насколько я помню, не примет крту такого формата "http://сайт.ру/index.php?option=com_xmap&view=xml&tmpl=component&id=1"  (или Яндекс, не помню уже).
Надо будет прописывать в .htaccess  Rewrite.
В общем, когда попробуете добавить в панели вебмастеров, тогда будет видно.
*

PavelK

  • Захожу иногда
  • 97
  • 1 / 0
В валидаторе вебмастера Яндекс проверял карту, никаких проблем он не выдал, может не съесть её? Вроде всё ок. А Google я её даже не предлагаю.
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
В валидаторе вебмастера Яндекс проверял карту, никаких проблем он не выдал, может не съесть её? Вроде всё ок. А Google я её даже не предлагаю.
у меня тоже стоит хмар, помню что когда добавлял в один из поисковиков (видать все-таки Google) он отказался ее принимать. Если Яндекс принял ее молча - значит и в дальнейшем будет все нормально.
Другое дело, что у Вас хоть и открыта карта сайта но Disallow: /*?  ее вроде как и закрывает, так как в адресе карты есть знак "?". Возникает некое противоречие. Удалять строчку Disallow: /*? НЕЛЬЗЯ, потому что сразу вылезет до сотни технических страниц в индекс.

Остается ждать. Если Яндекс не сможет использовать карту сайта, он об этом обязательно Вам сообщит.
*

PavelK

  • Захожу иногда
  • 97
  • 1 / 0
А при Dissalow /*? ;
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1 не открывает для яндекса карту?
И вообще как-то странно Яндекс ведёт себя, убрал Dissalow /images, но он всё равно находит 17 непроиндексированных файлов как раз из этой дирректории, да и вбивание в роботс Dissalow /*? не помогло, и он плюется на 200 страниц с вопросительным знаком.
Wtf?
*

voland

  • Легенда
  • 11031
  • 587 / 112
  • Эта строка съедает место на вашем мониторе
*

PavelK

  • Захожу иногда
  • 97
  • 1 / 0
Видимо я неправильно понял саму суть робота яндекса. В отчёте написано (для 100+ страниц) - не поддерживается роботом. Все они с ?. Я полагал, что при Dissalow/*? робот не будет ругаться на это, а просто не будет выводить сию строку на экран. Но почему при отсутствии Dissalow /images, робот их не обнаруживает? То есть при анализе вебмастером, написано что "документ запрещён в роботс.ткст, но ведь этого параметра там нет? А при вбивании ссылки типа /images/... всё определяется нормально яндексом. Это имел ввиду, вы видимо не так поняли. Либо я просто выразить мысли не могу правильно.
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Видимо я неправильно понял саму суть робота яндекса.
С картой сайта для Яндекса все ок.
Яндекс ранее загрузил весь сайт и теперь просто пишет что страницы с ? - запрещены в роботсе. Это норм.
Что бы понять что с картинками надо смотреть где они находятся, дайте пример ссылки на картинку (только не с Кэша).
*

Plazmodina

  • Захожу иногда
  • 228
  • 7 / 2
Я делаю сайт с нуля, и сайт не виден ПС, так как я запретил посещение сайта кроме меня с помощью robots.txt и htaccess. Такой вопрос, вот я избавился от всех дублей с помощью редиректа 301 и плагина shnodoubles - дублей на сайте вообще нет и это хорошо (я проверял, ну вставлял - /index.php, /home и так далее...). А нужно ли в этом случае в файле robots.txt прописывать запрет дублей?
Disallow: /index.php
Disallow: /и так далее
..............................
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
А нужно ли в этом случае в файле robots.txt прописывать запрет дублей?
Disallow: /index.php
Disallow: /и так далее
..............................
Так как никто не ответил - отвечает любитель:)
Запрет дублей, даже при их отсутствии никак не помешает Вашему сайту. Зато, если вдруг, на Вашем сайте будут создаваться новые странички, а тем более если сайт динамический, то запреты в роботс подстрахуют от попадания вероятных дублей в индекс. За всем ведь можно не уследить.
*

konservator

  • Захожу иногда
  • 64
  • 14 / 1
Подскажите, пожалуйста, как сделать, чтобы фотографии из DatsoGallery попали в индекс поисковиков.

Вот ссылка на примерное фото http://www.yurevets37.ru/index.php?option=com_datsogallery&view=sbox&catid=42&id=221&format=raw  запрещен правилом /*?* запрещен правилом /*format=*

В итоге много правил запрещает индексировать фотографии. Если убрать правила, то в итоге в индекс пролетит весь мусор с сайта. Может есть решение?

Спойлер
[свернуть]
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Подскажите, пожалуйста, как сделать, чтобы фотографии из DatsoGallery попали в индекс поисковиков.

Самый логический метод - это сделать ЧПУ  галереи.
1. В версии 1.15 (как пишут) добавлена опция SEF Advanced. Не знаю какая у Вас версия.
2. Есть плагин Artio JoomSEF 2.2.6 Видел рецепт:
recomendovano.ru/ArtioJoomsef_com_ponygallery_V_1_1.zip
в файлах меняете ponygallery на DatsoGallery. сами файлы тоже переименовываешь на DatsoGallery. кидаете эти 2 файла в \components\com_sef\sef_ext\

3. Немного эта тема обсуждалась http://joomlaforum.ru/index.php/topic,246971.0.html Может AceSEF подойдет Вам.
В любом случае необходимо искать плагин ЧПУ или менять версию галереи под рабочие плагины

*

konservator

  • Захожу иногда
  • 64
  • 14 / 1
Dorotar, буду пробовать ваши советы. Версия моя последняя 1.24 к сожалению ссылка recomendovano.ru/ArtioJoomsef_com_ponygallery_V_1_1.zip не открывается..
*

attiny

  • Осваиваюсь на форуме
  • 39
  • 2 / 0
Жил был сайт на Joomla 1.0.x,  оброс естественными ссылками типа http://site.ru/content/*/*/
Переехал я на Joomla 2.5. Страниц было не много, да и контент так себе, и я решил начать все с нуля.
Поскольку вся структура ссылок рухнула, я прописал в .htaccess:

RewriteRule ^content(.*)$ / [L,R=301] # Перенаправление на главную страницу.

Захожу по любому адресу типа  http://site.ru/content/view/*/*/ и все редиректится на главную страницу.
Все работает.

Вопрос: Нужно ли в robots.txt прописать:
Disallow: /content/
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
*

Plazmodina

  • Захожу иногда
  • 228
  • 7 / 2
Мой robots.txt такой (для всех поисковых систем):

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Host: мой сайт (без www)

Sitemap: http://мой сайт/index.php?option=com_xmap&view=xml&id=1

Сайту две недели, то есть домен купил две недели назад. Меньше чем за 24 часа, после покупки домена, сайт попал в поиск Яндекса и Google. Дублей вообще нет, зеркало строго без www определяет. А главное то, что когда я добавляю материал на сайт, то сразу же через минуту он попадает в поиск Google каждый раз после добавления материала со всеми микроразметками (хлебные крошки и авторские права). Вот как надо работать!
*

attiny

  • Осваиваюсь на форуме
  • 39
  • 2 / 0
Сайту две недели, то есть домен купил две недели назад. Меньше чем за 24 часа, после покупки домена, сайт попал в поиск Яндекса и Google. Дублей вообще нет, зеркало строго без www определяет. А главное то, что когда я добавляю материал на сайт, то сразу же через минуту он попадает в поиск Google каждый раз после добавления материала со всеми микроразметками (хлебные крошки и авторские права). Вот как надо работать!

Дайте мне адрес Вашего сайта. Я поставлю парочку изысканно-кривых ссылок и Вы узнаете что такое дубли и сколько их может быть в Joomla.
Ваш robots этому только поспособствует.  ;D
*

Plazmodina

  • Захожу иногда
  • 228
  • 7 / 2
Дайте мне адрес Вашего сайта. Я поставлю парочку изысканно-кривых ссылок и Вы узнаете что такое дубли и сколько их может быть в Joomla.
Ваш robots этому только поспособствует.  ;D

У меня нет изысканно-кривых ссылок! Действительно нет! Я проверял с помощью программы. Все возможные дубли я закрыл в htaccess
*

attiny

  • Осваиваюсь на форуме
  • 39
  • 2 / 0
Поделитесь, пожалуйста, названием программы.
*

Plazmodina

  • Захожу иногда
  • 228
  • 7 / 2
Поделитесь, пожалуйста, названием программы.

Программа Xenu’s Link Sleuth - программа для проведения технического анализа сайта
*

attiny

  • Осваиваюсь на форуме
  • 39
  • 2 / 0
Есть такая структура:
http://site.ru/1/search.html
http://site.ru/2/search.html
http://site.ru/3/search.html
http://site.ru/4/search.html

Я хочу запретить индексировать страницы search.html
Нужно прописать в robots:
Disallow: /*/search.html
Или может лучше так:
Disallow: /search

Как правильно?
« Последнее редактирование: 01.08.2013, 01:23:37 от attiny »
*

Elektra

  • Захожу иногда
  • 69
  • 0 / 0
Почему то компонент Xmap добавил картинки в карту, с чем это связано? Яндекс и Google ругаются на недопустимые теги
*

mamont

  • Новичок
  • 9
  • 0 / 0
Всем привет. Возникла проблема с добавлением карты сайта в Google. Упорно выдает ошибку: "URL, запрещенный файлом robots.txt".
Сам файл robots содержит:
Спойлер
[свернуть]
Домен естественно стоит какой надо. Яндекс съедает карту без вопросов и ошибок, а Google не хочет и все тут. В чем может быть проблема? Заранее спасибо.
*

borro

  • Завсегдатай
  • 1379
  • 22 / 0
  • желаю вам счастья
Есть такая структура:
http://site.ru/1/search.html
http://site.ru/2/search.html
http://site.ru/3/search.html
http://site.ru/4/search.html

Я хочу запретить индексировать страницы search.html
Нужно прописать в robots:
Disallow: /*/search.html
Или может лучше так:
Disallow: /search

Как правильно?
первый вариант правильнее. можно так
Код
Disallow: /*search.html$
второй вариант обрежет и url в которых в каком-либо месте есть search в принципе
*

Elektra

  • Захожу иногда
  • 69
  • 0 / 0
Вот такой robots.txt
User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /component/         
Disallow: /*?*
Disallow: /?*   
Disallow: /home.html   
Disallow: /index.php/* 
Disallow: /index2.php   
Disallow: /*&
Не стали индексироваться теги. Почему?
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Вот такой robots.txt
Не стали индексироваться теги. Почему?
Честно говоря, не очень то уже и помню, но если теги написаны кириллическими символами (обычно да) то закрытие символа "?" в роботсе закрывает и все ссылки с кириллическими символами. Но, я могу ошибаться.
*

Plazmodina

  • Захожу иногда
  • 228
  • 7 / 2
И вот прошло ровно два месяца после создания сайта на Joomla. Вчера был первый тИЦ за эти два месяца. Вы не поверите, но у моего 2-ух месячного сайта 20 тИЦ. Нет дублей! Ну просто дублей вообще нет! Роботс тхт настроен как я описывал ниже. И Яндекс и Google очень любит мой сайт - боты приходят через несколько секунд после добавления материала. Некоторые фразы вышли в ТОП 10. Думаю Joomla - это самый лучший движок, который оптимизирован не только под поисковые системы, но и под другие проекты. Поэтому юзайте Joomla.
*

borro

  • Завсегдатай
  • 1379
  • 22 / 0
  • желаю вам счастья
И вот прошло ровно два месяца после создания сайта на Joomla. Вчера был первый тИЦ за эти два месяца. Вы не поверите, но у моего 2-ух месячного сайта 20 тИЦ. Нет дублей! Ну просто дублей вообще нет! Роботс тхт настроен как я описывал ниже. И Яндекс и Google очень любит мой сайт - боты приходят через несколько секунд после добавления материала. Некоторые фразы вышли в ТОП 10. Думаю Joomla - это самый лучший движок, который оптимизирован не только под поисковые системы, но и под другие проекты. Поэтому юзайте Joomla.
т.е. тИЦ только за уникальность сайту присвоили?
*

Plazmodina

  • Захожу иногда
  • 228
  • 7 / 2
т.е. тИЦ только за уникальность сайту присвоили?
тИЦ - это тот показатель, который зависит от уникальности сайта. Многие поднимают тИЦ, влаживают деньги, и тИЦ не поднимается, с начала нужно навести порядок на сайте, сделать его уникальным и тИЦ поднимиться. То же самое и с пейджранком. А тИЦ я поднял тем способом про которые все говорят, что он уже давно не работает. Догадайтесь сами.
*

maxip

  • Новичок
  • 3
  • 0 / 0
Доброго дня
Окажите помощь пожалуйста:
сайт http://suvenirplast.ru хотел открыть для поиска только главное меню(левый верхний угол)+все категории из каталога(zoo)
В выдаче яндекса 56 страниц: http://yandex.ru/yandsearch?p=5&clid=9582&text=suvenirplast&lr=213(приндексировал нужные страницы+mailto+весь итем из каталога)
В выдаче Google https://www.google.com/#psj=1&q=suvenirplast.ru&start=0 (нужные + мои залетные+ каким то боком календарь событий)
Вот sitemap.
Спойлер
[свернуть]

и робот
Спойлер
[свернуть]

Помогите разобраться
*

dabrowski

  • Осваиваюсь на форуме
  • 42
  • 2 / 0
Суть:
Google выводит 286 предупреждений о том, что Доступ к URL заблокирован в файле robots.txt.
Я проверил приведенные примеры страниц в разделе "Заблокированные URL" и уже там Google считает, что все в порядке и к страницам доступ есть.
Яндекс не ругается и медленно, но верно индексирует все правильно.

Есть 2 теории:
1. Google медлителен в отношении моего сайта и нужно подождать еще пару обновлений.
            Эта проблема держится уже больше 2х недель. Количество проиндексированных страниц увеличивается, но количество "предупреждений" не уменьшается.

2. Это интернет-магазин на JoomShopping. Для создания ссылок используется специальный плагин для JoomShopping. Есть мнение, что директива "disallow: /components/" и есть причина этой ситуации.
В то же время, страницы с отдельными товарами индексируются нормально как Google, так и Яндекс.

Как быть?
Спасибо заранее.

Мой robots.txt
Код
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*

Host: asb-tehno.ru
Sitemap: http://asb-tehno.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=6

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /cart*

Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 184
Последний ответ 25.07.2021, 21:38:12
от web1
Как сделать правильный редирект

Автор gadjet

Ответов: 23
Просмотров: 10686
Последний ответ 17.01.2021, 18:00:11
от Vasiliy111
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 309
Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 363
Последний ответ 10.07.2020, 13:12:46
от HolySong
Google Search Console, sitemap.xml и robots.txt

Автор Игарь

Ответов: 7
Просмотров: 554
Последний ответ 20.05.2020, 23:36:20
от Kostelano