Правильный robots.txt? [вопросы/обсуждение]

Dorotar

Захожу иногда
69
1 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #210 : 17.07.2013, 17:04:56 »

Цитата: PavelK от 16.07.2013, 20:58:21

Оцените пожалуйста, всё окей ли?

Google, насколько я помню, не примет крту такого формата "http://сайт.ру/index.php?option=com_xmap&view=xml&tmpl=component&id=1" (или Яндекс, не помню уже).
Надо будет прописывать в .htaccess Rewrite.
В общем, когда попробуете добавить в панели вебмастеров, тогда будет видно.

Записан

PavelK

Захожу иногда
101
1 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #211 : 18.07.2013, 11:58:15 »

В валидаторе вебмастера Яндекс проверял карту, никаких проблем он не выдал, может не съесть её? Вроде всё ок. А Google я её даже не предлагаю.

Записан

Dorotar

Захожу иногда
69
1 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #212 : 18.07.2013, 16:25:54 »

Цитата: PavelK от 18.07.2013, 11:58:15

В валидаторе вебмастера Яндекс проверял карту, никаких проблем он не выдал, может не съесть её? Вроде всё ок. А Google я её даже не предлагаю.

у меня тоже стоит хмар, помню что когда добавлял в один из поисковиков (видать все-таки Google) он отказался ее принимать. Если Яндекс принял ее молча - значит и в дальнейшем будет все нормально.
Другое дело, что у Вас хоть и открыта карта сайта но Disallow: /*? ее вроде как и закрывает, так как в адресе карты есть знак "?". Возникает некое противоречие. Удалять строчку Disallow: /*? НЕЛЬЗЯ, потому что сразу вылезет до сотни технических страниц в индекс.

Остается ждать. Если Яндекс не сможет использовать карту сайта, он об этом обязательно Вам сообщит.

Записан

PavelK

Захожу иногда
101
1 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #213 : 18.07.2013, 22:46:31 »

А при Dissalow /*? ;
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1 не открывает для яндекса карту?
И вообще как-то странно Яндекс ведёт себя, убрал Dissalow /images, но он всё равно находит 17 непроиндексированных файлов как раз из этой дирректории, да и вбивание в роботс Dissalow /*? не помогло, и он плюется на 200 страниц с вопросительным знаком.
Wtf?

Записан

voland

Легенда
11026
588 / 112
Эта строка съедает место на вашем мониторе

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #214 : 18.07.2013, 22:50:21 »

Цитата: PavelK от 18.07.2013, 22:46:31

А при Dissalow /*? ;

Wtf?

Disallow

Записан

Почему не стоит регистрировать домены у хостера!! | Рекомендую хостеров:
ihc.ru — код K4AZQGKQOJ дает скидку 10%, | timeweb
Удалю вирусы, закрою уязвимости + доработки,SEO и оферта | Патчи 1.5\2.5, <3.4.6 УЯЗВИМЫ! | Поблагодарить

PavelK

Захожу иногда
101
1 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #215 : 19.07.2013, 00:48:27 »

Видимо я неправильно понял саму суть робота яндекса. В отчёте написано (для 100+ страниц) - не поддерживается роботом. Все они с ?. Я полагал, что при Dissalow/*? робот не будет ругаться на это, а просто не будет выводить сию строку на экран. Но почему при отсутствии Dissalow /images, робот их не обнаруживает? То есть при анализе вебмастером, написано что "документ запрещён в роботс.ткст, но ведь этого параметра там нет? А при вбивании ссылки типа /images/... всё определяется нормально яндексом. Это имел ввиду, вы видимо не так поняли. Либо я просто выразить мысли не могу правильно.

Записан

Dorotar

Захожу иногда
69
1 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #216 : 19.07.2013, 09:32:58 »

Цитата: PavelK от 19.07.2013, 00:48:27

Видимо я неправильно понял саму суть робота яндекса.

С картой сайта для Яндекса все ок.
Яндекс ранее загрузил весь сайт и теперь просто пишет что страницы с ? - запрещены в роботсе. Это норм.
Что бы понять что с картинками надо смотреть где они находятся, дайте пример ссылки на картинку (только не с Кэша).

Записан

Plazmodina

Захожу иногда
228
7 / 2

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #217 : 20.07.2013, 13:26:26 »

Я делаю сайт с нуля, и сайт не виден ПС, так как я запретил посещение сайта кроме меня с помощью robots.txt и htaccess. Такой вопрос, вот я избавился от всех дублей с помощью редиректа 301 и плагина shnodoubles - дублей на сайте вообще нет и это хорошо (я проверял, ну вставлял - /index.php, /home и так далее...). А нужно ли в этом случае в файле robots.txt прописывать запрет дублей?
Disallow: /index.php
Disallow: /и так далее
..............................

Записан

Dorotar

Захожу иногда
69
1 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #218 : 22.07.2013, 17:51:27 »

Цитата: Plazmodina от 20.07.2013, 13:26:26

А нужно ли в этом случае в файле robots.txt прописывать запрет дублей?
Disallow: /index.php
Disallow: /и так далее
..............................

Так как никто не ответил - отвечает любитель:)
Запрет дублей, даже при их отсутствии никак не помешает Вашему сайту. Зато, если вдруг, на Вашем сайте будут создаваться новые странички, а тем более если сайт динамический, то запреты в роботс подстрахуют от попадания вероятных дублей в индекс. За всем ведь можно не уследить.

Записан

konservator

Захожу иногда
64
14 / 1

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #219 : 24.07.2013, 00:41:42 »

Подскажите, пожалуйста, как сделать, чтобы фотографии из DatsoGallery попали в индекс поисковиков.

Вот ссылка на примерное фото http://www.yurevets37.ru/index.php?option=com_datsogallery&view=sbox&catid=42&id=221&format=raw запрещен правилом /*?* запрещен правилом /*format=*

В итоге много правил запрещает индексировать фотографии. Если убрать правила, то в итоге в индекс пролетит весь мусор с сайта. Может есть решение?

Спойлер

[свернуть]

Записан

Dorotar

Захожу иногда
69
1 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #220 : 25.07.2013, 22:01:57 »

Цитата: konservator от 24.07.2013, 00:41:42

Подскажите, пожалуйста, как сделать, чтобы фотографии из DatsoGallery попали в индекс поисковиков.

Самый логический метод - это сделать ЧПУ галереи.
1. В версии 1.15 (как пишут) добавлена опция SEF Advanced. Не знаю какая у Вас версия.
2. Есть плагин Artio JoomSEF 2.2.6 Видел рецепт:
recomendovano.ru/ArtioJoomsef_com_ponygallery_V_1_1.zip
в файлах меняете ponygallery на DatsoGallery. сами файлы тоже переименовываешь на DatsoGallery. кидаете эти 2 файла в \components\com_sef\sef_ext\

3. Немного эта тема обсуждалась http://joomlaforum.ru/index.php/topic,246971.0.html Может AceSEF подойдет Вам.
В любом случае необходимо искать плагин ЧПУ или менять версию галереи под рабочие плагины

Записан

konservator

Захожу иногда
64
14 / 1

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #221 : 27.07.2013, 10:37:31 »

Dorotar, буду пробовать ваши советы. Версия моя последняя 1.24 к сожалению ссылка recomendovano.ru/ArtioJoomsef_com_ponygallery_V_1_1.zip не открывается..

Записан

attiny

Осваиваюсь на форуме
35
2 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #222 : 30.07.2013, 18:53:16 »

Жил был сайт на Joomla 1.0.x, оброс естественными ссылками типа http://site.ru/content/*/*/
Переехал я на Joomla 2.5. Страниц было не много, да и контент так себе, и я решил начать все с нуля.
Поскольку вся структура ссылок рухнула, я прописал в .htaccess:

RewriteRule ^content(.*)$ / [L,R=301] # Перенаправление на главную страницу.

Захожу по любому адресу типа http://site.ru/content/view/*/*/ и все редиректится на главную страницу.
Все работает.

Вопрос: Нужно ли в robots.txt прописать:
Disallow: /content/

Записан

ELLE

Глобальный модератор
4506
893 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #223 : 31.07.2013, 03:48:30 »

нет, у вас же редирект работает

Записан

Быстрый просмотр товаров для Joomshopping
Бесконечный скроллинг для Joomla

Plazmodina

Захожу иногда
228
7 / 2

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #224 : 31.07.2013, 12:13:37 »

Мой robots.txt такой (для всех поисковых систем):

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Host: мой сайт (без www)

Sitemap: http://мой сайт/index.php?option=com_xmap&view=xml&id=1

Сайту две недели, то есть домен купил две недели назад. Меньше чем за 24 часа, после покупки домена, сайт попал в поиск Яндекса и Google. Дублей вообще нет, зеркало строго без www определяет. А главное то, что когда я добавляю материал на сайт, то сразу же через минуту он попадает в поиск Google каждый раз после добавления материала со всеми микроразметками (хлебные крошки и авторские права). Вот как надо работать!

Записан

attiny

Осваиваюсь на форуме
35
2 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #225 : 31.07.2013, 13:39:44 »

Цитата: Plazmodina от 31.07.2013, 12:13:37

Сайту две недели, то есть домен купил две недели назад. Меньше чем за 24 часа, после покупки домена, сайт попал в поиск Яндекса и Google. Дублей вообще нет, зеркало строго без www определяет. А главное то, что когда я добавляю материал на сайт, то сразу же через минуту он попадает в поиск Google каждый раз после добавления материала со всеми микроразметками (хлебные крошки и авторские права). Вот как надо работать!

Дайте мне адрес Вашего сайта. Я поставлю парочку изысканно-кривых ссылок и Вы узнаете что такое дубли и сколько их может быть в Joomla.
Ваш robots этому только поспособствует.

Записан

Plazmodina

Захожу иногда
228
7 / 2

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #226 : 31.07.2013, 14:15:42 »

Цитата: attiny от 31.07.2013, 13:39:44

Дайте мне адрес Вашего сайта. Я поставлю парочку изысканно-кривых ссылок и Вы узнаете что такое дубли и сколько их может быть в Joomla.
Ваш robots этому только поспособствует.

У меня нет изысканно-кривых ссылок! Действительно нет! Я проверял с помощью программы. Все возможные дубли я закрыл в htaccess

Записан

attiny

Осваиваюсь на форуме
35
2 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #227 : 31.07.2013, 14:23:24 »

Поделитесь, пожалуйста, названием программы.

Записан

Plazmodina

Захожу иногда
228
7 / 2

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #228 : 31.07.2013, 14:35:39 »

Цитата: attiny от 31.07.2013, 14:23:24

Поделитесь, пожалуйста, названием программы.

Программа Xenu’s Link Sleuth - программа для проведения технического анализа сайта

Записан

attiny

Осваиваюсь на форуме
35
2 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #229 : 01.08.2013, 01:12:03 »

Есть такая структура:
http://site.ru/1/search.html
http://site.ru/2/search.html
http://site.ru/3/search.html
http://site.ru/4/search.html

Я хочу запретить индексировать страницы search.html
Нужно прописать в robots:
Disallow: /*/search.html
Или может лучше так:
Disallow: /search

Как правильно?

« Последнее редактирование: 01.08.2013, 01:23:37 от attiny »

Записан

Elektra

Захожу иногда
69
0 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #230 : 28.08.2013, 17:07:30 »

Почему то компонент Xmap добавил картинки в карту, с чем это связано? Яндекс и Google ругаются на недопустимые теги

Записан

mamont

Новичок
9
0 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #231 : 29.08.2013, 14:05:20 »

Всем привет. Возникла проблема с добавлением карты сайта в Google. Упорно выдает ошибку: "URL, запрещенный файлом robots.txt".
Сам файл robots содержит:

Спойлер

[свернуть]

Домен естественно стоит какой надо. Яндекс съедает карту без вопросов и ошибок, а Google не хочет и все тут. В чем может быть проблема? Заранее спасибо.

Записан

borro

Завсегдатай
1379
22 / 0
желаю вам счастья

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #232 : 29.08.2013, 14:41:16 »

Цитата: attiny от 01.08.2013, 01:12:03

Есть такая структура:
http://site.ru/1/search.html
http://site.ru/2/search.html
http://site.ru/3/search.html
http://site.ru/4/search.html

Я хочу запретить индексировать страницы search.html
Нужно прописать в robots:
Disallow: /*/search.html
Или может лучше так:
Disallow: /search

Как правильно?

первый вариант правильнее. можно так

Код

Disallow: /*search.html$

второй вариант обрежет и url в которых в каком-либо месте есть search в принципе

Записан

Elektra

Захожу иногда
69
0 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #233 : 13.09.2013, 23:21:06 »

Вот такой robots.txt
User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /component/
Disallow: /*?*
Disallow: /?*
Disallow: /home.html
Disallow: /index.php/*
Disallow: /index2.php
Disallow: /*&
Не стали индексироваться теги. Почему?

Записан

Dorotar

Захожу иногда
69
1 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #234 : 17.09.2013, 14:55:33 »

Цитата: Elektra от 13.09.2013, 23:21:06

Вот такой robots.txt
Не стали индексироваться теги. Почему?

Честно говоря, не очень то уже и помню, но если теги написаны кириллическими символами (обычно да) то закрытие символа "?" в роботсе закрывает и все ссылки с кириллическими символами. Но, я могу ошибаться.

Записан

Plazmodina

Захожу иногда
228
7 / 2

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #235 : 27.09.2013, 22:31:25 »

И вот прошло ровно два месяца после создания сайта на Joomla. Вчера был первый тИЦ за эти два месяца. Вы не поверите, но у моего 2-ух месячного сайта 20 тИЦ. Нет дублей! Ну просто дублей вообще нет! Роботс тхт настроен как я описывал ниже. И Яндекс и Google очень любит мой сайт - боты приходят через несколько секунд после добавления материала. Некоторые фразы вышли в ТОП 10. Думаю Joomla - это самый лучший движок, который оптимизирован не только под поисковые системы, но и под другие проекты. Поэтому юзайте Joomla.

Записан

borro

Завсегдатай
1379
22 / 0
желаю вам счастья

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #236 : 01.10.2013, 13:10:00 »

Цитата: Plazmodina от 27.09.2013, 22:31:25

И вот прошло ровно два месяца после создания сайта на Joomla. Вчера был первый тИЦ за эти два месяца. Вы не поверите, но у моего 2-ух месячного сайта 20 тИЦ. Нет дублей! Ну просто дублей вообще нет! Роботс тхт настроен как я описывал ниже. И Яндекс и Google очень любит мой сайт - боты приходят через несколько секунд после добавления материала. Некоторые фразы вышли в ТОП 10. Думаю Joomla - это самый лучший движок, который оптимизирован не только под поисковые системы, но и под другие проекты. Поэтому юзайте Joomla.

т.е. тИЦ только за уникальность сайту присвоили?

Записан

Plazmodina

Захожу иногда
228
7 / 2

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #237 : 02.10.2013, 14:17:50 »

Цитата: borro от 01.10.2013, 13:10:00

т.е. тИЦ только за уникальность сайту присвоили?

тИЦ - это тот показатель, который зависит от уникальности сайта. Многие поднимают тИЦ, влаживают деньги, и тИЦ не поднимается, с начала нужно навести порядок на сайте, сделать его уникальным и тИЦ поднимиться. То же самое и с пейджранком. А тИЦ я поднял тем способом про которые все говорят, что он уже давно не работает. Догадайтесь сами.

Записан

maxip

Новичок
3
0 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #238 : 03.10.2013, 16:29:00 »

Доброго дня
Окажите помощь пожалуйста:
сайт http://suvenirplast.ru хотел открыть для поиска только главное меню(левый верхний угол)+все категории из каталога(zoo)
В выдаче яндекса 56 страниц: http://yandex.ru/yandsearch?p=5&clid=9582&text=suvenirplast&lr=213(приндексировал нужные страницы+mailto+весь итем из каталога)
В выдаче Google https://www.google.com/#psj=1&q=suvenirplast.ru&start=0 (нужные + мои залетные+ каким то боком календарь событий)
Вот sitemap.

Спойлер

[свернуть]

и робот

Спойлер

[свернуть]

Помогите разобраться

Записан

dabrowski

Осваиваюсь на форуме
41
2 / 0

Re: Правильный robots.txt? [вопросы/обсуждение]

« Ответ #239 : 07.10.2013, 09:59:04 »

Суть:
Google выводит 286 предупреждений о том, что Доступ к URL заблокирован в файле robots.txt.
Я проверил приведенные примеры страниц в разделе "Заблокированные URL" и уже там Google считает, что все в порядке и к страницам доступ есть.
Яндекс не ругается и медленно, но верно индексирует все правильно.

Есть 2 теории:
1. Google медлителен в отношении моего сайта и нужно подождать еще пару обновлений.
Эта проблема держится уже больше 2х недель. Количество проиндексированных страниц увеличивается, но количество "предупреждений" не уменьшается.

2. Это интернет-магазин на JoomShopping. Для создания ссылок используется специальный плагин для JoomShopping. Есть мнение, что директива "disallow: /components/" и есть причина этой ситуации.
В то же время, страницы с отдельными товарами индексируются нормально как Google, так и Яндекс.

Как быть?
Спасибо заранее.

Мой robots.txt

Код

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*

Host: asb-tehno.ru
Sitemap: http://asb-tehno.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=6

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /cart*

Записан

Роботу Googlebot заблокирован доступ в файле robots.txt Автор illimited	Ответов: 3 Просмотров: 3749	29.05.2022, 14:57:55 от web1
Как сделать правильный редирект Автор gadjet	Ответов: 25 Просмотров: 13295	17.05.2022, 01:22:12 от kabban
Как лучше прописать robots.txt? Автор web1	Ответов: 2 Просмотров: 1103	25.07.2021, 21:38:12 от web1
Разные robots.txt Автор yyyuuu	Ответов: 7 Просмотров: 1143	14.01.2021, 14:06:58 от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt Автор HolySong	Ответов: 0 Просмотров: 1026	10.07.2020, 13:12:46 от HolySong

Joomla 20 лет. Евгений Сивоконь.

joomLab Avatar плагин загрузки аватара для пользователя

Вышел компонент интернет-магазина HikaShop 6.1.0.Один из известных компонентов магазина для Joomla

Похожие темы