0 Пользователей и 2 Гостей просматривают эту тему.
  • 445 Ответов
  • 192043 Просмотров
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
2 ELLE
Оч важный вопрос, дело в том, что есть на сайте окло 80 дублей, которые надо убрать, вот думаю прописать запрет вручную в роботсе, или на каждый редирект делать. Дело в том, что читал статью о роботс, где написано, что лучше его не пихать много (на robots.org вроде)
Для поисковиков кол-во запретов критично? У него хватит время обойти сайт, или он просто уйдет (((
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
лучше на каждый редирект
Ок,
тоже так думал сделать, но потом испугался, что поисковик может подумать, а не много ли редиректов на сайте))) Спасибо за совет, буду пробывать
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

user

  • Захожу иногда
  • 112
  • 1 / 0
Хочу закрыть индексацию для всех ПС кроме Яндекс, Рамблет, майлру и Google. Правильный ли robots в таком случае?

Спойлер
[свернуть]

Сайт маленький, всего 7 страниц + страницы регистрации, восстановления пароля/логина и профиль. Статей как таковых нет.
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Кстати, спасибо за идею,
я вот кумекую над этим, а что мне потом будет, если я закрою сайт от всех остальных? Какие "санкции" мне грозят?
Я щас хочу оставить только для Google, Яндекс, апорта, майл и рамблера, а все остальное
User-agent: *
Disallow: /
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

user

  • Захожу иногда
  • 112
  • 1 / 0
А с чего вдруг санкции, с чьей стороны?
Так правильный файл выше или нет, кто разбирается, я на глаз сделал?
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
А с чего вдруг санкции, с чьей стороны?
Так правильный файл выше или нет, кто разбирается, я на глаз сделал?
лучше сначала поставить
User-agent: Yandex
а потом Google, рамблер, майл а потом уже для всех. Сначала ставят тех кто приоритетней
а где ?
Host: сайт.ру

Sitemap: http://сайт.ру/index.php?option=com_xmap&view=xml&tmpl=component&id=1
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
А с чего вдруг санкции, с чьей стороны?
ну а вдруг, почему то я такого совета за последнее время не слышал, чтобы скрыть от всех...да и не видел ни у кого. Все неизвестное пугает, поэтому и боюся)))
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Доброй ночи,
появился вопрос,
у меня закрыта директория images, вот думаю теперь открыть ее, но там много изображений. просто поисковик не ищет по картинкам, думаю сделать, чтобы искал.
Хочу сделать Allow папки images.  В папке много много изображений, у многих прописаны альты
Хочу сделать Allow папке с excel-файлом (прайс-лист) там более 5 000 наименований
Роботу это не понравится? Чем черевато?
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

stanislav-1983

  • Новичок
  • 9
  • 0 / 0
  • Админ еб:::тся когда у него все упало..
Всем наидобрейшего времени суток!
Прошу вынести вердикт по моему роботсу
стоит Joomla 1.5.26+k2 2.5
Спойлер
[свернуть]
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
классный роботс. только сайта такого не существует, печалька
*

stanislav-1983

  • Новичок
  • 9
  • 0 / 0
  • Админ еб:::тся когда у него все упало..
классный роботс. только сайта такого не существует, печалька
приятно получить такой отзыв,но прям так классный? даже и добавить (убрать) нечего? сайт в сети, пока слегка корявенько смотрится, вот и поменял URL
« Последнее редактирование: 18.04.2013, 19:37:06 от stanislav-1983 »
*

Joury

  • Захожу иногда
  • 164
  • 2 / 0
  • vs-aqua.ru - изготовление аквариумов на заказ
А вот у меня такой вопрос, он чисто больше литорический.
Опиши ситуацию, у меня есть интернет-магазин, на некоторых страницах размещена ссылка на прайс листы в xls форматах,
Но вот ведь незадача, подлый Яндекс почему то индексирует страницу только как прайс, а саму страницу не индексит.
Как вообще делают правильно? Просто закрыть в роботсе xls формат, или всё же оставить и как то доработать?
*

Dimit1

  • Осваиваюсь на форуме
  • 37
  • 0 / 0
Друзья, возник такой вопрос:
Насколько плохо оставить открытыми ссылки со знаками "&" и "?", каковы отрицательные последствия будут? А то у меня в AdsManager, в результатах поиска такие ссылки...
На Joomla 1,7 стоят AdsManager, jcomments, пожалуй всё.
Спасибо!
« Последнее редактирование: 19.04.2013, 16:34:32 от Dimit1 »
*

yrygvay

  • Завсегдатай
  • 1293
  • 36 / 3
День добрый.
Решил отказаться  VM 2 от стороннего SEO.
Подскажите правильный robots.txt а то уж очень много мусора в поисковики выдаётся!
Смотрю....
*

dvd-obzor

  • Осваиваюсь на форуме
  • 28
  • 0 / 0
Стоит разбивать файл на робота для Яндекс и для всех остальных поисковиков?
Кто то говорит что надо, а кто то что не надо.
*

Rex_One

  • Захожу иногда
  • 454
  • 37 / 0
Стоит разбивать файл на робота для Яндекс и для всех остальных поисковиков?
Кто то говорит что надо, а кто то что не надо.

Пользуйтесь поиском, уже написано/описано.
http://joomlaforum.ru/index.php/topic,193446.0.html

Кривизна рук не компенсирует прямизну извилин.
*

klara7

  • Захожу иногда
  • 304
  • 4 / 1
Подскажите, пож-та. У меня такая проблема - Яндекс карту сайта принял на ура, Google не хочет (пишет количество ссылок 400, ошибок нет - а карту не принимает, пишет 0). Как только не колдовала, ничего. У меня в htaccess стоит RewriteRule ^sitemap.xml$ index.php?option=com_xmap&sitemap=1&view=xml

Думаю может ему sitemap.xml не нравится, пишу в robots.txt:
Спойлер
[свернуть]

Он пишет "При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно." Но я же указала в Allow. Или же этого не достаточно?
Заранее спасибо!
*

santala

  • Новичок
  • 1
  • 0 / 0
Всем наидобрейшего времени суток!
Прошу вынести вердикт по моему роботсу
стоит Joomla 1.5.26+k2 2.5
Спойлер
[свернуть]


А разве вы не запретили индексацию sitemap? Тогда уж надо отдельно прописать Allow: для sitemap
*

bandanu

  • Захожу иногда
  • 163
  • 3 / 0
Скажите если сайт на к2 , все картинки в папке images то достаточно не писать Disallow: /images/ , чтобы картинки участвовали в индексации или добавить строку как у товарища stanislav-1983  Allow: /media/k2/items/cache/*.jpg 
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
смотрим путь до картинки, идем в вебмастер раздел про индексацию и проверку роботс
далее вбиваем URL своей картинки в поле -
Спойлер
[свернуть]
жмем "проверить" и смотрим результат ниже
и такие вопросы пропадут навсегда!
*

user

  • Захожу иногда
  • 112
  • 1 / 0
Переписал файл, кто, что скажет?
Индексация закрыта для всех кроме Яндекс, Рамблер, майл и Google.

Спойлер
[свернуть]
« Последнее редактирование: 13.05.2013, 11:34:12 от user »
*

yrygvay

  • Завсегдатай
  • 1293
  • 36 / 3
День добрый.
 Сайт начал индексироваться яндексом:
Код
# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the Joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Allow: /images/stories/virtuemart/category     
Allow: /images/stories/virtuemart/product
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /shop/ask/
Disallow: /*keyword=
Disallow: /*pop=0
Disallow: /*product-search
Disallow: /*flypage=
Disallow: /*cart
Host: .ru
 
Sitemap: http://.ru/sitemap.xml


User-agent: Yandex
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Allow: /images/stories/virtuemart/category     
Allow: /images/stories/virtuemart/product
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /shop/ask/
Disallow: /*keyword=
Disallow: /*pop=0
Disallow: /*product-search
Disallow: /*flypage=
Disallow: /*cart

 
Sitemap: http://.ru/sitemap.xml

Вот с таким роботс.

Но в Яндекс вебмастере в структуре сайта выявилось :
component/ - search/ - Itemid=684& - limit=int&
вот такая подчинённая структура.

Можно её закрыть от индексации ? не будет это вредно?!
Смотрю....
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Коротко вопрос:
Есть 15 категорий к2 и блог этих категорий, что запретить индексировать чтобы не было дублей - категории или блог категорий
mysite/index.php/lyubov - одна из категорий
mysite/index.php/stati - блог всех категорий.

И нужно ли запрещать вообще?
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Коротко вопрос:
Есть 15 категорий к2 и блог этих категорий, что запретить индексировать чтобы не было дублей - категории или блог категорий
mysite/index.php/lyubov - одна из категорий
mysite/index.php/stati - блог всех категорий.

И нужно ли запрещать вообще?
а какие у вас дубли?
приведите пример,
у вас url с index.php стоит, может стоит его убрать, а потом запретить все странички с index.php
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

user

  • Захожу иногда
  • 112
  • 1 / 0
Нужно ли запрещать индексацию файлов в корне сайта: index.php, web.config.txt, Joomla.xml, файлы от удаленных антивирусов (norton) и вебмастера Яндекс?
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Нужно ли запрещать индексацию файлов в корне сайта: index.php, web.config.txt, Joomla.xml, файлы от удаленных антивирусов (norton) и вебмастера Яндекс?
нет, какой смысл. Ведь они находятся в одной и той же папке что и вашсайт.ру
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

kik84

  • Завсегдатай
  • 1339
  • 64 / 4
Подскажите, если имеются ссылки, содержащие знак #
Закрыть их возможно строкой Disallow: /*#
*

user

  • Захожу иногда
  • 112
  • 1 / 0
Такой вопрос. На сайте имеется всего 10 страницы, включен стандартный SEF. Нужно проиндексировать только 4 страницы, доступные по адресам вида
site.ru
site.ru/index.php/page1
site.ru/index.php/page2
site.ru/index.php/page3

Как запретить индексацию всего сайта кроме этих страниц?
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 150
Последний ответ 25.07.2021, 21:38:12
от web1
Как сделать правильный редирект

Автор gadjet

Ответов: 23
Просмотров: 10655
Последний ответ 17.01.2021, 18:00:11
от Vasiliy111
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 289
Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 347
Последний ответ 10.07.2020, 13:12:46
от HolySong
Google Search Console, sitemap.xml и robots.txt

Автор Игарь

Ответов: 7
Просмотров: 537
Последний ответ 20.05.2020, 23:36:20
от Kostelano