0 Пользователей и 1 Гость просматривают эту тему.
  • 445 Ответов
  • 192177 Просмотров
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
1. можно не заморачиваться, utf-8 пойдет=) единственное если кириллицу нужно закрыть - используйте символ %
2. хм, случается так что доступны, если не установлен запрет допустим такой
<?php
// No direct access.
defined('_JEXEC') or die;
?>
ну либо как-то по другому
3. папку удаляем, указывать запрет в роботс не нужно
4. читаем FAQ, все вопросы по роботсу обсуждаются в одной теме
*

eclipseggg

  • Захожу иногда
  • 410
  • 32 / 2
у меня с index.php?option=com_xmap&sitemap=1&view=xml все ок на всех сайтах=)
*

Lovenokia

  • Захожу иногда
  • 105
  • 0 / 0
Здравствуйте. Посмотрите, пожалуйста, на мой robots.txt и проконсультируйте по нижеследующим вопросам. Вот мой роботс:

Спойлер
[свернуть]


1) Там где у меня написано Disallow: /raznoe/, я подразумеваю закрыть от поисковых систем все, что находится по адресу: http://mysite.ru/raznoe

Правильно ли я расставил слеши здесь: Disallow: /raznoe/

2) Я хочу открыть для поисковых систем папку images, поэтому убрал ее из списка. Изображения на моем сайте неуникальны (скачаны с других сайтов), это может как-то повлиять на будущее продвижение?
Индексируют ли поисковые системы swf объекты? Если swf объекты созданы самостоятельно (то есть они уникальны), окажет ли это положительный эффект на будущее продвижение сайта?

3) Еще не создал карту сайта. Собираюсь создать карту сайта при помощи сервиса http://sitemapgenerator.ru/
Рекомендуете ли Вы использовать этот сервис или лучше сделать карту сайта как-то по-другому??

4) При вставке в robots.txt записи Sitemap: http:// тут урл карты сайта
ее нужно располагать именно таким образом как показано здесь (или в данном примере она будет доступна только для яндекса)?
Спойлер
[свернуть]

Этот robots.txt взят отсюда: http://joomlaforum.ru/index.php/topic,115926.0.html

6) файл должен называться именно robots.txt или .txt имеется в виду расширение??

Заранее спасибо за ответы.
« Последнее редактирование: 04.07.2012, 16:10:32 от ELLE »
*

eclipseggg

  • Захожу иногда
  • 410
  • 32 / 2
1) Да все верно
2) Желательна уникальность картинок если ты хочешь получить трафик с картинок, в остальном вреда оно не принесет главное уникальный текст и хорошее описание картинок
3) Создавай сервисом если считаешь нужным, в панели вебмастера Google и яндекса можно проверить нормальная ли карта сайта или нет, там же её и следует добавить, а не просто в файл роботс
4) Это не обязательно, но да
6) Файл называется robots а txt расширение
*

z0dchij

  • Осваиваюсь на форуме
  • 45
  • 9 / 0
Здравствуйте!

Столкнулся с необходимостью унифицирования имени сайта как "site.com", без www
Во-первых, преследовались эстетическая(визуально проще и легче как для запоминания так и для любителей набирать "WWW") и смысловая(www вроде как анахронизм) цели.
Решилось указанием 301 редиректа в .htaccess

Во-вторых, борьба с дублями в ПС. И вот здесь возник вопрос. Положение усугубляется еще и тем, что известный переводной фак по robots.txt в нете вроде как устарел, там сам автор про это прозрачно намекал, остальные тоже противоречивы. А во вторых, даже поискав по форуму, увидел что разные опытные форумчане имеют на счет сабжа разные мнения.
Вот и хотелось бы услышать мнения бывалых, держащих, так сказать, руку на пульсе событий:

Вопросы в следующем:
1. Директива Host - только для Яндекса?
2. Как все же лучше - прописывать директиву Host в общей секции для всех роботов или сформировать такую же но с "User-agent: Yandex" и соответственно директивой Host в конце?
3. Правильно ли я понял, что для Google для склейки достаточно редиректа?

...

Я тут уже начал сомневаться, а нужно ли вообще в случае с Яндексом при указании как основного имени сайта вариант "с www" или "без www" вообще прописывать Host в robots.txt
Вот выдержки из хелпа Яндекса:
"Какой сайт будет выбран главным зеркалом?
В случае перенаправления в качестве главного зеркала робот выберет цель редиректа."

Кроме того в во многих источниках, как например, http://robotstxt.org.ru/rurobots/yandex#host сказано про зеркала как про разные домены. И, допустим, приводится решение, положить в корень неглавных зеркал файл роботс. Но у меня один и тот же физически сайт и роботс один. К тому же, как я уже писал, сделан редирект.

Кроме того нашел информацию на noindex.by что Host понимает еще и робот Рамблера. Краем уха слышал что Рамблер отказался от собственного робота на данный момент, но все равно ситуация тут не ясна.

Короче что посоветуете? )
Ситуция простая, сделан серверный редирект "с www" на "без www".  Все работает. Сайт молодой. Нужно еще что-то делать?
« Последнее редактирование: 05.07.2012, 23:18:45 от z0dchij »
*

eclipseggg

  • Захожу иногда
  • 410
  • 32 / 2
z0dchij
Вопросы в следующем:
1. Директива Host - только для Яндекса!
2. Host прописывается в отдельном правиле для Яндекса иначе остальные поисковики будут писать о том что у вас имеется неверная запись в роботс
3. Google для склейки достаточно редиректа!Да и впринципе любому поисковику, даже яндексу этого достаточно, только склейка 2 месяца идет зачастую=)

*

Lovenokia

  • Захожу иногда
  • 105
  • 0 / 0
Как закрыть страницу 404 от индексации ПС?
В FAQ по robots.txt написано:

Disallow: /404

запрещает 404 ошибку.

То есть если я пропишу это в своем роботс, то ПС не будут индексировать любую несуществующую страницу? Они разве все начинаются с цифры 404?

Задавал этот вопрос здесь: http://joomlaforum.ru/index.php/topic,221944.0/topicseen.html

Но не понял на какой именно вопрос ответ "нет".

*

eclipseggg

  • Захожу иногда
  • 410
  • 32 / 2
Если у Вас уже есть страницы 404, то просто помогите Яндексу:
http://webmaster.yandex.ru/delurl.xml

не Яндекс не Google не удалят страницы пока они не будут закрыты от индексации через роботс или не попадут под определение "сопли"
так или иначе и Google и Яндекс 404 страницы всеравно учитывает и вполне так себе прекрасно индексируют

поэтому если такое случается то следует их и фиксить через закрытие в роботс каждой и ускоренное ручное удаление из баз поисковиков, либо редирект на другую страницу.
*

mihey2011

  • Осваиваюсь на форуме
  • 39
  • 1 / 0
Мучаюсь с составлением файла robots.txt для Kunena. Составляю, составляю, а потом БАЦ.... опять чего то пропустил, вобщем задолбался.
Если у кого то есть текст этого файла, выложите пожалуйста, одному мне его не одолеть.
По ходу я перестарался, у меня такой robots.txt:
Код
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?
Disallow: /index.php?*
Disallow: /index2.php
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /component
Disallow: /feedback
Disallow: /library
Disallow: /88-tents
Disallow: /104-biblioteka
Disallow: /social-network
Disallow: /moj-blog
Disallow: /blogi-podvodnyx-oxotnikov
Crawl-delay: 2
Host: aquanaft.ru
Sitemap: http://www.aquanaft.ru/index.php?option=com_xmap&sitemap=1&view=xml

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?
Disallow: /index.php?*
Disallow: /index2.php
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /component
Disallow: /feedback
Disallow: /library
Disallow: /88-tents
Disallow: /104-biblioteka
Disallow: /social-network
Disallow: /moj-blog
Disallow: /blogi-podvodnyx-oxotnikov
Sitemap: http://www.aquanaft.ru/index.php?option=com_xmap&sitemap=1&view=xml
« Последнее редактирование: 26.10.2012, 14:06:40 от ELLE »
*

Atas

  • Захожу иногда
  • 56
  • 2 / 0
Код: robots
User-agent: *
Allow: /*.html$ #последняя версия Joomla! добавляет к адресам именно этот суффикс
Allow: /*.jpeg$
Allow: /*.jpg$
Allow: /*.png$
Allow: /$ # без этой строчки главная страница сайта не будет проиндексирована Яндексом
Disallow: /пункт меню.html #запрещаем адреса, включающие в себя названия пунктов меню
Disallow: /

Такой robots хорошо подходит для сайтов с включенным суффиксом HTML и для адресов вида:
http://site.name/1.html
http://site.name/2.html
http://site.name/3.html
и т.д.

Да, и желательно с таким строгим robots-ом иметь на сайте sitemap, чтобы робот не заблудился
« Последнее редактирование: 18.07.2012, 13:40:25 от Atas »
*

Vasiliy111

  • Захожу иногда
  • 248
  • 5 / 0
Дело в том что у меня одна статья открывается с разнами адресами. По начало я делал отображения материала в виде раздел/блог, потом понял что мне это не подходит и переделал в категория/блог. Но статья та уже проиндексировалась...
Теперь имею одну статью по адресам:
http://мой-сайт.ru/раздел/категория/статья.html.
http://мой-сайт.ru/категория/статья.html.

Если закрыть Disallow: /статья.html то закроется сама статья, а нужно закрыть ее дубль.
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
попробуйте это - http://joomlaforum.ru/index.php/topic,201567.0.html (либо плагин, либо просто код в шаблон) обычно помогает.
*

reasons

  • Захожу иногда
  • 382
  • 6 / 0
  • http://dehost.biz
По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.

пожалуйста объясните, что это значит?
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
будет работать то правило, что длиннее
*

Maxum

  • Давно я тут
  • 689
  • 32 / 1
Разрешите несколько вопросов.
1. Если изначально включен mod_rewrite и переименован файл .htaccess, нужно ли прописывать
Disallow: /index.php?

2. Чем будут отличаться Disallow:/component и Disallow:/components/ - на что влияет слеш на конце?

3. Как исключить вот это из поиска /component/content/?view=featured?
« Последнее редактирование: 25.09.2012, 09:34:31 от Maxum »
*

strannik-yura

  • Давно я тут
  • 513
  • 44 / 1
  • :)
Разрешите несколько вопросов.
1. Если изначально включен mod_rewrite и переименован файл .htaccess, нужно ли прописывать
Disallow: /index.php?
Да, так как страницы всё ровно будут доступны по этим адресам

2. Чем будут отличаться Disallow:/component и Disallow:/components/ - на что влияет слеш на конце?
Это два совершенно разных адресса.
components/ - это системная папка, где собственно лежат все компоненты
component/ - это сформированная ссылка через стандартный SEF
Это на всякий случай, чтобы во время каких-либо установок не трогали эту папку.

3. Как исключить вот это из поиска /component/content/?view=featured?
Disallow: /*=featured
*

Romashka777

  • Новичок
  • 3
  • 0 / 0
Роботы Нашли мой   Sitemap но при выдаче Yandex указал следующую структуру сайта :
- мой сайт.ru
   - index.php?
       -option=com_content&      
           -view=article&
Причем Робот Обработал 29 страниц и в Индекс Попало 10    
Я так понял в Робота нужно Добавить Disallow: /index.php? ( ксати как правельно писать Disallow: /index.php? или Disallow: /index.php?/ ?), чтобы он обрабатывл только -мой сайт.ru и это не повредит Индексации моих страниц уберет Данную проблему?


Еще Проидексировались вообще не нужные страницы
Вот виновницы моих пережваний  ;)  :

http:///мой сайт.ru/87-slajdy/94
http:///мой сайт.ru/87-slajdy/96
http:///мой сайт.ru/87-slajdy/95
http://мой сайт.ru/component/content/category/материалы   - тут не ясно почему стоит же Disallow: /components/

Сам предпринял такие меры по Удалению Данных страниц /87-slajdy/
1) В Мета-тег Robots Указал No Index , follow
2) в ВЕБМАСТЕРЕ отправил Запрос На удаление !
Но что делать со страницей  (http://мой сайт.ru/component/content/category/материалы)?
Дайте Добрый совет что мне делать и правельно я предпринял меры котоыре указаны выше?

Хочу  Удалить страницы с моего сайта из индексации и  запретить их индексирование в robots.txt.  Как это
можно сделать?



вот мой роботс)
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*com_mailto
Sitemap: http://указан мой сайт/sitemap.xml
 
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*com_mailto
Host: www.указан мой сайт.ru
Sitemap: http://указан мой сайт/sitemap.xml
« Последнее редактирование: 20.10.2012, 18:51:21 от Romashka777 »
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
Добавьте
Disallow: /component
Disallow: /87-slajdy

последняя строка если эта категория вообще не должна быть в индексе
*

Yura Vakulenko

  • Захожу иногда
  • 238
  • 6 / 1
Привет.

а у меня вот че...
отредактировал я робот как написано в ЧАВО по роботу здесь на форуме (FAQ: robots.txt для Joomla!), менял название htaccess.txt на .htaccess и в настройках сайта установил следующие параметры ,а именно в

 Настройки SEO:
    Включить SEF (ЧПУ)     - ДА
    Перенаправление URL - ДА
    Добавлять суффикс к URL  - НЕТ
    Алиасы в Unicode   - НЕТ  
И - главная сайта открываеться нормально, из ссылок исчезла index.php, НО ВСЕ ОСТАЛЬНЫЕ ССЫЛКИ НЕ РАБОТАЮТ И ПРИ КЛИКЕ НА ЛЮБОЙ (БУДЬ ЭТО ПУНКТ МЕНЮ ИЛИ ЧТО-ТО ЕЩЕ)  БРАУЗЕР ПИШЕТ

Цитировать
Internal Server Error

The server encountered an internal error or misconfiguration and was unable to complete your request.

Please contact the server administrator, admin@main-hosting.com and inform them of the time the error occurred, and anything you might have done that may have caused the error.

More information about this error may be available in the server error log.

Additionally, a 500 Internal Server Error error was encountered while trying to use an ErrorDocument to handle the request.


ЧТО МНЕ ДЕЛАТЬ, чтобы все хорошо работало без index.php? с Перенаправление URL - ДА ? ВОТ САЙТ http://smotronik.16mb.com. ЖОМЛА 2.6

Вот содержимое робота

Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Allow: /index.php?option=com_xmap&view=xml&id=1
Sitemap: http://smotronik.16mb.com/index.php?option=com_xmap&view=xml&id=1
Host: smotronik.16mb.com

#User-agent: Yandex
Crawl-delay: 1

Вот содержимое .htaccess

Код
## Can be commented out if causes errors, see notes above.
Options +FollowSymLinks

## Mod_rewrite in use.

RewriteEngine On

## Begin - Rewrite rules to block out some common exploits.
# If you experience problems on your site block out the operations listed below
# This attempts to block the most common type of exploit `attempts` to Joomla!
#
# Block out any script trying to base64_encode data within the URL.
RewriteCond %{QUERY_STRING} base64_encode[^(]*\([^)]*\) [OR]
# Block out any script that includes a <script> tag in URL.
RewriteCond %{QUERY_STRING} (<|%3C)([^s]*s)+cript.*(>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL.
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL.
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Return 403 Forbidden header and show the content of the root homepage
RewriteRule .* index.php [F]
#
## End - Rewrite rules to block out some common exploits.

## Begin - Custom redirects
#
# If you need to redirect some pages, or set a canonical non-www to
# www redirect (or vice versa), place that code here. Ensure those
# redirects use the correct RewriteRule syntax and the [R=301,L] flags.
#
## End - Custom redirects

##
# Uncomment following line if your webserver's URL
# is not directly related to physical file paths.
# Update Your Joomla! Directory (just / for root).
##

# RewriteBase /

## Begin - Joomla! core SEF Section.
#
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
#
# If the requested path and file is not /index.php and the request
# has not already been internally rewritten to the index.php script
RewriteCond %{REQUEST_URI} !^/index\.php
# and the request is for something within the component folder,
# or for the site root, or for an extensionless URL, or the
# requested URL ends with one of the listed extensions
RewriteCond %{REQUEST_URI} /component/|(/[^.]*|\.(php|html?|feed|pdf|vcf|raw))$ [NC]
# and the requested path and file doesn't directly match a physical file
RewriteCond %{REQUEST_FILENAME} !-f
# and the requested path and file doesn't directly match a physical folder
RewriteCond %{REQUEST_FILENAME} !-d
# internally rewrite the request to the index.php script
RewriteRule .* index.php [L]
#
## End - Joomla! core SEF Section.

МОЖЕТ ЕЩЕ И НУЖНО .htaccess ОТРЕДАКТИРОВАТЬ? ПОМОГИТЕ! ЛЮДИ!


« Последнее редактирование: 25.10.2012, 08:42:05 от Yura Vakulenko »
*

Romashka777

  • Новичок
  • 3
  • 0 / 0
Добавьте
Disallow: /component


Воспользовался советом добавил
Disallow: /component  
Яндекс удалил страницы но при следующей выдачи выдал опять в поиске :

1)мойсайт.ru/component/mailto/?tmpl=component&template=shaper_express&link=5d516c083c0cc06043ac4cc3da9bdf446d111e11

2)мойсайт.ru/component/content/category/90-nerudnye-materialy

3)мойсайт.ru.ru/component/content/category/index.php?option=com_content&view=article&id=129&Itemid=612

4)мойсайт.ru/component/content/category/index.php?option=com_content&view=article&id=130&Itemid=613


5)мойсайт.ru/component/content/category/index.php?option=com_content&view=article&id=125&Itemid=608

6)мойсайт.ru/component/content/category/89-sobstvennyj-avtopark

7)мойсайт.ru/component/content/category/index.php?option=com_content&view=article&id=119&Itemid=435

8)мойсайт.ru/component/content/category/index.php?option=com_content&view=article&id=137&Itemid=616

ЧТО МНЕ ДЕЛАТЬ ?)))))))))))))))
М  !ММ М !
вот мой РОБОТС

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*com_mailto
Disallow: /index.php?
Disallow: /component
Host: мойсайт.ru
Sitemap: http://www.мойсайт.ru/sitemap.xml
« Последнее редактирование: 03.11.2012, 14:52:38 от Romashka777 »
*

mysport

  • Новичок
  • 1
  • 0 / 0
Подскажите,пожалуйста, правильно ли составлен мой robot.txt? (сайт никак не хочет индексироваться яндексом)
Спойлер
[свернуть]

Заранее спасибо за помощь!
*

profiX0808

  • Захожу иногда
  • 497
  • 70 / 0
mysport, так это стандартный robots.txt, в котором сайт открыт для индексирования поисковыми системами. Сайт добавляли в панель вебмастеров от яндекса? Сколько времени прошло?
*

Roamer

  • Захожу иногда
  • 150
  • 3 / 0
Друзья, есть такая задача.... В robots.txtпрописано:
Код
Disallow: /*?	#	#	#все ссылки которые содержат этот знак не индексируются !
Disallow: /*% # # #все ссылки которые содержат этот знак не индексируются !
Disallow: /*& # # #все ссылки которые содержат этот знак не индексируются !
До недавнего времени это полностью устраивало, но появился компонент SobiPro который пока не имеет SEO модуля. и имеет вот такие ссылки:
Код
http://www.bibliothai.ru/turistam/otchety-turistov/otchety-turistov.html?pid=73&sid=95:%D0%9D%D0%B0%D1%88%D0%B5-%D0%BF%D1%83%D1%82%D0%B5%D1%88%D0%B5%D1%81%D1%82%D0%B2%D0%B8%D0%B5-%D0%BD%D0%B0-%D0%9F%D1%85%D1%83%D0%BA%D0%B5%D1%82

т.е. содержит символы "&", "?". Как быть? Если я впишу такое правило:

Код
Allow: /turistam/otchety-turistov/*
это будет правильно?
*

Roamer

  • Захожу иногда
  • 150
  • 3 / 0
Цитировать
В каком случае надо прописывать Host? Понятно что только для Yandex и как главное зеркало сайта, что бы поисковик понял какой сайт главный. То есть если несколько доменов которые прикреплены к одному сайту. Правильно? А если у меня один домен, всё равно надо (желательно) прописывать Host?
например, директивой host вы выбираете какое зеркало будет главным с "WWW" или без.
*

secur

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Здравствуйте! Недавно запустил интернет магазин в связке Joomla 1.5.26 + VM 1.1.9 + JoomSEF + плагин JoomSEF для VM. SEF ссылки исправно работают, файл htaccess не редактировал. Проверьте пожалуйста мой robots если не сложно. Слышал, что правила по оформлению robots-a для Яндекса менялись в этом году. Подойдет ли данный вариант? И еще вопросик который меня волнует, закроются ли дубли главной страницы? Например дубль с www. Заранее огромная благодарность за ответ! Вчера добавил сайт в Яндекс, сегодня как оказалось проиндексировалась только главная страничка :(

User-agent: Yandex
Allow: /components/com_virtuemart/shop_image/category
Allow: /components/com_virtuemart/shop_image/product
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /shop/ask/
Disallow: /index.php?
Disallow: /index2.php
Disallow: /*?keyword=
Disallow: /*?pop=0
Disallow: /*product-search
Disallow: /*?flypage=
Disallow: /*cart
Disallow: /*feed
Disallow: /*?
Crawl-delay: 3
Host: sait.ru

Sitemap: http://sait.ru/index.php?option=com_xmap&sitemap=1&view=xml

User-agent: *
Allow: /components/com_virtuemart/shop_image/category
Allow: /components/com_virtuemart/shop_image/product
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /shop/ask/
Disallow: /index.php?
Disallow: /index2.php
Disallow: /*?keyword=
Disallow: /*?pop=0
Disallow: /*product-search
Disallow: /*?flypage=
Disallow: /*cart
Disallow: /*feed
Disallow: /*?
« Последнее редактирование: 23.11.2012, 10:41:26 от secur »
*

profiX0808

  • Захожу иногда
  • 497
  • 70 / 0
Например дубль с www.
http://joomlaforum.ru/index.php/topic,82329.new.html - Как склеить www.домен.ru и домен.ru

Раз уж стоит JoomSEF, то при правильной настройке он должен избавлять от дублей.

По поводу роботса: вбейте основные разновидности ссылок в панели вебмастеров яндекса и увидите какие закрываются от индексации, а какие нет.

*

StyleRocket

  • Давно я тут
  • 567
  • 4 / 3
Тут человек писал:
3. Как исключить вот это из поиска /component/content/?view=featured?
Ему сказали - Disallow: /*=featured
Вопрос, а разве Disallow: /component/ изначально не закрывает все что идет после?
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
Цитировать
а разве Disallow: /component/ изначально не закрывает все что идет после?
закрывает
*

StyleRocket

  • Давно я тут
  • 567
  • 4 / 3
закрывает
Спасибо!
Елле, а поделитесь опытом, как вы находите мусор всякий, у вас что нюх на такие вещи. Вы мне тут находили:
/9-support
/8-icetabs
/7-copyright
/component/mailto/?tmpl=component&template=it_theshop&link=b2708a1722c088df9e04578cfffa4c5433b228ff
Где вы это берете, ума не приложу!?)

Отдельно, как и нужно ли вообще закрывать, Пункт меню Категории all в jShopping /shop/product/view... во избежании дублей?
« Последнее редактирование: 07.12.2012, 01:22:28 от StyleRocket »
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
Елле, а поделитесь опытом, как вы находите мусор всякий, у вас что нюх на такие вещи.
Давно уже поделилась, все в скриншотах задокуметировано и лежит в FAQ'е
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 157
Последний ответ 25.07.2021, 21:38:12
от web1
Как сделать правильный редирект

Автор gadjet

Ответов: 23
Просмотров: 10665
Последний ответ 17.01.2021, 18:00:11
от Vasiliy111
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 295
Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 349
Последний ответ 10.07.2020, 13:12:46
от HolySong
Google Search Console, sitemap.xml и robots.txt

Автор Игарь

Ответов: 7
Просмотров: 541
Последний ответ 20.05.2020, 23:36:20
от Kostelano