0 Пользователей и 1 Гость просматривают эту тему.
  • 445 Ответов
  • 192178 Просмотров
*

Pazys

  • Завсегдатай
  • 1740
  • 241 / 4
  • <a>А где я ошибся-то?</b>
/components/ - проверьте путь ваших товаров (на сайте) и картинок ... картинки точно там лежат.
А у вас еще не индексируется папка /images/
Ишак меня нюхал ...
Если помог - плюсуйте в карму.
*

dabrowski

  • Осваиваюсь на форуме
  • 42
  • 2 / 0
Цитировать
/components/ - проверьте путь ваших товаров (на сайте) и картинок ... картинки точно там лежат.
В каком смысле "проверить"? "Проверил", все ссылки в порядке.
Картинки товаров лежат в
Код
/public_html/components/com_jshopping/files/img_products
Код
А у вас еще не индексируется папка /images/
Следует открыть доступ к этим папкам?
*

Pazys

  • Завсегдатай
  • 1740
  • 241 / 4
  • <a>А где я ошибся-то?</b>
В каком смысле "проверить"? "Проверил", все ссылки в порядке.
Картинки товаров лежат в
Код
/public_html/components/com_jshopping/files/img_products
Код
А у вас еще не индексируется папка /images/
Следует открыть доступ к этим папкам?


У вас картинки с сайта в индекс 100% не попадут

Проверить путь - Ссылка на товар содержит /components ?
Ишак меня нюхал ...
Если помог - плюсуйте в карму.
*

dabrowski

  • Осваиваюсь на форуме
  • 42
  • 2 / 0
Цитировать
Проверить путь - Ссылка на товар содержит /components ?
Нет, не содержит. Все ссылки ЧПУ.
Пример
Код
http://asb-tehno.ru/videonabludenie/videoregistratori/8-kanalnie-videoregistratori/fe-008h

В общем, чтобы картинки с сайта попали в индекс нужно сделать
User-agent: *
Allow: /components/com_jshopping/files/img_products
Allow: /images/

Я правильно понял?
*

Pazys

  • Завсегдатай
  • 1740
  • 241 / 4
  • <a>А где я ошибся-то?</b>
Allow: тут спорный момент .... файл robots.txt делается для запрета. Тоесть он должен только запрещать, а не разрешать.

Поэтому просто сотрите Disallow: /images/
Про картинки Джумшоппинга:
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/
Ишак меня нюхал ...
Если помог - плюсуйте в карму.
*

dabrowski

  • Осваиваюсь на форуме
  • 42
  • 2 / 0
Спасибо большое. Внес необходимые изменения.
Через некоторое время отпишу.
*

ganjik81

  • Осваиваюсь на форуме
  • 34
  • 0 / 1
пустые строчки нельзя допускать
Спойлер
[свернуть]

А для сайта - форум, на компоненте Kunena, как правильно Робот составить? А то недавно пропали с индекса Google почти все страницы.
Ваш вариант подойдет? Или может есть пример?
*

dabrowski

  • Осваиваюсь на форуме
  • 42
  • 2 / 0
Пока что ничего не изменилось. Google все также выводит предупреждения.
*

Pazys

  • Завсегдатай
  • 1740
  • 241 / 4
  • <a>А где я ошибся-то?</b>
Allow: тут спорный момент .... файл robots.txt делается для запрета. Тоесть он должен только запрещать, а не разрешать.

Allow - по идее такая конструкция - ошибочна. Поэтому вам, возможно надо стереть Disallow: /components/ и потом запретить каждый компонент по-отдельности, кроме джумшоппинга.

А что конкретно Google пишет?
Ишак меня нюхал ...
Если помог - плюсуйте в карму.
*

dabrowski

  • Осваиваюсь на форуме
  • 42
  • 2 / 0
Allow - по идее такая конструкция - ошибочна. Поэтому вам, возможно надо стереть Disallow: /components/ и потом запретить каждый компонент по-отдельности, кроме джумшоппинга.
А что конкретно Google пишет?

Она не ошибочна.
Вот как раз, чтобы не делать так, как вы описали и существует директива Allow.
Нужно нам запретить адреса ../components*
Но один из них нужно оставить. Как раз здесь и нужна эта директива.
Получается 2 строчки кода.

А если компонентов 100? 99 Disallow? 200?

Google пишет:
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
Количество: 286 предупреждений.

Проблема достаточно подробно описана в OP-посте.
*

dabrowski

  • Осваиваюсь на форуме
  • 42
  • 2 / 0
Цитировать
Allow directive

Some major crawlers support an Allow directive which can counteract a following Disallow directive.[18] [19] This is useful when one tells robots to avoid an entire directory but still wants some HTML documents in that directory crawled and indexed. While by standard implementation the first matching robots.txt pattern always wins, Google's implementation differs in that Allow patterns with equal or more characters in the directive path win over a matching Disallow pattern.[20] Bing uses the Allow or Disallow directive which is the most specific.[9]

In order to be compatible to all robots, if one wants to allow single files inside an otherwise disallowed directory, it is necessary to place the Allow directive(s) first, followed by the Disallow, for example:

Allow: /directory1/myfile.html
Disallow: /directory1/

This example will Disallow anything in /directory1/ except /directory1/myfile.html, since the latter will match first. The order is only important to robots that follow the standard; in the case of the Google or Bing bots, the order is not important.

Вот, наверное, я нащупал свою ошибку. Мои директивы Allow шли после Disallow, но, опять же
Цитировать
The order is only important to robots that follow the standard; in the case of the Google or Bing bots, the order is not important.

Темное дело.
Изменил robots.txt - вот последняя версия.

Код
User-agent: Yandex
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*

Host: asb-tehno.ru
Sitemap: http://asb-tehno.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=6

User-agent: *
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /cart*
*

Bufitta

  • Новичок
  • 3
  • 0 / 0
Добрый день! Помогите, пожалуйста, советом!
Я склеила дубли страниц материалов сайта, некоторые из ссылок на эти дубли я закрыла в роботсе директивой Disallow: /*?, но остались ссылки, которые я не знаю, чем можно закрыть, например вот эта
molodayamamochka.ru/stati/ya-mama/item/6-немного-о-грудном-вскармливании/6-немного-о-грудном-вскармливании.html
или такая же полностью, только все латиницей, оригинал вот такой
http://molodayamamochka.ru/stati/ya-mama/item/6-nemnogo-o-grudnom-vskarmlivanii.html

Получается, что в этих ссылках дублей страниц нет никаких "левых" знаков, как "?" или "&" или еще что-нибудь, чтобы можно было запретить...
Что прописать в роботсе, чтобы закрыть индексацию подобных ссылок?

И второй вопрос, нужно ли вообще их закрывать от индексации, если прописан редирект? Может, зря мучаюсь) Необходимо только добавить, что эти неверные ссылки уже попали в индекс.
« Последнее редактирование: 24.10.2013, 00:09:14 от Bufitta »
*

tron2

  • Осваиваюсь на форуме
  • 19
  • 0 / 0
Добрый... На сайте есть компонент, который нужно запретить для индексации. Адрес такого вида http://site.ru/index.php/component/option,com_gerald/Itemid,1/sid,10/ . Соответственно, все что дальше option,com_gerald/ нужно запретить для индексации. Я правильно понимаю, что закрывать нужно так?
Disallow: /index.php/component/option,com_gerald/
Спасибо!
*

dabrowski

  • Осваиваюсь на форуме
  • 42
  • 2 / 0
Перезалил файл sitemap на Google - проблема исчезла.
Предыстория:
На этом домене уже был сайт. Я его удалил и сделал новый, выгрузил на хостинг.
Т.к. новый сайт требовал доработки, я запретил его индексацию в robots.txt полностью.

Когда доработка была завершена я снова открыл его для индексации и сделал новый robots.txt (обсуждали в этом треде.) По какой-то причине Google воспринял его как-то "наполовину". Т.е. он видит новый файл, но предупреждения выводил, исходя из старого.

Как только я перезалил sitemap, все проблемы и предупреждения исчезли.
*

ChaosHead

  • Гуру
  • 5233
  • 450 / 13
Наверняка в Джумшопинге есть вариант переложить картинки в папку images, а её уже разрешить
*

Aleks45

  • Осваиваюсь на форуме
  • 39
  • 0 / 0
посмотрите на мой robots.txt все ли верно Joomla 2.5+shopping http://yadi.sk/d/QKtg5OmmDpvJ6
*

tigra-uki

  • Давно я тут
  • 536
  • 11 / 0
  • Joom'лiстка
Здравствуйте.
Опираясь на тему http://joomlaforum.ru/index.php/topic,193446.0.html
При условии, что у меня выбран вариант
"Robots.txt для сайтов Joomla + родной SEF. (при условии, что включен mod_rewrite и переименован файл .htaccess)"
столкнулась с такой проблемой:

1) Использую для создания карты xmap
2) в Robots.txt указала
Allow: /index.php?option=com_xmap&view=xml&id=1
Disallow: /index.php


ни Google, ни Яндекс карту не принимают...

3) пыталась генерировать sitemap.xml с помощью .htaccess следующим образом:
RewriteCond %{REQUEST_URI} ^/sitemap.xml
RewriteRule .* /index.php?option=com_xmap&sitemap=1&view=xml


4) в Robots.txt добавила в начало:
Sitemap: http://мойсайт/sitemap.xml
перенаправление происходит, но, файл sitemap.xml  в корне сайта не формируется...

В чем ошибочка? Как скормить карту поисковикам, при этом запретить к индексации index.php?
Слишком сконцентрированное внимание необходимо разбавлять действием.
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
ни Google, ни Яндекс карту не принимают...
че говорят-то? в яндексе есть проверка корректности карты сайта, - воспользуйтесь
+ http://help.yandex.ru/webmaster/indexing-options/sitemap.xml#reqs
*

tigra-uki

  • Давно я тут
  • 536
  • 11 / 0
  • Joom'лiстка
че говорят-то? в яндексе есть проверка корректности карты сайта, - воспользуйтесь
+ http://help.yandex.ru/webmaster/indexing-options/sitemap.xml#reqs
ситуация более чем забавная - вчера Яндекс в проверке говорил о запрете, сегодня, вроде пишет что ошибок нет. Google же уперто твердит что "URL, запрещенный файлом robots.txt"....
т.е., похоже, ему плевать на мое "Allow: /index.php?option=com_xmap&view=xml&id=1".....:(
Слишком сконцентрированное внимание необходимо разбавлять действием.
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
а он загрузил новый robots ?
может у него старый там пока, инфа не обновилась, вот и висит предупреждение
*

tigra-uki

  • Давно я тут
  • 536
  • 11 / 0
  • Joom'лiстка
а он загрузил новый robots ?
может у него старый там пока, инфа не обновилась, вот и висит предупреждение
о, похоже, что собака зарыта именно там! спасибо! :)
Слишком сконцентрированное внимание необходимо разбавлять действием.
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
на всякий случай проверила



всё прошло успешно

в Robots.txt указала
Allow: /index.php?option=com_xmap&view=xml&id=1
Disallow: /index.php

*

tigra-uki

  • Давно я тут
  • 536
  • 11 / 0
  • Joom'лiстка
ELLE, я тоже как раз проверила.
у меня получилось все как и на Вашем скрине.
Еще раз спасибо! +
Слишком сконцентрированное внимание необходимо разбавлять действием.
*

Nelisiti

  • Новичок
  • 3
  • 0 / 0
Здравствуйте. Как запретить страницы, адрес которых начинается на цифры? (например, site.ru/2-abc.html; site.ru/20-abc.html)
*

MaxPer

  • Осваиваюсь на форуме
  • 18
  • 1 / 0
Подскажите пожалуйста, как правильно закрыть от индексирования в robots.txt облако тегов?
Подойдет ли этот вариант - Disallow: /tag или (установлена Joomla 2.5.9 и K2) в моем случае нужно прописать иначе?
*

Kosshechka

  • Осваиваюсь на форуме
  • 23
  • 0 / 0
проверьте пожалуйста и мой файл

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print
Allow: /images/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print
Allow: /images/

User-agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print
Allow: /images/

Host: www.mamin-sekret.ru

Sitemap: http://mamin-sekret.ru/index.php/site-map.xml




Яндекс выдаёт ошибку
   
19-33   
User-agent: Yandex
Disallow: /administrator/
...
Allow: /images/
51-51   
Host: www.mamin-sekret.ru
53-53   
Sitemap: http://mamin-sekret.ru/index.php/site-map.xml
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0

Яндекс выдаёт ошибку
   
19-33   
User-agent: Yandex
Disallow: /administrator/
...
Allow: /images/
51-51   
Host: www.mamin-sekret.ru
53-53   
Sitemap: http://mamin-sekret.ru/index.php/site-map.xml


Это не ошибка, просто Яндекс показывает какие строчки Вы написали именно для него.
В специальном топике по роботсу от ELLE который находится здесь немного больше строчек. Многих из них, которые запрещают индексацию технических разделов, у Вас нет.
Спойлер
[свернуть]

Я на минутку заглянул на Ваш сайт, извините за наглость))) Картинки у Вас тяжелые. Одну видел на 350 кило, другие около 100 и больше. Оптимизируйте изображения с помощью графических редакторов, программок или онлайн оптимизаторов. Но это так - мелочи. Успешной работы над сайтом.
« Последнее редактирование: 24.02.2014, 00:41:55 от Dorotar »
*

Stasweb

  • Завсегдатай
  • 1457
  • 23 / 0
Скажите сейчас у меня на сайте стоит так
Спойлер
[свернуть]

но Mail.Ru и Яндекс  не видят картинки хочу поставить так
Спойлер
[свернуть]

хотелось бы узнать у знатоков
не повредит это индексации сайта так как Google видит картинки
*

Che Guevara

  • Осваиваюсь на форуме
  • 19
  • 0 / 0
а у меня такая ошибка в GOOGLE:
Доступ запрещен:   
components/com_jshopping/files/img_products/

хотя в robots.txt

User-agent: *
Allow: /images/
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /cart*
Disallow: /xmlrpc/
Disallow: /wishlist
Disallow: /?tmpl


хз че делать. Получается он картинки не видит?  
« Последнее редактирование: 26.06.2014, 10:26:59 от Che Guevara »
*

Pazys

  • Завсегдатай
  • 1740
  • 241 / 4
  • <a>А где я ошибся-то?</b>
У меня записано в самом низу robots.txt, после всех disallow - картинки в индексе.
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/
Allow: /images/
« Последнее редактирование: 17.04.2014, 11:42:44 от Pazys »
Ишак меня нюхал ...
Если помог - плюсуйте в карму.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 157
Последний ответ 25.07.2021, 21:38:12
от web1
Как сделать правильный редирект

Автор gadjet

Ответов: 23
Просмотров: 10665
Последний ответ 17.01.2021, 18:00:11
от Vasiliy111
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 295
Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 349
Последний ответ 10.07.2020, 13:12:46
от HolySong
Google Search Console, sitemap.xml и robots.txt

Автор Игарь

Ответов: 7
Просмотров: 541
Последний ответ 20.05.2020, 23:36:20
от Kostelano