Форум русской поддержки Joomla!® CMS
08.12.2016, 16:01:39 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 3.0 FAQ Joomla 2.5 FAQ Joomla 1.5 FAQ Правила форума Новости Joomla Реклама Войти Регистрация Помощь  
Страниц: [1] 2  Все   Вниз
  Добавить закладку  |  Печать  
Автор

Команда в robots.txt

 (Прочитано 1086 раз)
0 Пользователей и 1 Гость смотрят эту тему.
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« : 05.03.2016, 19:52:02 »

В вебмастере Google появилась вот такая ссылка, как страница с повторяющимся метаописанием.

Скажите, является ли такая ссылка дублирующей. Если да, то как закрыть ее в robots.txt?

/ekskursii-na-madeire/gid-na-madeire.html#!kmt-start=10

Спасибо.
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #1 : 05.03.2016, 20:12:30 »

Disallow: /start или по знаку = хотя, по идее # если есть в урле, то это поисковик считает одной страницей с /ekskursii-na-madeire/gid-na-madeire.html, а не ее дублем.
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #2 : 05.03.2016, 20:14:07 »

Ага, спасибо. Но, думаю, лучше закрыть.
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #3 : 05.03.2016, 22:09:41 »

Disallow: /start или по знаку = хотя, по идее # если есть в урле, то это поисковик считает одной страницей с /ekskursii-na-madeire/gid-na-madeire.html, а не ее дублем.

Делал как указано - не помогло.
Записан
flyingspook
Профи
********

Репутация: +226/-9
Offline Offline

Сообщений: 3535


« Ответ #4 : 05.03.2016, 22:23:15 »

Вот так закроет все после .html все что будет дописываться
Код:
Disallow: /ekskursii-na-madeire/gid-na-madeire.html*
только с ПС это удалиться со временем не забывайте
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #5 : 05.03.2016, 22:34:08 »

Вот так закроет все после .html все что будет дописываться
Код:
Disallow: /ekskursii-na-madeire/gid-na-madeire.html*
только с ПС это удалиться со временем не забывайте

Вы уверены, что правильно написали? В таком порядке в вебмастере показывает, что обе ссылки запрещены. Тут что-то неправильно.
Записан
flyingspook
Профи
********

Репутация: +226/-9
Offline Offline

Сообщений: 3535


« Ответ #6 : 05.03.2016, 23:22:20 »

Вы уверены, что правильно написали? В таком порядке в вебмастере показывает, что обе ссылки запрещены. Тут что-то неправильно.
Вы сами уверены что туда смотрите и то делаете

* на конце означает что все что после HTML запрещено, разрешено только /ekskursii-na-madeire/gid-na-madeire.html
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #7 : 06.03.2016, 02:24:17 »

Вы сами уверены что туда смотрите и то делаете

* на конце означает что все что после HTML запрещено, разрешено только /ekskursii-na-madeire/gid-na-madeire.html

Да, я роботс прописал так, как написано, со звездочкой, но вебмастер показывает, что нужная URL /ekskursii-na-madeire/gid-na-madeire.html запрещен правилом.
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #8 : 06.03.2016, 02:28:02 »

Кажется, то, что вы указали, наоборот запрещает все то, что идет вместе с ссылкой, т.е. все, что после .html запрещено, включая и эту ссылку.

Тут нужно что-то другое прописать.

/ekskursii-na-madeire/gid-na-madeire.html#!kmt-start=10 - эта ссылка связана с Komento, т.е. если на нее нажать, то появятся продолжение комментариев. Может это как-то поможет сориентироваться.
« Последнее редактирование: 06.03.2016, 02:35:39 от uisr » Записан
Benefactor
Осваиваюсь на форуме
***

Репутация: +2/-2
Offline Offline

Пол: Мужской
Сообщений: 160



« Ответ #9 : 06.03.2016, 11:55:10 »

Ребят, подскажите.
Есть страницы, который заканчиваются на
"https://site.ru/product/category/type/product/buy",
их порядка 100 штук, как их безболезненно закрыть в роботс?
Код:
Код:
Disallow: */buy
Так?
При этом страницы вида: "https://site.ru/product/category/type/product"
нормально будут индексироваться?
Записан
ELLE
Support Team
*****

Репутация: +862/-0
Offline Offline

Пол: Женский
Сообщений: 4723



« Ответ #10 : 06.03.2016, 12:25:44 »


/ekskursii-na-madeire/gid-na-madeire.html#!kmt-start=10 - эта ссылка связана с Komento, т.е. если на нее нажать, то появятся продолжение комментариев. Может это как-то поможет сориентироваться.
Это не закрывается в robots.txt, все что после решетки # считается якорем, для поисковика одна и та же страница, закрывать тут нечего
Записан
Филипп Сорокин
Живу я здесь
******

Репутация: +121/-3
Offline Offline

Пол: Мужской
Сообщений: 1463


« Ответ #11 : 06.03.2016, 12:58:17 »

Это не закрывается в robots.txt, все что после решетки # считается якорем, для поисковика одна и та же страница, закрывать тут нечего
Если после решётки стоит восклицательный знак: #! то это считается AJAX страницей, и ПС превращают этот фрагмент в GET-запрос: ?_escaped_fragment_=, соответственно, индексирует страницу.
Документация на тему
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #12 : 06.03.2016, 17:17:03 »

А почему нельзя просто Disallow: /*!
Записан
Филипп Сорокин
Живу я здесь
******

Репутация: +121/-3
Offline Offline

Пол: Мужской
Сообщений: 1463


« Ответ #13 : 06.03.2016, 17:22:50 »

Да можно, почему бы и нет? Если нужно вырубить индексацию AJAX-страниц полностью.
Записан
ELLE
Support Team
*****

Репутация: +862/-0
Offline Offline

Пол: Женский
Сообщений: 4723



« Ответ #14 : 07.03.2016, 00:52:42 »

Да можно, почему бы и нет? Если нужно вырубить индексацию AJAX-страниц полностью.
Вы вот учите, но сами синтаксиса не знаете.


А все просто - # в robots.txt знак комментирования (все что за символом # в строке - будет пропущено)
! - недопустимый символ

А значит, в конкретном случае можно  запретить (исходя из вашей же ссылки) только
http://www.example.com/?_escaped_fragment_=blog
Disallow: /*escaped_fragment

А вот http://www.example.com/#!blog уже не запретить, потомушта якорь! То, что бота обучили запрашивать
 ?_escaped_fragment_=blog, еще не делает из этой конструкции не якорь
Записан
Филипп Сорокин
Живу я здесь
******

Репутация: +121/-3
Offline Offline

Пол: Мужской
Сообщений: 1463


« Ответ #15 : 07.03.2016, 12:24:54 »

Цитировать
Вы вот учите, но сами синтаксиса не знаете.
Благодаря "коллективному разуму" форума вероятность ошибки сводится к минимуму. =)
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #16 : 07.03.2016, 12:26:33 »

Хорошо, спасибо всем за разъяснения.
Записан
flyingspook
Профи
********

Репутация: +226/-9
Offline Offline

Сообщений: 3535


« Ответ #17 : 07.03.2016, 12:33:53 »

все что после решетки # считается якорем, для поисковика одна и та же страница, закрывать тут нечего
о чем ранее и писали
Кажется, то, что вы указали, наоборот запрещает все то, что идет вместе с ссылкой, т.е. все, что после .html запрещено, включая и эту ссылку.

Тут нужно что-то другое прописать.

/ekskursii-na-madeire/gid-na-madeire.html#!kmt-start=10 - эта ссылка связана с Komento, т.е. если на нее нажать, то появятся продолжение комментариев. Может это как-то поможет сориентироваться.
start, limit и аналоги если нужно можно и так закрывать
Код:
Disallow: /*kmt-start=*
но не факт что ! знак в URL корректно воспримется для закрытия
Записан
dmitry_stas
Профи
********

Репутация: +798/-4
Online Online

Сообщений: 7774



« Ответ #18 : 07.03.2016, 13:07:35 »

но не факт что ! знак в URL корректно воспримется для закрытия
так а ! и не нужно закрывать. как ELLE и написала, проще всего закрыть
Код:
Disallow: /*escaped_fragment
тем самым закрыв все возможные дубли из-за #!
Записан
Филипп Сорокин
Живу я здесь
******

Репутация: +121/-3
Offline Offline

Пол: Мужской
Сообщений: 1463


« Ответ #19 : 07.03.2016, 13:18:24 »

А можно ещё через шаблон закрыть:
Код:
if(isset($_GET['_escaped_fragment_']))
{
    JFactory::getDocument()->setMetaData('robots', 'noindex');
}
Записан
ELLE
Support Team
*****

Репутация: +862/-0
Offline Offline

Пол: Женский
Сообщений: 4723



« Ответ #20 : 07.03.2016, 14:35:05 »

А у ТС отдает вообще этот escaped_fragment? Это же пс-ы рекомендуют отдавать по такому параметру контент для индексации, но это не значит, что в Комменто оно так

Учитывая реалии Joomla, к ссылке можно дописать хоть ?_escaped_fragment_, а можно что угодно, сути проблемы это не решает. Решит, может быть в данном случае, только тег каноникал
« Последнее редактирование: 07.03.2016, 14:41:40 от ELLE » Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #21 : 07.03.2016, 14:44:12 »

так а ! и не нужно закрывать. как ELLE и написала, проще всего закрыть
Код:
Disallow: /*escaped_fragment
тем самым закрыв все возможные дубли из-за #!

Пробовал ввести эту команду, но все равно не запрещает.

В итоге, как я понял, эта ссылка с якорем не является дублем, так?
Записан
dmitry_stas
Профи
********

Репутация: +798/-4
Online Online

Сообщений: 7774



« Ответ #22 : 07.03.2016, 14:56:26 »

А у ТС отдает вообще этот escaped_fragment?
99% что нет. думаю с escaped_fragment отдается просто точно такая же страница, как и без него. отсюда и дубль. ну а поскольку Яндекс не будет добавлять "что угодно" (я надеюсь Azn ), то в данном случае проблема только с ?_escaped_fragment_ , поэтому можно закрыть только это, и все.

хотя конечно в общем случае
Учитывая реалии Joomla
каноникал - это вообще будет универсальное решение для всех случаев. проблема только в том, чтобы понять, какая же ссылка будет канонической Azn в разных компонентах - разные методы, и так далее. соответственно нужно будет провести работу по каждому, и одним условием в шаблоне это не ограничится.
Записан
dmitry_stas
Профи
********

Репутация: +798/-4
Online Online

Сообщений: 7774



« Ответ #23 : 07.03.2016, 14:56:47 »

ссылка с якорем не является дублем, так?
да
Записан
Филипп Сорокин
Живу я здесь
******

Репутация: +121/-3
Offline Offline

Пол: Мужской
Сообщений: 1463


« Ответ #24 : 07.03.2016, 15:36:24 »

Цитировать
ну а поскольку Яндекс не будет добавлять "что угодно" (я надеюсь Azn )
Надейтесь! Яндекс будет добавлять в индекс всё, что не запрещено. А каноникал не работает ничерта с GET параметрами - и это не секрет - нужно его вручную прописывать.
Записан
dmitry_stas
Профи
********

Репутация: +798/-4
Online Online

Сообщений: 7774



« Ответ #25 : 07.03.2016, 15:47:12 »

надеюсь не добавит - это не про индекс, а про ссылку. надеюсь не добавить "что угодно" к ссылке
Записан
Филипп Сорокин
Живу я здесь
******

Репутация: +121/-3
Offline Offline

Пол: Мужской
Сообщений: 1463


« Ответ #26 : 07.03.2016, 15:51:04 »

надеюсь не добавит - это не про индекс, а про ссылку. надеюсь не добавить "что угодно" к ссылке
Во намудрили! Я, кстати, тоже думал над этим. Кто-нибудь на каком-нибудь форуме напишет ссылку: site.ru/article?blablabla и получится дубль страницы. Поэтому на всех моих сайтах я запретил индексацию страниц с GET параметрами вообще, кроме пагинаторов, конечно, и других компонентов, которые не нужно запрещать.
« Последнее редактирование: 07.03.2016, 16:15:37 от Филипп Сорокин » Записан
dmitry_stas
Профи
********

Репутация: +798/-4
Online Online

Сообщений: 7774



« Ответ #27 : 07.03.2016, 20:52:41 »

Кто-нибудь на каком-нибудь форуме напишет ссылку: site.ru/article?blablabla и получится дубль страницы

угу, по факту так и получается. ELLE об этом же и написала
Учитывая реалии Joomla, к ссылке можно дописать хоть ?_escaped_fragment_, а можно что угодно



Поэтому на всех моих сайтах я запретил индексацию страниц с GET параметрами вообще
я тоже Azn
Код:
Disallow: /*?
и пусть весь мир подождет Azn
Записан
ELLE
Support Team
*****

Репутация: +862/-0
Offline Offline

Пол: Женский
Сообщений: 4723



« Ответ #28 : 07.03.2016, 20:57:36 »

надеюсь не добавить "что угодно" к ссылке
судя по логам бывает, добавляют боты всякую чушь в URL, и с параметрами и без, проверяют таким образом корректность ответа 404. потом если что, в вебмастере предупреждение выносят

у меня на одном заброшенном сайте так даже права слетели Azn из-за того что не было отдачи 404
Показать текстовый блок
« Последнее редактирование: 07.03.2016, 21:10:58 от ELLE » Записан
dmitry_stas
Профи
********

Репутация: +798/-4
Online Online

Сообщений: 7774



« Ответ #29 : 07.03.2016, 21:18:50 »

ндя...
Записан
Страниц: [1] 2  Все   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by SMF 1.1.21 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet