Новости Joomla

Вышли релизы Joomla 5.1.0 и Joomla 4.4.4

Проблема с id в URL материалов Joomla при обновлении большого старого сайта до Joomla 5

В старых версиях Joomla URL адрес формировался по схеме [id материала + алиас материала]. Например, 145-my-article-alias. Однако. старый роутер Joomla был не идеален и плодил дубли страниц, с чем усиленно боролись СЕО специалисты с помощью различных плагинов и хаков ядра CMS.

Используем поля Joomla для фильтрации материалов

Перевод статьи одного из разработчиков ядра Joomla Брайана Тимэна (Brian Teeman).

1 ... 3 4 5 6 7 ... 15   Вниз
0 Пользователей и 1 Гость просматривают эту тему.
  • 447 Ответов
  • 200904 Просмотров
*

tas777

  • Захожу иногда
  • 62
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #120 : 08.02.2013, 20:37:40 »
Цитата: Mr. Jasper от 05.02.2013, 02:41:44
не забывайте что у Robots.txt есть ограничения на размер....Может вам с ЧПУ поработать?
да с чпу конечно было бы супер, но я вот пока что не хочу эксперементировать, поскольку 100% вылетит из индекса, и sape и liex перестанут выдеть ссылки, а это нехорошо )))
Записан
*

metallexportprom

  • Осваиваюсь на форуме
  • 29
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #121 : 03.03.2013, 12:53:46 »
В одной теме был совет поставить мета тег noindex на страницу поиска следующим образом:
Цитировать
2. закрываем результаты поиска (иногда на такие страницы ставят ссылки)
Код

<?php if ($option == 'com_search')  : ?>
<meta name="robots" content="noindex"/>
<?php endif; ?>

*в начале нужно определить переменную
Код:

$option = JRequest::getVar('option', null);

код добавить в файл index.php

Это привело к тому, что тег появился, но и остался стандартный <meta name="robots" content="index, follow" />
Т.е. оба там
<meta name="robots" content="noindex"/>
<meta name="robots" content="index, follow" />

Как убрать стандартный?
Записан
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #122 : 03.03.2013, 13:13:05 »
Записан
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #123 : 03.03.2013, 16:29:03 »
Всем привет.
Интересует директива
Crawl-delay
Статья Яндекс: http://help.yandex.ru/webmaster/?id=1022359

Я недавно переехал из РК в РФ на новый хостинг, хостинг работает быстро, но директива все равно не прописана, и никогда не была.
Вопрос:
Как определить, нуждаемость сайта в данной директиве, стоит ли вообще ее прописывать?
Яндекс пишет:
"Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay"."
но как определить нагрузку?
В панели хостинга есть такая возможность, но я как определить нормальное состояние нагрузки?

Заранее спасибо за ответ

Ох, чуть не забыл:
Цитировать
4. для уменьшения нагрузки на сервер (для Яндекса, Google не учитывает) можно указать ботам временной интервал в секундах       между запросами на загрузку страниц (от 1 до 10)
   Crawl-delay: 3
Получается стоит прописывать, и ставить =3?
Записан
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #124 : 03.03.2013, 16:53:58 »
Цитата: tefun от 03.03.2013, 16:29:03
В панели хостинга есть такая возможность, но я как определить нормальное состояние нагрузки?
состояние нагрузки определяется ресурсами, которые предоставляет ваш хостер и ограничиваются вашим тарифным планом

если проблем нет, то Crawl-delay использовать не обязательно
но.
есть огромное множество ботов, которые не так прилежны как роботы Яндекса, в то же время совершенно не нужны на сайте, да и к тому же они не понимают Crawl-delay
возьмем к примеру Baidu - лидер среди китайских поисковых систем, если у вас сайт на рунет, нужен вам прожорливый китайский бот, который кроме нагрузки никакой полезности не несет?
Записан
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #125 : 03.03.2013, 18:33:37 »
Цитата: ELLE от 03.03.2013, 16:53:58
есть огромное множество ботов, которые не так прилежны как роботы Яндекса, в то же время совершенно не нужны на сайте, да и к тому же они не понимают Crawl-delay
возьмем к примеру Baidu - лидер среди китайских поисковых систем, если у вас сайт на рунет, нужен вам прожорливый китайский бот, который кроме нагрузки никакой полезности не несет?
ELLE спасибо, а какой параметр задать?
Ресурсов хватает, хостинг вроде хороший, да посетителей "раз два да обчелся", но для Baidu и др. я тогда пропишу значение 4 или 5, посередке))), на всякий ;) как считаете, ну по своему опыту, а не по теории?
Записан
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #126 : 03.03.2013, 18:44:46 »
для западных ботов можно использовать -
   Request-rate : 1/10   
( интервал в 10 сек )

не все понимают эти параметры и следуют им
Записан
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #127 : 08.03.2013, 12:49:35 »
Здравствуйте!

У меня Joomla 1.5+virtuemart 1.1.4 В настройках сайта включены SEF, mod_rewrite, суффикс к URL.

Оптимизатор посоветовал такой Robots.txt:
Спойлер
[свернуть]

Вебмастера Google и Яндекс сообщают о намеренно закрытых от индексации 1400 ссылках, которые присутствуют в карте сайта, типа: /catalogue.html?page=shop.browse&category_id=0000. То бишь закрыты страницы с коллекциями товаров.

Подскажите плз, какой правильный должен быть robots.txt для связки joomla+virteumart. В FAQ: robots.txt для Joomla приведены примеры для VirtueMart с SH404. У меня он не стоит.
« Последнее редактирование: 08.03.2013, 12:58:51 от Adrian1111 »
Записан
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #128 : 11.03.2013, 23:15:46 »
Доброй ночи,
Уважаемые форумчане, помогите разобраться с Гуглом((((
Яндекс выдает следущее, когда я делаю проверку карты сайта:
Спойлер
[свернуть]
А Google говорит так:
Спойлер
[свернуть]
получается кто то что то делает не так))
вот мой роботс:
Спойлер
[свернуть]

сознаюсь в том, что я его изменил, тк Яндекс не хотел просматривать карту сайта по данной ссылке. Но потом я все удалил и сделал новый роботс. теперь Яндекс не ругается, а Google не хочет ее индексировать(((
Что делать? Или это дело времени?
Записан
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

Vasiliy111

  • Захожу иногда
  • 248
  • 5 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #129 : 12.03.2013, 23:10:19 »
Серевер сильно нагружен, хочу добавить в robots.txt директорию Crawl-delay:. Подскажите где она прописывается и какую величину лучше установить.
Записан
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #130 : 12.03.2013, 23:18:04 »
Люди, очнитесь!
Посмотрите свои логи, вы уверены что Яндекс так нагружает ваш сервер?
Пауков не то что десятки, а сотни и тысячи, не все из них понимают нестандартную директиву Crawl-delay (и даже не все читают robots.txt)
Особо бешеных надо просто банить.
Записан
*

Rex_One

  • Захожу иногда
  • 453
  • 37 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #131 : 12.03.2013, 23:26:38 »
Цитата: ELLE от 12.03.2013, 23:18:04
Люди, очнитесь!
Посмотрите свои логи, вы уверены что Яндекс так нагружает ваш сервер?
Пауков не то что десятки, а сотни и тысячи, не все из них понимают нестандартную директиву Crawl-delay (и даже не все читают robots.txt)
Особо бешеных надо просто банить.

Эх... создать бы совместными усилиями FAQ по ботам, особенно по «бешанным».
Записан
Кривизна рук не компенсирует прямизну извилин.
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #132 : 12.03.2013, 23:27:07 »
Цитата: ELLE от 12.03.2013, 23:18:04
Люди, очнитесь!
Я кстати вообще удалил дерективы по ботам по времени. Да, согласен их даже и не стоит применять, Яндекс не видит роботс из-за нее(((((
Записан
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

alexmixaylov

  • Осваиваюсь на форуме
  • 49
  • 6 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #133 : 15.03.2013, 17:23:31 »
http://joomlaforum.ru/index.php/topic,115926.msg1294227.html#msg1294227

у меня та же самая петрушка с гуглом  ругается что карта запрещена в роботс тхт
причем яндексу все нравиться
что исправить можно в этой ситуации?

мой робот
Спойлер
[свернуть]
Записан
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #134 : 15.03.2013, 21:06:14 »
Цитата: alexmixaylov от 15.03.2013, 17:23:31
http://joomlaforum.ru/index.php/topic,115926.msg1294227.html#msg1294227

у меня та же самая петрушка с гуглом  ругается что карта запрещена в роботс тхт
причем яндексу все нравиться
что исправить можно в этой ситуации?

мой робот
Спойлер
[свернуть]

2 alexmixaylov
Уберите
Disallow: /index.php? и Disallow: /*?*
и попробуйте,
мне помогло
Лично я index.php запретил сначала, потом хотел сделать как Вы, разрешить ссылку для карты сайта....но передумал, просто убрал все, оставил только запрет на папки
Записан
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

Roinmana

  • Захожу иногда
  • 108
  • 2 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #135 : 22.03.2013, 19:37:39 »
Доброго дня! Подскажите, пожалуйста, новичку как в robots.txt запретить индексирование ссылок на комментарии модуля Komento, которые я расставил под вступлением всех статей? Эти все ссылки оканчиваются одинаково, вот таким образом:  #section-kmt
Записан
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #136 : 22.03.2013, 19:38:46 »
Записан
*

Roinmana

  • Захожу иногда
  • 108
  • 2 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #137 : 22.03.2013, 20:55:52 »
Цитата: ELLE от 22.03.2013, 19:38:46
FAQ : robots.txt для Joomla!
Disallow: /*#section-kmt  Я правильно понял? Просто на счет# сомневаюсь...
Записан
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #138 : 22.03.2013, 21:20:54 »
нет. Неправильно поняли. там есть конкретный ответ на вопрос
Записан
*

bandanu

  • Захожу иногда
  • 162
  • 3 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #139 : 25.03.2013, 20:56:28 »
До этого был сайт на Wordpressе сейчас переделал на Joomla.Наследство от старого сайта осталось в индексе Google в основном теги.Пытаюсь избавится от них. В инструментах для веб-мастеров  Google --трафик --внутренние ссылки
/tag/маяк/   
/tag/ламинат/
/tag/отделка/
/tag/цвет/
куча подобного хлама.Вопрос как правильно их закрыть, удалить из индекса Google?
в роботе прописал так
Disallow: /tag/маяк
Disallow: /tag/ламинат
Disallow: /tag/цвет
как я понимаю Disallow: /tag/* применимо к папке но не к ссылкам и почему такие ссылки /tag/отделка/ в конце слэш и нет расширения(html,php)?
 Яндекс вообще ругается на такой вид Disallow: /tag/маяк      Возможно, был использован недопустимый символ
Записан
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #140 : 25.03.2013, 21:09:14 »
Записан
*

Roinmana

  • Захожу иногда
  • 108
  • 2 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #141 : 31.03.2013, 22:11:50 »
Пожалуйста, взгляните на мой robots и посоветуйте, что правильно, а что нет. Сайт с родным ЧПУ, ссылки статей с номерами вида: http://misite.ru/raznoe/po-i-kompyuter/27-kompyuterizatsiya
Код
User-agent: *
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /log/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /webstat/
Disallow: /404
Disallow: /*?
Disallow: /*&
Disallow: /*pop=
Disallow: /*print=
Disallow: /index.php?
Disallow: /index.php
Disallow: /index.html

User-agent: Yandex
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /log/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /webstat/
Disallow: /404
Disallow: /*?
Disallow: /*&
Disallow: /*pop=
Disallow: /*print=
Disallow: /index.php?
Disallow: /index.php
Disallow: /index.html
Host: misite.ru
Sitemap: http://misite.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
Я заметил, что люди пишут  Disallow: /*?*  , может мне так нужно исправить?
Записан
*

yuras_2

  • Новичок
  • 3
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #142 : 01.04.2013, 15:05:47 »
Можно-ли вместо -                        Disallow: /index.php?
прописывать для дублей контента - Disallow: /index.php?option=com_content&view=article&
чтобы не замарачиваться с Аllow для Xmap ?
Записан
*

Glebovichu

  • Захожу иногда
  • 124
  • 3 / 2
  • Все это было, и вскоре повторится вновь!=)
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #143 : 01.04.2013, 20:29:54 »
Господа и Госпожи, гляньте пожалуйста робот.тхт
Код
User-agent: *         
Allow: /sitemap.xlm
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /shop/ask/
Disallow: /index.php?
Disallow: /index2.php
Disallow: /*keyword=           
Disallow: /*pop=0               
Disallow: /*product-search   
Disallow: /*flypage=            
Disallow: /*cart                   
Disallow: /*feed                   
Disallow: /404                 
Disallow: /*?                       
Disallow: /*%                    
Crawl-delay: 3                   
Host: http://www.gfconsulting.com.ua	
Sitemap: /sitemap.xlm

при заливании карты сайта на Google, тот карту принимает, но говорит следующее:
Проблема:Доступ к URL заблокирован в файле robots.txt.
Описание: Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
Сегодня снял запрет на индексацию сайта всеми роботами. Может вышеприведенная проблема быть связана с тем, что Google еще не подкачал новый робот.тхт?
« Последнее редактирование: 01.04.2013, 20:57:32 от Glebovichu »
Записан
*

Vicente

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #144 : 03.04.2013, 19:22:19 »
Добрый день подскажите правильно-ли сделан robots.txt
Стоит Joomla! 2.5.1+ родной SEF+ Перенаправление Url+ joomshoping Version 3.11.4

Код
User-agent: *	
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss

User-agent: Yandex	
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Host: tehnodent.net
 
Sitemap: http://tehnodent.net/index.php?option=com_xmap&view=xml&tmpl=component&id=1

Яндекс в валидаторе принял карту сайта без ошибок, на роботс тоже не ругался

Google пишет URL, запрещенный файлом robots.txt, но запрет давно снят.

Заранее спасибо
Записан
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #145 : 03.04.2013, 21:56:58 »
2 Glebovichu пропишите полностью URL
Allow: http://www.gfconsulting.com.ua/sitemap.xlm
Записан
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

tefun

  • Живу я здесь
  • 2540
  • 130 / 1
  • Легче всего обмануть себя
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #146 : 03.04.2013, 21:58:22 »
Цитата: Glebovichu от 01.04.2013, 20:29:54
Сегодня снял запрет на индексацию сайта всеми роботами. Может вышеприведенная проблема быть связана с тем, что Google еще не подкачал новый робот.тхт?
а Яндекс что говорит?
Вообще Google сразу загружает карту в веб-мастере и сразу проверяет ее.
Записан
то что постится на фОруме, не вырубается тапОрами
_______________________________________________
Мысли и женщины вместе не приходят М.Ж.
*

Sulpher

  • Живу я здесь
  • 2113
  • 401 / 16
  • Шаблоны и расширения Joomla
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #147 : 05.04.2013, 23:35:42 »
Интересно, а как прописать карту сайта в robots.txt для многоязычного сайта? (например, на двух языках)

Может для Яндекса одна карта (русская версия), для всех остальных поисковиков - другая (английская)? Как это будет выглядеть?
Записан
*

strannik-yura

  • Давно я тут
  • 511
  • 44 / 1
  • :)
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #148 : 06.04.2013, 00:54:08 »
интересный вопрос, даже как-то не задумывался
Записан
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #149 : 06.04.2013, 01:17:20 »
Если так прописать -
Код: robots
User-agent: Yandex
Sitemap: http://сайт/ru/sitemap.xml 

User-agent: *
Sitemap: http://сайт/ru/sitemap.xml 
Sitemap: http://сайт/en/sitemap.xml
Все роботы увидят все карты сайта, потому что директива Sitemap не считается строго секционной.

Поэтому, если нужно дать разным роботам разные Sitemap, то лучше это делать через инструменты для вебмастеров
Записан
1 ... 3 4 5 6 7 ... 15   Вверх
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Роботу Googlebot заблокирован доступ в файле robots.txt

Автор illimited

 Ответов: 3
Просмотров: 1779 		Последний ответ 29.05.2022, 14:57:55
от web1
Как сделать правильный редирект

Автор gadjet

 Ответов: 25
Просмотров: 12378 		Последний ответ 17.05.2022, 01:22:12
от kabban
Как лучше прописать robots.txt?

Автор web1

 Ответов: 2
Просмотров: 649 		Последний ответ 25.07.2021, 21:38:12
от web1
Разные robots.txt

Автор yyyuuu

 Ответов: 7
Просмотров: 665 		Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

 Ответов: 0
Просмотров: 670 		Последний ответ 10.07.2020, 13:12:46
от HolySong