Новости Joomla

Вышли релизы Joomla 5.1.0 и Joomla 4.4.4

Проблема с id в URL материалов Joomla при обновлении большого старого сайта до Joomla 5

В старых версиях Joomla URL адрес формировался по схеме [id материала + алиас материала]. Например, 145-my-article-alias. Однако. старый роутер Joomla был не идеален и плодил дубли страниц, с чем усиленно боролись СЕО специалисты с помощью различных плагинов и хаков ядра CMS.

Используем поля Joomla для фильтрации материалов

Перевод статьи одного из разработчиков ядра Joomla Брайана Тимэна (Brian Teeman).

1 ... 11 12 13 14 15   Вниз
0 Пользователей и 1 Гость просматривают эту тему.
  • 447 Ответов
  • 200901 Просмотров
*

stendapuss

  • Давно я тут
  • 945
  • 20 / 0
  • Valera Stankevich
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #360 : 02.09.2015, 19:36:58 »
Цитата: Alona de от 02.09.2015, 15:54:18
Правильной ли будет директива в роботс?  Disallow: /*all чтобы закрыть ссылки типа http://fmd-online.com/biblioteka/all/page2
Правильно будет прописать директиву и проверить на сервисе яндекса. При том что, там все пишется и проверяется.
 А не верить нам на слово.
https://www.google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=%D0%BF%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D1%82%D1%8C%20robots.txt%20%D1%8F%D0%BD%D0%B4%D0%B5%D0%BA%D1%81
Записан
*

Alona de

  • Осваиваюсь на форуме
  • 34
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #361 : 02.09.2015, 20:40:09 »
Цитата: stendapuss от 02.09.2015, 19:36:58
Правильно будет прописать директиву и проверить на сервисе яндекса. При том что, там все пишется и проверяется.
 А не верить нам на слово.
https://www.google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=%D0%BF%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D1%82%D1%8C%20robots.txt%20%D1%8F%D0%BD%D0%B4%D0%B5%D0%BA%D1%81
Проверку прошел все норм, ошибок нет, не уверена что правильно закрыла страницы.
Записан
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #362 : 03.09.2015, 05:49:41 »
Там можно ввести страницу и посмотреть, будет ли она закрытой или открытой
Записан
*

dancan

  • Осваиваюсь на форуме
  • 32
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #363 : 25.09.2015, 00:05:31 »
Привет, посмотрите не наложал ли я с robot.txt для VM2 интернет-магазина
Спойлер
[свернуть]
так же приветствутюся советы!! ^-^ ^-^
Записан
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #364 : 25.09.2015, 00:41:33 »
Думаю лучше открыть картинки и CSS файлы
Записан
*

misha810

  • Новичок
  • 3
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #365 : 14.10.2015, 12:25:39 »
Цитата: Sergey2 от 25.09.2015, 00:41:33
Думаю лучше открыть картинки и CSS файлы
Да в нынешних реалиях CSS открывают
Записан
*

Sedoy

  • Давно я тут
  • 897
  • 87 / 10
  • Интересно,в какой кодировке пишут врачи?
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #366 : 12.11.2015, 14:50:19 »
что нибудь добавилось в Joomla 3.xx, что нужно учитывать в robots
или можно использовать "старый" вариант, под Joomla 1.5xx, который раньше работал на сайте?
 
Записан
Что б правильно задать вопрос - нужно знать на него ответ!
FAQ по Joomla!
Где скачать шаблоны Joomla Статьи и обзоры Желаю Вам здоровья в личной жизни - живите долго и часто :)
*

Legran88

  • Захожу иногда
  • 72
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #367 : 02.12.2015, 12:14:16 »
Здравствуйте, столкнулся с такой проблемой,  как прописать правило, чтобы все страницы, начинающиеся с:
http://trance-sound.ru/index.php?option=com_commedia&format=raw...
Были запрещены к индексации.
Спасибо.
Записан
*

kouichiro

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #368 : 05.12.2015, 06:15:59 »
Здравствуйте,
Гугл говорит "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt"
"Заблокированы" все материалы с такими адресами /index.php/15-хххх/16-ххх
Может быть имеет значение, что они у меня оформлены модулем новостей Deluxe News Pro? :dry:
Помогите пожалуйста, что в роботсе блокирует материалы?
Вроде бы и так его уже обкромсала весь. :(

Спойлер
[свернуть]

UPD: Да, это Disallow: /modules/ все перекрывали. Ответ не нужен уже. ^-^
« Последнее редактирование: 05.12.2015, 23:26:32 от kouichiro »
Записан
*

AABAAAAA--MNT-FPIC

  • Захожу иногда
  • 58
  • 1 / 1
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #369 : 14.12.2015, 17:48:58 »
А кто мне сможет объяснить, а зачем вообще в Joomla по умолчанию этот файл такой?
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Зачем столько перекрыто изначально?
Тот же modules всё равно же потом открывать придётся. Почему сразу не открыт? В чём причина?
Записан
*

stendapuss

  • Давно я тут
  • 945
  • 20 / 0
  • Valera Stankevich
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #370 : 14.12.2015, 18:08:45 »
Цитата: AABAAAAA--MNT-FPIC от 14.12.2015, 17:48:58
А кто мне сможет объяснить, а зачем вообще в Joomla по умолчанию этот файл такой?
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Зачем столько перекрыто изначально?
Тот же modules всё равно же потом открывать придётся. Почему сразу не открыт? В чём причина?
Чтоб робот не тратил время на не нужную инфу. Роботу нужен текст, картинки.
Зачем ему /language/-языковый файл.
/administrator/ панель зачем ему.
/logs/ логи не нужны роботу.
/tmp/  И так далее.
У робота определенное время на сайт.
Пускай он лучше индексирует полезную для индекса инфу, текст картинки.
Все выше перечисленные файлы для индекса и для поисковой выдачи не нужны. В них нет полезной и уникальной инфы. Да помимо этих директорий еще многое закрывать приходиться. дубли допустим. Для каждого сайта свой робот.тхт
Этот файл есть не только на Joomla. Он есть и на других SMS и рукописных сайтах.
К адресу любого сайта допишите robots.txt и удивитесь сколько там понаписано.
https://www.yandex.ru/robots.txt
https://www.google.ru/robots.txt
« Последнее редактирование: 14.12.2015, 18:33:26 от stendapuss »
Записан
*

AABAAAAA--MNT-FPIC

  • Захожу иногда
  • 58
  • 1 / 1
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #371 : 14.12.2015, 18:27:18 »
А вот тогда такой вопрос, а как исправить, что Google ругается вот на это?

Я же не могу открыть для индексации сайт Яндекса
Записан
*

stendapuss

  • Давно я тут
  • 945
  • 20 / 0
  • Valera Stankevich
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #372 : 14.12.2015, 18:41:10 »
Яндекс это ссылка на метрику, счетчик (она и не нужна Googleу.
Не получил доступ к изображению может была перегрузка, может файл не доступен. Может закрыт для индекса.
У картинок адреса какие то не такие.
Если на вашей картинке, выше адрес нормальный. Она отображается
« Последнее редактирование: 14.12.2015, 18:49:55 от stendapuss »
Записан
*

AABAAAAA--MNT-FPIC

  • Захожу иногда
  • 58
  • 1 / 1
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #373 : 14.12.2015, 22:01:03 »
Так как-то реально устранить эти ошибки? Чтобы Google нормально воспринимал? Да, это счётчики. Яндекса и Ливинтернета.
А вот вторая строчка. Это что-то с шрифтом в Joomla не так? Google не видит шрифта этого? Но он же стандартный для Joomla.
Записан
*

stendapuss

  • Давно я тут
  • 945
  • 20 / 0
  • Valera Stankevich
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #374 : 15.12.2015, 05:09:16 »
Цитата: AABAAAAA--MNT-FPIC от 14.12.2015, 22:01:03
Так как-то реально устранить эти ошибки? Чтобы Google нормально воспринимал? Да, это счётчики. Яндекса и Ливинтернета.
А вот вторая строчка. Это что-то с шрифтом в Joomla не так? Google не видит шрифта этого? Но он же стандартный для Joomla.
Гугл может нарыть ссылку не полную. Без одной буквы. У вас по ссылке что открывается?
Да и CSS ему не нужен. Надо чтоб он страницу с материалом видил и читал. К примеру:
Если написано сайт о бананах и Google это читает. Ему не надо в CSS лазить, время убивать. На странице текст уже отображается как надо. Ему надо только понять что сайт адаптирован для планшетов и смартфонов.
Ссылку напишите полностью, может кто подскажет.

В свете последних изменений сайтов и требований надо открыть папку шаблона, CSS откроется тоже. Google будет считать сайт более адоптивным под мобильные.    
http://joomlaforum.ru/index.php?topic=323759.new;topicseen#new

У Google есть функция, ошибки сканирования и далее исправил url.
https://yadi.sk/i/SNEToKQEmEMmm. https://yadi.sk/i/FgnKHz5RmEMoXПокажите в панели веб мастера свои урлы, нужные для индекса. Там же можно страницы добавить для индекса. И проверьте открывается страница или нет.
« Последнее редактирование: 05.02.2016, 15:14:53 от stendapuss »
Записан
*

ИЦ Ресурс

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #375 : 19.01.2016, 14:12:20 »
Добрый день! Подскажите по роботсу, сайт на Joomla 3 с виртмаркт, сейчас такой роботс, есть что добавить-убрать?
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /includes/

Host: resurs-2012.ru
Sitemap: http://resurs-2012.ru/sitemap.xml
Записан
*

bgg87

  • Захожу иногда
  • 164
  • 2 / 0
  • Истина где-то рядом...
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #376 : 05.02.2016, 14:48:56 »
Цитата: ИЦ Ресурс от 19.01.2016, 14:12:20
есть что добавить-убрать?
Зависит от того что вам нужно закрыть или открыть для роботов!
Смотрим страницы в индексе. Ищем всякий мусор и закрываем его в роботс.
Записан
*

gunhunter

  • Осваиваюсь на форуме
  • 15
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #377 : 11.02.2016, 14:14:40 »
всем привет!
у меня сайт состоит из 50 статических страниц и 1000 карточек товаров
почитал данную тему, написал роботс такого вида:

Спойлер
[свернуть]

а вот так выглядит htaccess

Спойлер
[свернуть]

по идее робот должен видеть 1050 страниц...
но на самом деле, при проверке с помощью программы Netpeak Spider выдает около 20 000 страниц....
хотя дубли вроде как отключены....

что сделано не так?
Записан
*

bgg87

  • Захожу иногда
  • 164
  • 2 / 0
  • Истина где-то рядом...
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #378 : 11.02.2016, 15:33:26 »
Цитата: gunhunter от 11.02.2016, 14:14:40
что сделано не так?
А что вам мешает посмотреть какие это страницы и откуда они лезут?
Не знаю как вам, а мне сподручнее XENU... там стразу можно смотреть откуда и какая ссылка появилась, а также показывает битые ссылки (перед сканированием сайта можно поставить любую папку в игнор).
Да, и ещё совет, попробуйте очень удобный и полезный инструмент - "яндекс вебмастер" в особенности "Анализ robots.txt"
Записан
*

gunhunter

  • Осваиваюсь на форуме
  • 15
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #379 : 11.02.2016, 15:45:27 »
Яндекс вебмастером пользуюсь, там все хорошо
Google вебмастер тоже все хорошо
xenu щас поставлю, гляну....
Записан
*

bgg87

  • Захожу иногда
  • 164
  • 2 / 0
  • Истина где-то рядом...
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #380 : 11.02.2016, 16:06:06 »
Цитата: gunhunter от 11.02.2016, 15:45:27
Яндекс вебмастером пользуюсь, там все хорошо
Google вебмастер тоже все хорошо
Я бы ещё проверил путь /component/ (именно этот путь без буквы «S» в окончании) частенько оттуда лезут.
Еще можно в новой панели вебмастера сделать выгрузку всех страниц в индексе, посмотреть что из перечисленного не нужно и добавить в роботс.
Записан
*

primaservic65

  • Новичок
  • 2
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #381 : 04.03.2016, 07:40:47 »
Цитата: profiX0808 от 29.05.2010, 19:45:27
Вроде все правильно. Только зачем для яндекса отдельные "указания", если они идентичные как и для всех "*" ?

Sitemap: http://www.mysite.com/sitemap/xml - здесь имелось ввиду Sitemap: http://www.mysite.com/sitemap.xml ?

Добавьте сайт в панель вебмастера от яндекса, там есть "Анализ robots.txt". Если есть какие проблемы, то там будет написано.
Записан
*

primaservic65

  • Новичок
  • 2
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #382 : 04.03.2016, 07:42:09 »
ПОМОГИТЕ СОСТАВИТЬ ПРАВИЛЬНЫЙ robots.txt , МОЙ САЙТ http://sin-ppua.storeland.ru , СПАСИБО !
Записан
*

bgg87

  • Захожу иногда
  • 164
  • 2 / 0
  • Истина где-то рядом...
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #383 : 14.03.2016, 10:16:32 »
Цитата: primaservic65 от 04.03.2016, 07:42:09
ПОМОГИТЕ
следует заменить на "СОСТАВЬТЕ ЗА МЕНЯ"
Вы попробуйте сами, а когда возникнут трудности тогда можно и помочь...
Записан
*

nicalf

  • Захожу иногда
  • 58
  • 1 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #384 : 15.03.2016, 20:43:02 »
Добрый день!
В Яндексвебмастере структура страниц следующим образом:

mysite.com/
                /magnitofon

А должно быть:
mysite.com/
                 /shop/
                         /magnitofon

Яндекс индексирует страницу mysite.com/magnitofon

Как через Робот.txt запретить подобную индексацию, проиндексировать:
mysite.com/shop/magnitofon

И изменится ли при этом структура сайта?
Записан
*

nicalf

  • Захожу иногда
  • 58
  • 1 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #385 : 15.03.2016, 20:47:11 »
И какая разница если я поставлю слеш после названия директории?

Например:
Disallow: /shop/

Или
Disallow: /shop
Записан
*

bgg87

  • Захожу иногда
  • 164
  • 2 / 0
  • Истина где-то рядом...
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #386 : 15.03.2016, 20:59:58 »
Цитата: nicalf от 15.03.2016, 20:43:02
Как через Робот.txt запретить подобную индексацию, проиндексировать:
mysite.com/shop/magnitofon
Отправить новый сайт или страницу можно тут:
https://webmaster.yandex.ru/addurl.xml
Но вот это не гарантирует, что в следующий ап у вас будет она в индексе.
Проверьте нужную вам страницу в разделе "страницы в индексе".

Запретить страницу mysite.com/magnitofon можно так:
Код
Disallow: /magnitofon$

А вообще все вы лентяи, уж простите! ::)
Прочитать и вникнуть в настройку файла роботс много времени не нужно, тем более если вы туда полезли, значит вам это пригодиться ещё не один раз!

Читаем это:
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
И пользуемся этим в вебмастере яндекс:
Раздел "Настройка индексирования", вкладка "Анализ robots.txt"
Прям там добавляем нужные правила, и нужные УРЛ для проверки в - "Список URL". Если все верно, копируем то что написали и вставляем в роботс на своем сервере/хостинге.
Записан
*

bgg87

  • Захожу иногда
  • 164
  • 2 / 0
  • Истина где-то рядом...
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #387 : 15.03.2016, 21:02:32 »
Цитата: nicalf от 15.03.2016, 20:47:11
И какая разница если я поставлю слеш после названия директории?

Например:
Disallow: /shop/

Или
Disallow: /shop

Огромная.
1 вариант запретил:
mysite.com/shop/
2 вариант запретил:
mysite.com/shop
и
mysite.com/shop/
Записан
*

svarg

  • Захожу иногда
  • 178
  • 1 / 2
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #388 : 18.03.2016, 15:09:13 »
Посмотрите пожалуйста мой робот, интернет-магазин новый, ещё ниодной страницы не индексировано.

User-agent: *
Allow: /images/
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*print*
Disallow: /*print=1
Disallow: /index.php?do=search*
Disallow: /component/search/
Disallow: /index.php?
Disallow: /index2.php
Disallow: /index.php
Disallow: /index.html
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /print
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?do=search*
Disallow: /*format=
Disallow: /*.pdf
Disallow: /*=rss
Disallow: *mailto
Disallow: /?tp=1
Disallow: *&Itemid
Disallow: *showall=&start
Disallow: *all_ads
Disallow: *user


Host: мойсайт.ru/
« Последнее редактирование: 18.03.2016, 15:12:26 от svarg »
Записан
*

kentavr009

  • Новичок
  • 5
  • 0 / 0
Re: Правильный robots.txt? [вопросы/обсуждение]
« Ответ #389 : 13.06.2016, 04:16:16 »
Ребята, посоветуйте начинающему. У меня такой роботс
Спойлер
[свернуть]
в яндексе пока в поиске только главная. Загружено 13 страниц и исключено 11 из-за запрещенного index.php. Удалить его или так и должно быть?
P.S. Сайт еще относительно молодой, и индексироваться начал недели 3 назад.
« Последнее редактирование: 13.06.2016, 04:21:39 от kentavr009 »
Записан
1 ... 11 12 13 14 15   Вверх
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Роботу Googlebot заблокирован доступ в файле robots.txt

Автор illimited

 Ответов: 3
Просмотров: 1778 		Последний ответ 29.05.2022, 14:57:55
от web1
Как сделать правильный редирект

Автор gadjet

 Ответов: 25
Просмотров: 12378 		Последний ответ 17.05.2022, 01:22:12
от kabban
Как лучше прописать robots.txt?

Автор web1

 Ответов: 2
Просмотров: 649 		Последний ответ 25.07.2021, 21:38:12
от web1
Разные robots.txt

Автор yyyuuu

 Ответов: 7
Просмотров: 665 		Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

 Ответов: 0
Просмотров: 670 		Последний ответ 10.07.2020, 13:12:46
от HolySong