Форум русской поддержки Joomla!® CMS
06.12.2016, 23:59:36 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 3.0 FAQ Joomla 2.5 FAQ Joomla 1.5 FAQ Правила форума Новости Joomla Реклама Войти Регистрация Помощь  
Страниц: [1]   Вниз
  Добавить закладку  |  Печать  
Автор

Может ли Joomla блокировать индексацию страниц?

 (Прочитано 532 раз)
0 Пользователей и 1 Гость смотрят эту тему.
InWish
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 73


« : 06.06.2015, 21:48:45 »

Заметил резкий спад трафика с Google, захожу в ВМ-панель и вижу 200+ заблокированных страниц, причем заблокированы те страницы, общий путь для которых был разрешен. Файлы robots.txt и .htaccess не трогал, хостинг сообщил, что никаких изменений с это стороны не поступало.

Полная ошибка звучит так - Increase in authorization permission errors.

Google detected a significant increase in the number of URLs we were blocked from crawling due to authorization permission errors.

Файл .htaccess, ранее в нем был тольк 301 редирект, но сейчас его удалил и оставил только так -

Код:
<IfModule mod_rewrite.c>
Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www\.free-shards\.ru$ [NC]
RewriteRule ^(.*)$ http://free-shards.ru/$1 [R=301,L]
</IfModule>


##
# @package    Joomla
# @copyright  Copyright (C) 2005 - 2014 Open Source Matters. All rights reserved.
# @license    GNU General Public License version 2 or later; see LICENSE.txt
##

##
# READ THIS COMPLETELY IF YOU CHOOSE TO USE THIS FILE!
#
# The line just below this section: 'Options +FollowSymLinks' may cause problems
# with some server configurations.  It is required for use of mod_rewrite, but may already
# be set by your server administrator in a way that dissallows changing it in
# your .htaccess file.  If using it causes your server to error out, comment it out (add # to
# beginning of line), reload your site in your browser and test your SEF url's.  If they work,
# it has been set by your server administrator and you do not need it set here.
##

## Can be commented out if causes errors, see notes above.
Options +FollowSymLinks

## Mod_rewrite in use.

RewriteEngine On

## Begin - Rewrite rules to block out some common exploits.
# If you experience problems on your site block out the operations listed below
# This attempts to block the most common type of exploit `attempts` to Joomla!
#
# Block out any script trying to base64_encode data within the URL.
RewriteCond %{QUERY_STRING} base64_encode[^(]*\([^)]*\) [OR]
# Block out any script that includes a <script> tag in URL.
RewriteCond %{QUERY_STRING} (<|%3C)([^s]*s)+cript.*(>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL.
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL.
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Return 403 Forbidden header and show the content of the root homepage
RewriteRule .* index.php [F]
#
## End - Rewrite rules to block out some common exploits.

## Begin - Custom redirects
#
# If you need to redirect some pages, or set a canonical non-www to
# www redirect (or vice versa), place that code here. Ensure those
# redirects use the correct RewriteRule syntax and the [R=301,L] flags.
#
## End - Custom redirects

##
# Uncomment following line if your webserver's URL
# is not directly related to physical file paths.
# Update Your Joomla! Directory (just / for root).
##

# RewriteBase /

## Begin - Joomla! core SEF Section.
#
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
#
# If the requested path and file is not /index.php and the request
# has not already been internally rewritten to the index.php script
RewriteCond %{REQUEST_URI} !^/index\.php
# and the request is for something within the component folder,
# or for the site root, or for an extensionless URL, or the
# requested URL ends with one of the listed extensions
RewriteCond %{REQUEST_URI} /component/|(/[^.]*|\.(php|html?|feed|pdf|vcf|raw))$ [NC]
# and the requested path and file doesn't directly match a physical file
RewriteCond %{REQUEST_FILENAME} !-f
# and the requested path and file doesn't directly match a physical folder
RewriteCond %{REQUEST_FILENAME} !-d
# internally rewrite the request to the index.php script
RewriteRule .* index.php [L]
#
## End - Joomla! core SEF Section.
Action php5.4-script  /cgi-bin/php5.4.cgi
AddType php5.4-script .php

Robots.txt, в Allow явно добавил директивы для тех адресов, которые Google заблокировал почему-то

Код:
# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the Joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml



User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /templates/
Allow: /games/
Allow: /servers/
Allow: /games-company/
Allow: /clans/
Allow: /component/contact/
Allow: /game-marketing/
Host: free-shards.ru
Sitemap: http://free-shards.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
Записан
InWish
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 73


« Ответ #1 : 06.06.2015, 21:53:03 »

Также хотел бы отметить, что на сайте отсутствует регистрация и вход для пользователей, а также отдельная группа страниц, просматривать которые могут не все. Поэтому вообще не понятна причина возникновения ошибки Shocked, кстати robots.txt проверил как в Google, так и в яндексе и ошибок там не обнаружено.
Записан
InWish
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 73


« Ответ #2 : 07.06.2015, 13:32:04 »

ап
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Online Online

Пол: Мужской
Сообщений: 4392



« Ответ #3 : 07.06.2015, 13:40:31 »

Цитировать
захожу в ВМ-панель и вижу 200+ заблокированных страниц
Ну хоть пример страниц покажите. Сайт в админке не закрывали на работы?
Записан
Taatshi
Support Team
*****

Репутация: +430/-3
Offline Offline

Пол: Женский
Сообщений: 4718

Мама, я снова верстал во сне...


« Ответ #4 : 07.06.2015, 15:50:33 »

Вот когда с доступом баловались - напортачили. Вам прямым текстом говорят, что ошибка в правах доступа.
Записан
InWish
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 73


« Ответ #5 : 07.06.2015, 19:32:10 »



Я не прогал доступ, говорю же, у меня на сайте нету регистрации, входа и отдельных страниц на которых стоит иной доступ. ВСЕ ОБЩЕДОСТУНО.
Записан
InWish
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 73


« Ответ #6 : 07.06.2015, 19:40:34 »

Ну хоть пример страниц покажите. Сайт в админке не закрывали на работы?

нет. Например страница http://free-shards.ru/games-company/30-mail-ru/52-games-mail-nds
не попадает в индекс, несмотря на то, что директорию я никогда не закрывал. (сейчас разрешил явно)
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Online Online

Пол: Мужской
Сообщений: 4392



« Ответ #7 : 07.06.2015, 19:40:56 »

На этом скрине он пишет, что заблокирован CSS в папке templates. Её можно открыть в robots
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Online Online

Пол: Мужской
Сообщений: 4392



« Ответ #8 : 07.06.2015, 19:41:44 »

Цитировать
Например страница http://free-shards.ru/games-company/30-mail-ru/52-games-mail-nds
Сейчас эта страница отдаёт 200 Ок
У Google она в индексе https://www.google.ru/search?hl=en&q=info:http://free-shards.ru/games-company/30-mail-ru/52-games-mail-nds&gws_rd=cr&ei=P2Z0VZf8GsKyswGWqJaYCw
Записан
InWish
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 73


« Ответ #9 : 07.06.2015, 20:49:19 »

Убрал блокировку CSS в шаблоне. Сейчас страница у меня открывает норм.
Это видимо остаточный кэш системы, при явном запросе показывает результат, но при обычном может проигнорировать
Записан
InWish
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 73


« Ответ #10 : 08.06.2015, 20:25:31 »

Что еще можно сделать, или это только из-за блокировки CSS?
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Online Online

Пол: Мужской
Сообщений: 4392



« Ответ #11 : 08.06.2015, 21:00:18 »

Показать пример заблокированного в Google URL, прошлый не был заблокирован. Пока разговариваем о чем-то, не знаем о чем.
Записан
InWish
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 73


« Ответ #12 : 08.06.2015, 23:34:41 »

http://free-shards.ru/game-marketing/158-minecraft-popular-youtube
http://free-shards.ru/games/17-dota2
http://free-shards.ru/games/9-archeage/203-loot-resources
....




Записан
ChaosHead
Профи
********

Репутация: +381/-10
Online Online

Пол: Мужской
Сообщений: 4392



« Ответ #13 : 09.06.2015, 00:00:20 »

Так страницы в индексе, вы хоть проверяйте.
https://www.google.ru/search?hl=en&q=info:http://free-shards.ru/game-marketing/158-minecraft-popular-youtube
https://www.google.ru/search?hl=en&q=info:http://free-shards.ru/games/17-dota2
https://www.google.ru/search?hl=en&q=info:http://free-shards.ru/games/9-archeage/203-loot-resources
На скринах он ругается на закрытый templates.css, скорее всего не перепроверил ещё. Этот файл ему нужен, чтобы узнать есть ли у вас адаптивный шаблон, не более.
Записан
InWish
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 73


« Ответ #14 : 09.06.2015, 00:22:22 »

То что страницы в индексе, это еще не говорит о том, что они будут адекватно стоять при ранжировании. Google мне говорит, что они заблокированны в css-файле robots.txt, блокировку CSS в robots.txt я убрал. Если верить гугл-постулату - Google должен видеть сайт также, как его видит посетитель, то деятельность по блокировке CSSможет снизить позиции, из-за чего же еще проблема, если он постоянно ссылается на CSS при одной и той же ошибки для 200+ адресов?
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Online Online

Пол: Мужской
Сообщений: 4392



« Ответ #15 : 09.06.2015, 01:22:52 »

Перечитайте, что вам говорит Google, там нигде не написано, что страница заблокирована. У вас бурная фантазия на счёт снижения позиций. Давайте обсуждать факты, а не домыслы.
А факты таковы: То, что Google объявлял, что не нужно закрывать в robots файлы CSS и js тут известно. Мы это обсуждали ещё в сентябре 2014, в том числе на что это влияет: http://joomlaforum.ru/index.php/topic,300734.msg1492031.html#msg1492031

В последних версиях Joomla папка templates не закрыта в robots, можете проверить и убедится в этом сами. Последняя версия robots.txt при обновлении сохраняется под именем robots.txt.dist, чтобы не затереть ваши изменения. Даже сообщения выводились, что в robots нужно внести изменения.
Так что Joomla как раз таки подсуетилась вовремя, а вы прозевали Wink Да и у вас всё равно шаблон не адаптивный, мобильной версии Google в template.css там не увидит в любом случае. Наличие мобильного шаблона влияет на позиции в мобильной выдаче (не основной), это инфа от Google. А по факту практически не влияет.
« Последнее редактирование: 09.06.2015, 01:39:10 от ChaosHead » Записан
InWish
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 73


« Ответ #16 : 09.06.2015, 03:46:26 »

О плохом ранжировании в результате блокировки ксс и скриптов я прочитал в developers.google в рекомендациях по адаптации сайта. и его индексировании, так что это не только мои домыслы. У меня всю жизнь трафик с Google был в 2 раза больше яндекса, а с апреля-мая наоборот, и только лишь в этом я вижу причину.

Шаблон не адаптивный, т.к. при разработке нацеливался именно на компьютерный трафик (ибо тематика такая), но вскоре будет допетриваться как шаблон, так и cms
Записан
Страниц: [1]   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by SMF 1.1.21 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet