0 Пользователей и 1 Гость просматривают эту тему.
  • 54 Ответов
  • 18723 Просмотров
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
Столкнулся с таким фактом, 70-80% страниц сайта исключены роботом Яндекса из поиска по причине 403 ошибки.
Доступ при помощи браузера ко всем страницам, исключенным Яндексом, нормальный и ни каких внешних признаков запрета доступа не видно.
Позвонил хостинг провайдеру, оказалось, что Яндекс (со слов тех поддержки) что-то изменил в своем алгоритме. Я так и не понял что. Но сказали что они исправят настройки сервера и проблема будет решена. Спустя некоторое время получил ответ от тех поддержки специалистов, что настройки изменены. Я спросил, в чем же была проблема, но ответа не получил.
Посмотрел что изменилось на сервере. Похоже, были изменены права на файл /cgi-bin/php4.cgi Права на этот файл стали L777
Решена ли проблема, не знаю. Узнаю при очередном обновлении поисковой базы Яндекса.
Если кто-нибудь встречался с чем-то подобным, напишите как решалась проблема в вашем случае.
*

_ib_

  • Давно я тут
  • 673
  • 100 / 8
обычно клиенты имеют доступ к логам www-сервера, просмотрите их и найдите где там Yandex приходил, там видно будет почему появлялась ошибка 403.
Легальные шаблоны и дёшево!  + скидки до 50% для шаблонов клуба Joomlart, RocketTheme, Yootheme и Gavick.

при интересе пишите в личку или на мыло: "p" точка "d" собака gmx.de
*

si@m

  • Захожу иногда
  • 162
  • 2 / 0
У меня сейчас таже ерунда, у клиента моего весь сайт с этой ошибкой, кроме главной, сайт без cms работает просто набор нескольких HTML страниц, у клиента все продвигаемые запросы с первой страницы улетели на сотые позиции, в самом деле яшу опять подтряхивает :o . Экспереминтаторы хреновы. Ждем следующего апа. Тех поддержка хостера вам не поможет, Яндекс о своих изменениях не очень то информирует, тем более о том как избежать траблов. Я писал Платонам те тоже молчат, судя по всему у них завал в поддержке с подобными темами. В общем чудесатый у нас поисковик.
*

Thailer

  • Осваиваюсь на форуме
  • 48
  • 0 / 0
А мне вообще из Яндекса пришло письмо, типо сайт ваш г..но и поэтому мы его выкинули из индексации.
Типо наполняйте сайт уникальными материалами, развивайте и тогда мы ПОДУМАЕМ, добавить его или нет!

У меня сайт турагентства, где размещены банальные статьи описания курортов, отелей и модуль подбора туров.

Короче, как был Яндекх г..ном, так им и будет.
Коммерческо-барыжная контора.

На локалке запустили бы свой сервис, чтобы не лез к ним никто с г...няными сайтами, которые по мнению их СПЕЦИАЛИСТОВ не заслуживают внимания.

Не зря в народе ходит фраза "ПОГУГЛИТЬ"! Вот где действительно найдется все, не то что у этих, горбатых.

Злой я в общем на этих сволочей. Какие-то дебилоидные у них алгоритмы и стандарты. какой персонал, такой и сервис в общем! crazy!
*

si@m

  • Захожу иногда
  • 162
  • 2 / 0
Уроды уродами а на рынок залезли плотненько и диктуют свои условия. Приходится считаться.
А мне вообще из Яндекса пришло письмо, типо сайт ваш г..но и поэтому мы его выкинули из индексации.
Типо наполняйте сайт уникальными материалами, развивайте и тогда мы ПОДУМАЕМ, добавить его или нет!
Что то новенькое при чем тут тогда ошибка 403? Обычно просто в индекс не пускают, или выкидывают на последние места, такого еще не видел, интересно какую канаплю они там курят? crazy!
*

Thailer

  • Осваиваюсь на форуме
  • 48
  • 0 / 0
Сайт был проиндексирова, даже ТиЦ был, а теперь ничего нет.
Сайт г...ном оказался.
Так решил какой-то Вася в Херандексе.
*

si@m

  • Захожу иногда
  • 162
  • 2 / 0
Не Вася а алгоритм, который этот Вася наваял ;D, а вернее даже Платон Щукин там всем заправляет, вот ему и нужно приветы передовать :laugh:
*

lsk

  • Захожу иногда
  • 362
  • 13 / 5
мы его выкинули из индексации.
Сурово, но отчасти справедливо.
Буквально вчера возникли проблемы с соседом снизу. С 18 до 23 со своим дружбаном напились и гоняли музон на весь дом. три раза пришлось спускаться.
Думаю как этот вопрос отражен в нете? Захожу в Яшу набираю "способы борьбы с шумными соседями". Результат озадачил. Вся первая страница забита сайтами с одной и той же статьей о применении специальных отделочных материалов под видом совета по борьбе.
Так, что если этот мусор будет вычищен авторитет Yandex только вырастет. Хотя и сейчас остальным до него по популярности как до луны.
*

si@m

  • Захожу иногда
  • 162
  • 2 / 0
Если бы владельцы горячо любимой пс Яндекс также заботились о качестве своего сервиса как заботятся о прибыли, Яндекс бы был популярен не только в Росии но и за рубежом, и обганял бы Google, но выходит все иначе вначале хотят денег а потом уж все остальное, гугель тоже не без грешка, но всетаки поиск в нем более адекватен, на сегодняшний день.
Захожу в Яшу набираю "способы борьбы с шумными соседями". Результат озадачил. Вся первая страница забита сайтами с одной и той же статьей о применении специальных отделочных материалов под видом совета по борьбе.
Так, что если этот мусор будет вычищен авторитет Yandex только вырастет. Хотя и сейчас остальным до него по популярности как до луны.
Это результат продвижения каких то сайтов ;D Яшка с нами борится а мы с ним, в итоги страдают все остальные.
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
В продолжении темы.
Яндекс среагировал следующим образом.
В панели веб мастеров появилась ссылка:
Цитировать
# Какие бывают ошибки?
# У меня нет такой ошибки. Это ошибка Яндекса! Куда жаловаться?
на страницу http://help.yandex.ru/webmaster/?id=995376 с текстом:
Цитировать
Страницы, которые помечены как исключённые, в браузере открываются нормально. Что это значит?

Информация о причине исключения страницы из индекса соответствует времени последнего переиндексирования страницы роботом Яндекса. Вам надо дождаться, когда робот переиндексирует "исключённую" страницу. Обратите внимание, что заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером, и даже если вы видите страницу в браузере, это не означает, что сервер не выдал ошибку роботу Яндекса.
Последнее обнаружение 403 ошибки было 27 января, то есть в день обращения в службу поддержки хостинга.
Подожду еще одного обновления поисковой базы яндекса.
Судя по тому, что в Advanced Web Statistics 6.6 (build 1.887) сообщение о 403 ошибке появилось для 1 url, вместо 50000, администраторы сервера видимо действительно исправили ошибку.
Резюме:
Если администраторы серверов не ведают о том что у них творится, сайты находящиеся на этих хостингах вылетят из поиска яндекса.
« Последнее редактирование: 02.02.2010, 18:31:47 от otshelnik »
*

igorksan

  • Давно я тут
  • 503
  • 23 / 1
Так я понимаю решения этой проблемы никто не нашёл? Кроме как писать Яндексу?
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
Ответ яндекса;
Цитировать
Yandex.Addurl
Здравствуйте!

При обращении нашего робота к страницам Вашего сайта он получал код http 403,
в связи с этим страницы не были проиндексированы. Для устранения данной
проблемы, пожалуйста, обратитесь к администратору сервера на котором находится
сайт. Если при следующем заходе робота данной ошибки не возникнет, то страницы
будут проиндексированы и появятся в результатах поиска в течение двух недель.

--
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
Cкрытый или слабовидимый текст
« Ответ #12 : 11.02.2010, 20:02:21 »
Получил сообщение от яндекса:
Цитировать
Здравствуйте, Otshelnik!

Наши алгоритмы обнаружили на страницах сайта otshelnik.net, права на который Вы подтвердили в сервисе Яндекс.Вебмастер, скрытый или слабовидимый текст, недоступный пользователям сайта, и предназначенный исключительно для робота поисковой системы. В связи с этим мы вынуждены частично исключить ваш сайт из поисковой выдачи.

Примеры страниц, на которых обнаружен скрытый текст:
http://zzzzzzzz.net/content/view/285/278/
http://zzzzzzzz.net/content/view/84/127/
http://xxxxxx.su/content/view/253/279/
http://xxxxxx.su/content/view/70/97/
http://xxxxxx.su/content/view/748/804/

Пожалуйста, удалите скрытый текст со страниц сайта. Когда изменения будут внесены, сайт вернется в поиск автоматически.
Если у вас возникли вопросы, вы можете задать их в службу поддержки Яндекса. Для этого воспользуйтесь этой формой.
---
С уважением,
Яндекс.Вебмастер
http://webmaster.yandex.ru

Написал, что такого нет и приложил скриншот.
Получил ответ от яндекса следующего содержания:
Цитировать
Здравствуйте!

Страницы Вашего сайты были помечены как содержащие скрытый текст из-за ошибки
в наших алгоритмах. Сообщение также было отправлено ошибочно. Приносим
искренние извинения за доставленные неудобства.
Сейчас проблема уже устранена и мы приняли меры к тому, чтобы подобные
ошибочные срабатывания не возникали.


--
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/
*

si@m

  • Захожу иногда
  • 162
  • 2 / 0
Это же Яндекс что же вы хотели, приходится терпеть, спросить то с них не спросиш за ошибки, ладно хоть извиняются ;D
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
Вот именно, Яндекс отвечает и извиняется, от Google такого не дождаться.
Писал неоднократно, ни одного ответа.

Дааааа, удивлен  :o  :'( и страшно огорчен...
Мой сайт был на первых местах по тематическим популярным поисковым запросам в Я..., сегодня, я его не нашел... - Полностью удален из поскивой системы, страниц в поисковой системе 0 - я в шоке просто..., столько работы и все в ж... Как то не удовлетворяют их извенения после такого сюрприза  8)
Написал им вопрос... Но есть еще вопросы к вам:
После возвращения сайта на поисковые страницы яндекса, его рейтинг падает или он возвращается на старые места?
*

Webb

  • Захожу иногда
  • 304
  • 19 / 2
  • rusinmd
Вот именно, Яндекс отвечает и извиняется, от Google такого не дождаться.
Писал неоднократно, ни одного ответа.
в Google куда писали? гугловскому платону?
*

malinka

  • Осваиваюсь на форуме
  • 20
  • 0 / 0
  • 9212321 поможем выехать с любого бездорожья
Всем форумчанам причет, у меня вопрос такой, 24 августа в яндексе сайт выпал из индекса вообще, я писала им письма, они ответили что мне надо правильно настроить robots.txt, и зарегистрировать сайт в яндекс-вебмастер, сайт я зарегила еще полгода тому назад, по многим запросам уже была в топ 5, а тут такое, люди-человеки умоляю помогите разобраться в чем моя ошибка, чтобы предупредить ваши вопросы сразу выложу все необходимое
Яндекс-вебмастер
Информация о сайте
ТИЦ ?   10
Страниц в поиске   0
Внешних ссылок на страницы сайта   213
Время последнего посещения сайта роботом   14.08.2010
Загружено роботом   4399
Исключено роботом   1639

Файл роботс.тхт
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php
Host: www.mysite.ru

Sitemap: http://www.mysite.ru/index.php?option=com_xmap&sitemap=1&view=xml

Файл .htaccess

##
# @version $Id: htaccess.txt 14401 2010-01-26 14:10:00Z louis $
# @package Joomla
# @copyright Copyright (C) 2005 - 2010 Open Source Matters. All rights reserved.
# @license http://www.gnu.org/copyleft/gpl.html GNU/GPL
# Joomla! is Free Software
##
#####################################################
#  READ THIS COMPLETELY IF YOU CHOOSE TO USE THIS FILE
#
# The line just below this section: 'Options +FollowSymLinks' may cause problems
# with some server configurations.  It is required for use of mod_rewrite, but may already
# be set by your server administrator in a way that dissallows changing it in
# your .htaccess file.  If using it causes your server to error out, comment it out (add # to
# beginning of line), reload your site in your browser and test your SEF url's.  If they work,
# it has been set by your server administrator and you do not need it set here.
#
#####################################################
##  Can be commented out if causes errors, see notes above.
Options +FollowSymLinks +Indexes
#
#  mod_rewrite in use
RewriteEngine On
RewriteBase /
########## Begin - Rewrite rules to block out some common exploits
## If you experience problems on your site block out the operations listed below
## This attempts to block the most common type of exploit `attempts` to Joomla!
#
## Deny access to extension XML files (uncomment out to activate)
#<Files ~ "\.xml$">
#Order allow,deny
#Deny from all
#Satisfy all
#</Files>
## End of deny access to extension XML files
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a <script> tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
#
ErrorDocument 404 /404.html
########## End - Rewrite rules to block out some common exploits
#  Uncomment following line if your webserver's URL
#  is not directly related to physical file paths.
#  Update Your Joomla! Directory (just / for root)
# RewriteBase /
########## Begin - Joomla! core SEF Section
#
RewriteEngine On
RewriteCond %{HTTP_HOST} ^mysite.ru
RewriteRule (.*) http://www.mysite.ru/$1 [R=301,L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{REQUEST_URI} (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$  [NC]
RewriteRule (.*) index.php
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]
#
########## End - Joomla! core SEF Section
AddHandler php5-script .php .php5
 
умоляю кто разбирается помогите найти причину выпадения из индекса, спамом не занимаюсь у яндекса ко мне претензий нет
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
Host: www.mysite.ru
эта запись присутствует в файле роботс.тхт?
*

malinka

  • Осваиваюсь на форуме
  • 20
  • 0 / 0
  • 9212321 поможем выехать с любого бездорожья
так точно
я вот думаю может я редирект неправильно прописала или 404 ошибку ни туда перенаправила, т.к. в сети конечно написано какие строки в какой файл вставить а куда конкретно они должны быть вставлены не пишут, вот я на ощупь их втыкала, и еще в самом вебмастере автоматически файл роботс.тхт не загружается, тоже не понимаю почему
« Последнее редактирование: 27.08.2010, 16:24:26 от malinka »
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
Удалите эту запись, я думаю дело в этом.
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
У вас фигурирует домен mysite.ru у вас именно этот домен прописан, или ваш реальный?
И совсем не обязательно RewriteEngine On писать дважды.
*

malinka

  • Осваиваюсь на форуме
  • 20
  • 0 / 0
  • 9212321 поможем выехать с любого бездорожья
Удалите эту запись, я думаю дело в этом.
к сожалению не могу, у меня был сайт на Joomla 1.0 c адресом mysite.ru и проиндексированными страницами, по многим запросам в топ 10, я его переделала от и до на Joomla 1.5 общая только тема осталась и адрес главной страницы только он стал www.mysite.ru, а структура сайта полностью изменилась  и чтобы Яндекс мог определить главное зеркало, и перенаправлять запросы на страницы нового сайта, мне надо было указать адрес www.
мне так посоветовали в яндексхелп сделать
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
Если у вас реально существует один сайт на одном домене. То я не стал бы писать ни каких зеркал. Но если все-таки писать то должно быть два сайта один с www другой без. И в том который не основной, в файле robots.txt в конце добавить директиву Host:
На основном сайте директиву Host: в файл robots.txt добавлять не нужно.
http://help.yandex.ru/webmaster/?id=996567#996574
смотри пункт 7
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
Если у вас изменились все URL смысла перенаправлять  «запросы» таким образом, я не вижу. Отправьте  Sitemap яндексу и он проиндексирует сайт по-новому.
*

malinka

  • Осваиваюсь на форуме
  • 20
  • 0 / 0
  • 9212321 поможем выехать с любого бездорожья
Если у вас изменились все URL смысла перенаправлять  «запросы» таким образом, я не вижу. Отправьте  Sitemap яндексу и он проиндексирует сайт по-новому.
давайте еще раз:
1. мне надо из робот.тхт  убрать хост вообще, потому что сайт один, зеркал нет, так?
2. а htaccess надо править?
3.  и почему же всетаки 0 страниц в индексации яндекса?
*

otshelnik

  • Захожу иногда
  • 116
  • 7 / 0
  • мы вместе!
1 оставьте robots.txt, в том виде, что был при инсталляции joomla
2 переименуйте родной файл htaccess.txt в .htaccess
3 Отошлите яндексу (и гуглю) файлы Sitemap.xml
Обратите внимание на то чтобы URL в файле Sitemap.xml были с www или без www , в зависимости от того где у вас находится файл Sitemap.xml.
Если вы что-то сделаете не верно в пункте 3, то в панели управления яндекса или Google, на вкладке Файлы Sitemap у вас будет ошибка, в этом случае удалите или добавьте в URL ы в файле Sitemap.xml префикс www или расположите файл Sitemap.xml в другом месте.
http://help.yandex.ru/webmaster/?id=1007067
4 Подождите недели две и страницы вашего сайта должны быть проиндексированы.
*

malinka

  • Осваиваюсь на форуме
  • 20
  • 0 / 0
  • 9212321 поможем выехать с любого бездорожья
1 оставьте robots.txt, в том виде, что был при инсталляции joomla
2 переименуйте родной файл htaccess.txt в .htaccess
3 Отошлите яндексу (и гуглю) файлы Sitemap.xml
Обратите внимание на то чтобы URL в файле Sitemap.xml были с www или без www , в зависимости от того где у вас находится файл Sitemap.xml.
Если вы что-то сделаете не верно в пункте 3, то в панели управления яндекса или Google, на вкладке Файлы Sitemap у вас будет ошибка, в этом случае удалите или добавьте в URL ы в файле Sitemap.xml префикс www или расположите файл Sitemap.xml в другом месте.
http://help.yandex.ru/webmaster/?id=1007067
4 Подождите недели две и страницы вашего сайта должны быть проиндексированы.

спасибо
*

si@m

  • Захожу иногда
  • 162
  • 2 / 0
А еще важнее всех robots.txt и sitemap.xml отловить дубли на сайте, проверьте все плагины, модули, чтобы они не генирили дублированые страницы, если этого не сделать, ваш сайт долго долго будет находится в аналах выдачи, я в свое время упустил этот момент, потом долго дубли выковыривал из сайта и выдачи поисковиков. Мня бы кто сразу на эту мысль напрвил.  ^-^
*

igorksan

  • Давно я тут
  • 503
  • 23 / 1
Незнаю правильно ли я делаю, но я вообще отказался от sitemap.xml
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

SEO продвижение сайта

Автор ijawyhiti

Ответов: 0
Просмотров: 1935
Последний ответ 03.10.2022, 14:47:05
от ijawyhiti
Как вывести в сниппете название статьи, а потом название сайта?

Автор gorbi_U

Ответов: 0
Просмотров: 817
Последний ответ 18.01.2022, 18:29:22
от gorbi_U
Расширенные описания страниц в Joomla (микроданные, микроформаты, RDFa, schema.org)

Автор ELLE

Ответов: 151
Просмотров: 108658
Последний ответ 20.11.2021, 18:15:42
от Byzi
Решение - Редирект со страниц AMP на обычные

Автор draff

Ответов: 2
Просмотров: 885
Последний ответ 20.11.2021, 17:03:03
от draff
Яндекс и его роботы

Автор Захар

Ответов: 2
Просмотров: 597
Последний ответ 22.10.2021, 09:52:59
от Захар