Крупнейшая биржа рекламы в Телеграм
0 Пользователей и 1 Гость просматривают эту тему.
  • 56 Ответов
  • 19420 Просмотров
*

DmitryCh

  • Осваиваюсь на форуме
  • 17
  • 0 / 0
Собствеенно по сабжу.
--------------------------------
Вот как это выглядят записи в логах при обращении двух разных роботов Яндекса
213.180.216.8 - - [20/May/2006:23:05:37 +0400] "GET /content/blogsection/4/134/ HTTP/1.1" 200 22854 "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.193.53 - - [21/May/2006:01:45:46 +0400] "HEAD / HTTP/1.0" 404 0 "-" "Yandex/2.01.000 (compatible; Win16; Dyatel; C)"
Вторая запись, это собственно запрос дятла (проверялки) Яндекс.Каталога на существование сйта.
--------------------------------

Джамла 1.0.5
Не могу понять почему сайт на Джамла не отвечает нормально? Из-за этого сайт вывалился из публикации в каталоге. У кого какие мысли есть?
« Последнее редактирование: 23.05.2006, 07:20:20 от DmitryCh »
*

triode-master

  • Захожу иногда
  • 103
  • 12 / 14
Re: Дятел Яндекс не любит Joomla
« Ответ #1 : 23.05.2006, 07:17:55 »
1.Плохое название темы!!!
2. код 404
3. Yandex не причем
4.Сайт в студию
Смотрите настройки robots.txt
Смотрите созданную мною тему, там ребята много чего сказали правильно.
Обратите внимание на OPENSEF ЕСЛИ включали и выключали.
*

DmitryCh

  • Осваиваюсь на форуме
  • 17
  • 0 / 0
Re: Дятел Яндекса не любит Joomla
« Ответ #2 : 23.05.2006, 08:05:47 »
1. В названии ошибся только в одной букве :) поправил.
Дятел действительно не Яндекс :) Но, у Яндекса есть дятлы;) - простукивалки такие, на наличие/отсутствие.
А название хорошее. "Креативнинько" - сказал бы мой рекламист. Вот Вы например как быстро заглянули прочитать:)
2. В том и дело, что 404 а должЁн нормально отвечать.
3. Естественно. Вопрос то собственно как раз не в нём а в Джамле.
4. robots.txt по умолчанию, и в данном случае это к делу не относится.
А для чего Вашу тему смотреть? Хотя я её до создания своей ещё прочёл. Там вопрос про проблеммы индексации. У моего же с индексацией с самого рождения всё нормально, тьфу-тьфу:) Роботы у Яндекса не только индексацией занимаются. Вот здесь почитайте http://webmaster.yandex.ru/faq.xml?id=502499#user-agent
ЧПУ так же с самого рождения включены и работают нормально.

Дополнительно:
Если index.php Джамлы заменить на пустой php-скрипт, то все нормально:
===
$ curl -vIi http://www.sait.ru
* About to connect() to www.sait.ru port 80
*   Trying **.29.32.64... connected
* Connected to www.sait.ru (**.29.32.64) port 80
> HEAD / HTTP/1.1
> User-Agent: curl/7.15.0 (i386-unknown-freebsd5.4) libcurl/7.15.0 OpenSSL/0.9.7e zlib/1.2.1
> Host: www.sait.ru
> Accept: */*
>
< HTTP/1.1 200 OK
< Date: Mon, 22 May 2006 08:50:45 GMT
< Server: Apache
< Connection: close
< Content-Type: text/html
* Closing connection #0
===
Отдаёт нормально, код 200

А этот же запрос index.php Джамлы отвечает ошибкой:
===
$ curl -vIi http://www.sait.ru
* About to connect() to www.sait.ru port 80
*   Trying **.29.32.64... connected
* Connected to www.sait.ru (**.29.32.64) port 80
> HEAD / HTTP/1.1
> User-Agent: curl/7.15.0 (i386-unknown-freebsd5.4) libcurl/7.15.0 OpenSSL/0.9.7e zlib/1.2.1
> Host: www.sait.ru
> Accept: */*
>
< HTTP/1.1 404 Not Found
< Date: Mon, 22 May 2006 08:55:30 GMT
< Server: Apache
< Set-Cookie: d3da5a28be64718a8ea12c16c2b416e1=b35b6bc3171c29d86365bc5591eab822; expires=Mon, 22 May 2006 20:55:30 GMT; path=/
< Set-Cookie: mosvisitor=1
< Expires: Mon, 26 Jul 1997 05:00:00 GMT
< Last-Modified: Mon, 22 May 2006 08:55:30 GMT
< Cache-Control: no-store, no-cache, must-revalidate
< Cache-Control: post-check=0, pre-check=0
< Pragma: no-cache
< Connection: close
< Content-Type: text/html
* Closing connection #0
===
А здесь с какого лепит 404, не понятно:(

Возможно ктото с этим уже сталкивался? Или мысль есть?
*

smart

  • Администратор
  • 6485
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Re: Дятел Яндекса не любит Joomla
« Ответ #3 : 24.05.2006, 11:10:06 »
Возможно ктото с этим уже сталкивался? Или мысль есть?
в Joomla 1.0.5 была ошибка, приводящая к неверному возврату 404 ошибки, рекомендую обновиться до 1.0.8
*

DmitryCh

  • Осваиваюсь на форуме
  • 17
  • 0 / 0
Re: Дятел Яндекса не любит Joomla
« Ответ #4 : 27.05.2006, 22:06:25 »
в Joomla 1.0.5 была ошибка, приводящая к неверному возврату 404 ошибки, рекомендую обновиться до 1.0.8
Спасибо Smart
Обновляться ооочень не хотелось  бы :( Кроме вышеуказанного момента всё устраивает.
Что понимается в данном случае под неверным возвратом?
Штука в том, что когда в строке адреса браузера ввожу урл не существующей страницы Джумла отрабатывается всё нормально, ну, т.е. стандартное "Запрашиваимая страница не существует. Пожалуйста, выберите нужную страницу из главного меню". В нормальном дизайне шаблона сайта.
А вот когда Дятел запрос делает получается вот такая штука. Как же её победить, незнаю.
*

raduga

  • Захожу иногда
  • 70
  • 75 / 2
Re: Дятел Яндекса не любит Joomla
« Ответ #5 : 27.05.2006, 22:47:14 »
Спасибо Smart
Обновляться ооочень не хотелось  бы :( Кроме вышеуказанного момента всё устраивает.

Не очень понятно твое нежелание обновляться, это практически не требует никаких усилий.
Для ленивых есть sef.zip
*

smart

  • Администратор
  • 6485
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Re: Дятел Яндекса не любит Joomla
« Ответ #6 : 27.05.2006, 23:49:17 »
Обновляться ооочень не хотелось  бы :(
очень страно... вот смотри:

в Joomla 1.0.7 исправлено :
9 небольших уязвимостей
более 70 ошибок

в Joomla 1.0.8 исправлено :
13 угроз безопасности среднего уровня
23 угрозы безопасности низкого уровня
более 70 некритических ошибок

итого, по сравнению с Joomla 1.0.5, в 1.0.8 исправлено более 140 ошибок и почти полсотни потенциальных уязвимостей... а после выхода 1.0.8 мы выпустили уже 7 неофициальных обновлений, на основе исправлений вышедших после релиза 1.0.8... я лично рекомендую обновиться до 1.0.8!
*

DmitryCh

  • Осваиваюсь на форуме
  • 17
  • 0 / 0
Re: Дятел Яндекса не любит Joomla
« Ответ #7 : 29.05.2006, 21:13:58 »
smart & raduga , спасибо.
Конечно, всё правильно. Уязвимости всякие латать нужно, будь они не ладны.
Меня смущает, то, что 1.0.5 стоит изменённый. В смысле в код движка влезали и делали изменения в нескольких файлах, типа усовершенствования. Где и какие изменения произведены сейчас нет возможности восстановить. Точнее очень сложно, когда не знал да ещё забыл ;) Навешаны также различные компоненты и модули.
Вот меня и мучает, то что не потеряю ли я больше, чем приобрету с пропачиванием.

Я насколько понимаю процедура пропачивания заключается в том, что файл из архива патча заливаются поверх существующих? Соответственно все корректировки летят?

Для ленивых есть sef.zip
Что это и как пользоваться? Где то можно почитать? Сорри за ламвопросы :)
*

DmitryCh

  • Осваиваюсь на форуме
  • 17
  • 0 / 0
Re: Дятел Яндекса не любит Joomla
« Ответ #8 : 29.05.2006, 21:15:25 »
Да, и ещё 1.0.5 стоит Параноя. Совместимость патчей соответственно под вопросом?
*

aquaray

  • Захожу иногда
  • 105
  • 7 / 4
Re: Дятел Яндекса не любит Joomla
« Ответ #9 : 29.05.2006, 23:05:58 »
Да, и ещё 1.0.5 стоит Параноя. Совместимость патчей соответственно под вопросом?
Друг, думаю тебе поможет разработчик самой паронои - _http://andyr.mrezha.ru/. Если не хочешь обновлять систему, тогда найми программиста, пускай копается в изменненом коде.... хотя я сомневаюсь в том, что программист превратить твою юмлу в 1.0.5 параноя MegaSuperEdition(сокращенно MSE) ...
удачи в решении проблемы... ;)
кстати, можешь дать ссылку на сайт, мы бы посмотрели бы.... что там изменили... может что на глаза попадется..а? ^-^
« Последнее редактирование: 29.05.2006, 23:07:37 от aquaray »
*

raduga

  • Захожу иногда
  • 70
  • 75 / 2
Re: Дятел Яндекса не любит Joomla
« Ответ #10 : 29.05.2006, 23:55:11 »
Да, и ещё 1.0.5 стоит Параноя. Совместимость патчей соответственно под вопросом?

Замене подлежит всего один файл - sef.php. Ничего страшного с паранойей не произойдет, можешь перезалить файл.
*

smart

  • Администратор
  • 6485
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Re: Дятел Яндекса не любит Joomla
« Ответ #11 : 30.05.2006, 00:15:34 »
Меня смущает, то, что 1.0.5 стоит изменённый. В смысле в код движка влезали и делали изменения в нескольких файлах, типа усовершенствования. Где и какие изменения произведены сейчас нет возможности восстановить.
а почему-бы не взять и не сравнить файлы которые у тебя на сервере, с оригинальным дистрибутивом Joomla 1.0.5 Paranoia ? потом сравнить содержимое (благо софта для этого много) и не запомнить изменения, потом обновить до Joomla 1.0.8.2 Paranoia и накатить ваши хаки... сторонние компоненты при этом можно не трогать...

если же это проблема, то возьмите файл sef.php который вам посоветовали, и положите его в папку /includes/, заменив существующий
*

DmitryCh

  • Осваиваюсь на форуме
  • 17
  • 0 / 0
Re: Дятел Яндекса не любит Joomla
« Ответ #12 : 30.05.2006, 04:01:31 »
Замене подлежит всего один файл - sef.php
Спасибо. Понял. Попробую на локальной версии поковырять. Чтото не могу увязать, как это. Есть два патча: с 1.0.5. до 1.0.7. и далее с 1.0.7. до 1.0.8. и в тоже время замена одного sef.php приводит получается к аналогичному результату.
sef.php это что универсальный пач какой-то? Файл этот какие функции выполняет, для чего он?
*

DmitryCh

  • Осваиваюсь на форуме
  • 17
  • 0 / 0
Re: Дятел Яндекса не любит Joomla
« Ответ #13 : 30.05.2006, 04:03:04 »
а почему-бы не взять и не сравнить файлы которые у тебя на сервере, с оригинальным дистрибутивом Joomla 1.0.5 Paranoia ? потом сравнить содержимое (благо софта для этого много) и не запомнить изменения, потом обновить до Joomla 1.0.8.2 Paranoia и накатить ваши хаки... сторонние компоненты при этом можно не трогать
Спасибо smart за мысль. Над этим я сразу подумал, только сравнивать в тупую ручками это не серьёзно, а вот софтом это дело. Какой софт для сравнения содержимого порекоммендовать можете? Например чем сами пользуетесь. Я так понимаю, что нужно будет в дальнейшем всё равно разбираться с чем дело имею.
*

annik

  • Осваиваюсь на форуме
  • 39
  • 2 / 1
Re: Дятел Яндекса не любит Joomla
« Ответ #14 : 04.06.2006, 21:08:15 »
А у меня тоже проблема..
Joomla 1.0.8
Сервер вернул код ошибки 404 http://www.yandex.ru/cgi-bin/test-robots?host=www.*********.ru%2F
Что делать? Помогите пожалуйста...
Где и что нужно смотреть.. ???

У меня в робот.тхт такое
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/


у меня сайт лежит не в корне, а в папке ./veps/
и в .htaccess прописана index derictory /veps/index.php
файл робот txt где должен лежать(в корне или в папке veps)? И что в нем пишется, есл я хочу индексировать весь контент?
index,follow ?????
« Последнее редактирование: 25.05.2007, 00:22:52 от annik »
*

Павел Зотов

  • Захожу иногда
  • 166
  • 28 / 5
Re: Дятел Яндекса не любит Joomla
« Ответ #15 : 04.06.2006, 21:44:43 »
А у меня тоже проблема..
Joomla 1.0.8
Сервер вернул код ошибки 404 http://www.yandex.ru/cgi-bin/test-robots?host=www.vepsles.spb.ru%2F

Странно, но тут походу дело не в joomla! у меня стоит просто html и этот робот показывает 404
*

annik

  • Осваиваюсь на форуме
  • 39
  • 2 / 1
Re: Дятел Яндекса не любит Joomla
« Ответ #16 : 04.06.2006, 21:49:26 »
????
Проверил на другом сайте http://www.yandex.ru/cgi-bin/test-robots?host=www.europespb.ru
все работает... вот что пишет...

Запрещена индексация всех URL, начинающихся с указанных префиксов:

/admin/
/blocks/
/images/
/includes/
/lang/
/modules/
/themes/
/upload/
*

DmitryCh

  • Осваиваюсь на форуме
  • 17
  • 0 / 0
Re: Дятел Яндекса не любит Joomla
« Ответ #17 : 05.06.2006, 11:58:06 »
Странно, но тут походу дело не в joomla! у меня стоит просто html и этот робот показывает 404
Какой робот? Вы что проверяете то? Вы же проверяете доступность на сайте файла робот.тхт для робота яндекса.
А вопрос изначально был поднят какой? Про доступность сайта для дятла яндекса, а не для того который робот.тхт проверяет.
Вот, например, тот самый сайт который не отвечает дятлу, спокойно отдаёт прочесть робот.тхт . Пишет:
====================================
Запрещена индексация всех URL, начинающихся с указанных префиксов:
/administrator/
/cache/
/components/
/editor/
/help/
/images/
/includes/
/installation/
/language/
/mambots/
/media/
/modules/
/templates/
======================================
*

annik

  • Осваиваюсь на форуме
  • 39
  • 2 / 1
Re: Дятел Яндекса не любит Joomla
« Ответ #18 : 05.06.2006, 12:12:46 »
А у меня тоже проблема..
Joomla 1.0.8
Сервер вернул код ошибки 404 http://www.yandex.ru/cgi-bin/test-robots?host=www.vepsles.spb.ru%2F
Вставил robot.txt в корень и заработало...
*

DmitryCh

  • Осваиваюсь на форуме
  • 17
  • 0 / 0
Re: Дятел Яндекса не любит Joomla
« Ответ #19 : 05.06.2006, 18:59:09 »
Вставил robot.txt в корень и заработало...
Ну, вот делов то, разобрались ;)

Re: Дятел Яндекса не любит Joomla
« Ответ #20 : 17.09.2006, 18:59:30 »
Кто-нибудь знает почему Яндекс не индексирует мой сайт уже 2 недели!
Главное он обошел почти все страницы(посмотрел в статистике посещений (superlogpro)),
причем очень интересно: где-то 70 страниц примерно за минуту! Не мог же он за 1 секунду проиндексировать 1 страницу!!!
А Rambler проиндексировал 55 страниц (всего на сайте где-то 170), и судя по тойже статистике он тратил на страницу примерно 5-6 минут.
Такое ощущение что он его за что-то банит. Но тогда по идее он не должен был бы идти по ссылкам дальше.

З.Ы. SEF включен и работает вроде нормально, Joomla версии 1.0.11 Stable, AlertSite.com на всех страничках выдает статус OK.

З.З.Ы. Пожалуйста, кто-нибудь, проанализируйте HTML код любой странички на сайте, на наличие ошибок в мета тегах.(может быть из-за них)

Адрес сайта www.it-print.ru

Зарание всем спасибо!
*

4853

  • Захожу иногда
  • 170
  • 20 / 11
Re: Дятел Яндекса не любит Joomla
« Ответ #21 : 17.09.2006, 19:17:16 »
Кто-нибудь знает почему Яндекс не индексирует мой сайт уже 2 недели!
Главное он обошел почти все страницы(посмотрел в статистике посещений (superlogpro)),
причем очень интересно: где-то 70 страниц примерно за минуту! Не мог же он за 1 секунду проиндексировать 1 страницу!!!
А Rambler проиндексировал 55 страниц (всего на сайте где-то 170), и судя по тойже статистике он тратил на страницу примерно 5-6 минут.
Такое ощущение что он его за что-то банит. Но тогда по идее он не должен был бы идти по ссылкам дальше.

З.Ы. SEF включен и работает вроде нормально, Joomla версии 1.0.11 Stable, AlertSite.com на всех страничках выдает статус OK.

З.З.Ы. Пожалуйста, кто-нибудь, проанализируйте HTML код любой странички на сайте, на наличие ошибок в мета тегах.(может быть из-за них)

Адрес сайта www.it-print.ru

Зарание всем спасибо!
Я не знаю, но альты выглядят так:
images/logo1.gif" alt="на&#1091
с этим надо побороться
Этот мета пустой
<meta name="description" content="" />
А вообще, красота требует жертв.
Нет ни одного линка, всё ведёт на сайт через картинки.
Это моё сугубо личное мнение, я бы так ни делал.
Кстати, карта сайта не помешает. Почему многие игнорируют этот компонент?

Re: Дятел Яндекса не любит Joomla
« Ответ #22 : 18.09.2006, 00:34:30 »
Я не знаю, но альты выглядят так:
images/logo1.gif" alt="на&#1091
с этим надо побороться
Этот мета пустой
<meta name="description" content="" />
А вообще, красота требует жертв.
Нет ни одного линка, всё ведёт на сайт через картинки.
Это моё сугубо личное мнение, я бы так ни делал.
Кстати, карта сайта не помешает. Почему многие игнорируют этот компонент?

Да не только красота требует жертв, но и еще заказчик!
Если чесно, я бы тоже так не стал делать.

Вопрос:
Если у меня везде стоит content="text/html; charset=cp1251
а альты, и некоторый текст в другой кодировке(не везде и в перемешку), то какие могут быть проблемы при индексации?
Разве Яндекс автоматически не может определить в какой кодировке он индексирует, не зависимо что написано в content="text/html; charset=cp1251?

А какая разница для Яндекса по каким ссылкам переходить, по текстовым или по картинкам?

Re: Дятел Яндекса не любит Joomla
« Ответ #23 : 18.09.2006, 01:57:08 »
А какая разница для Яндекса по каким ссылкам переходить, по текстовым или по картинкам?
Большая - яндекс не OCR программа и текст на картинке не распознает. Тем более если у нее нету альта или он пустой он вообще шагает по ссылке в куда то неведомое. Естественно неведомое для него мало важно по сравнению с текстовыми ссылками, где он по тексту может попытаться предугадать куда же его и будущего посетителя посылают.

Самый лучший вариант для поисковиков и для доступности страниц - использовать IR (image replacement) - когда в странице пишется текст, поисковик читает текст, screen reader читает текст, а пользователь видит картинку благодаря мощи CSS. Пример можно найти например тут

Кстати, 2 совета 100% касающихся гугла, но думаю яндекса они тоже затрагивают:
1) или ВСЕ ссылки на www. или все на без www. - не мешайте их;
2) полностью прописанные ссылки имеют больший вес, чем начинающиеся со слеша (т.е. http://www.site.ru/vasya.html лучше чем /vasya.html)

Кодировку мне кажется лучше прописать windows-1251 вместо ср-1251
« Последнее редактирование: 18.09.2006, 02:07:57 от Shimon »

Re: Дятел Яндекса не любит Joomla
« Ответ #24 : 18.09.2006, 02:15:37 »
Да я вообще немного сомневаюсь, что яндекс станет индексировать текст в непонятной кодировке и написанный вместо букв кодами.

Я просто заглянул в код страницы "Материалы для наружной рекламы".

Re: Дятел Яндекса не любит Joomla
« Ответ #25 : 18.09.2006, 09:11:58 »
Да действительно вместо руских букв оказались коды.
Это наверное от того что я сами страницы верстал в Macromedia Dreamweaver и встравлял HTML код в JOOMLA(без визуального редактора).
Ладно буду все исправлять. Ух...
Может кто-нибудь знает как быстро перекодировать HTML из одной кодировки в другую?
*

Павел Зотов

  • Захожу иногда
  • 166
  • 28 / 5
Re: Дятел Яндекса не любит Joomla
« Ответ #26 : 18.09.2006, 10:11:45 »
Да действительно вместо руских букв оказались коды.
Это наверное от того что я сами страницы верстал в Macromedia Dreamweaver и встравлял HTML код в JOOMLA(без визуального редактора).
Ладно буду все исправлять. Ух...
Может кто-нибудь знает как быстро перекодировать HTML из одной кодировки в другую?

Все с помощью того же дримвивера

Re: Дятел Яндекса не любит Joomla
« Ответ #27 : 18.09.2006, 19:15:15 »
Все с помощью того же дримвивера
Что-то я не нашел в дримвивере как перекодировать из одной кодировки в другую.
Я делал так: в свойствах страницы указывал кодировку "Кирилица(Windows)", нажимал Reload, буквы так и остались кодами, изменился только тег content="text/html; charset=windows1251 и все!
Может я что-то не так делал? Подскажите пожалуйста!

Re: Дятел Яндекса не любит Joomla
« Ответ #28 : 18.09.2006, 19:47:05 »
Все сам разобрался!
Переконвертировать можно прогой "Штирлиц", причем она понимает очень много кодировок!

Re: Дятел Яндекса не любит Joomla
« Ответ #29 : 18.09.2006, 21:24:00 »
УРА!!! Я перекодировал весь сайт за 3 минуты!!!
В этом мне помогла СУПЕР прога "Штирлиц". Она умеет работать с базой .sql.
Я просто сделал дамп базы и все перекодировал(кстати эта программа делает это моментально, за доли секунды 2 мегабайта)
Так что если вдруг у кого-нибудь будет такой же глюк, смело используйте эту програмулину!

З.Ы. Все буду ждать "одобрения" Яндекса.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

SEO компоненты для Joomla

Автор dron

Ответов: 6
Просмотров: 400
Последний ответ 10.03.2020, 13:22:15
от dron
[Решено] rel="canonical" Joomla 3 как удалить

Автор GraD

Ответов: 113
Просмотров: 43101
Последний ответ 16.02.2020, 09:47:25
от scenann
Чудеса маршрутизации на Joomla или чертовщина с материалами [РЕШЕНО]

Автор dm-krv

Ответов: 9
Просмотров: 517
Последний ответ 06.07.2019, 10:56:58
от dmitry_stas
Настройка title к страницам пагинации на Joomla 3

Автор robotwerder

Ответов: 4
Просмотров: 2854
Последний ответ 02.02.2019, 12:12:45
от Gerostrat
Есть ли в Joomla 3.9 проблема с дублями страниц?

Автор shop-user

Ответов: 13
Просмотров: 1061
Последний ответ 08.01.2019, 14:30:39
от zikkuratvk