Индексирование сайта в поисковых системах Яндекс и Google - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Добрый вечер уважаемые знатоки Joomla,
прошу помочь в проблеме.
Ситуация в следующем. Мне сделали сайт в Joomla 3х, немного научили как заполнять его и остальную работу по заполнению я выполнял сам. Вроде все сделал правильно, заголовки написал, мета-теги прописал и т.д. создал карту сайта, стандартно сделал robot.txt. Далее стал смотреть как индексируется сайт. и получается что поисковые системы индексируют (особенно гугле), какие то непонятные страницы. Ниже привожу пример:
http://yandex.ru/yandsearch?text=site%3Apolistroi4u.ru&lr=213&suggest_reqid=35170956141849915291332897167662&rnd=33904&csg=0%2C0%2C0%2C0%2C0%2C0%2C0
https://www.google.ru/search?ie=UTF-8&hl=ru&q=site%3Apolistroi4u.ru&gws_rd=ssl#q=site:polistroi4u.ru&newwindow=1&hl=ru&start=100
страницы которые попали в поиск, но не должны были:
http://polistroi4u.ru/wp-includes/wlwmanifest.xml
http://polistroi4u.ru/component/content/featured.html?id=featured
http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html
http://polistroi4u.ru/xmlrpc.php
http://polistroi4u.ru/nashi-raboty/chastnye-pomeshcheniya/2-uncategorised.html
и т.д.
как это могло получиться? и как с этим бороться?
очень надеюсь на вашу помощь....

Это переадресовка яндекса и Google. Если хотите, чтобы определенные страницы попали в поиск, дайте задание роботу на индексацию. Определенный запрет можно наложить в файле robots

Что было сделано чтоб эти страницы не попали в поиск? Ответ - ничего.
http://joomlaforum.ru/index.php/topic,193446.0.html

страницы которые попали в поиск, но не должны были:
http://polistroi4u.ru/wp-includes/wlwmanifest.xml
http://polistroi4u.ru/component/content/featured.html?id=featured
http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html
http://polistroi4u.ru/xmlrpc.php
Дак закрывайте что не должно попадать.
У вас стандартные страницы закрыты, да и то не все:
У каждого свой робот.тхт
Закрывайте и проверяйте на Яндексе, чтоб лишнего не закрыть.
Кино про робот.тхт видео http://www.mani-mani-net.ru/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-%D0%BE%D0%BD%D0%BB%D0%B0%D0%B9%D0%BD-%D1%83%D1%87%D0%B5%D0%B1%D0%BD%D0%BE%D0%B5?start=6
И переадресация с www на без www не сделана.
Ничего не сделано почти.
Disallow: /installation/ можно не закрывать. Директорию удаляете при установке.

может помогли бы разобраться...

А в чем проблема то? просто запретить индекс в sitemap.xml, и отправить в поисковик ни как?
Кстати вроде в поисковиках на веб инструментах можно удалять лишние ссылки...

А в чем проблема то? просто запретить индекс в sitemap.xml, и отправить в поисковик ни как?
Кстати вроде в поисковиках на веб инструментах можно удалять лишние ссылки...

я вот как раз залез в sait map:) две не нужные от туда вроде убрал...
но как эту убрать? http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html или к примеру http://polistroi4u.ru/nashi-raboty/chastnye-pomeshcheniya/2-uncategorised.html
я так понимаю последнюю с помощью robots.txt закрыть для поиска... Disallow: /*uncategorised это значит что если в адресе сайта встречается uncategorised, то она не будет индексироваться?

Мы ведь не знаем что вы хотите закрыть.
страницы которые попали в поиск, но не должны были:
http://polistroi4u.ru/wp-includes/wlwmanifest.xml
Disallow: *xml
http://polistroi4u.ru/component/content/featured.html?id=featured Не устраивает component?
Disallow: /component/
http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html
Disallow: *html
http://polistroi4u.ru/xmlrpc.php
http://polistroi4u.ru/nashi-raboty/chastnye-pomeshcheniya/2-uncategorised.html
У меня так:
Смотрите что вам надо и пишите.
Все просто:
Файл robots txt это простой файл сделанный в текстовом редакторе, его можно создать в блокноте или любом текстовом редакторе. Этот файл можно сделать сразу один для всех поисковых роботов, а также прописать правило для каждого отдельного робота. Делаем просто в редакторе в соответствие с правилами составления и размещаем файл роботс для Joomla или сайта под другой cmc в корне сайта. Сразу в папке www/

В файле присутствует несколько директив:

User-agent: * Можно для всех роботов один писать.

прописывается в самом начале документа.

Работа поискового робота состоит из сессий, по окончание каждой сессии идет запрос к робот тхт.

Если запрос покажет, что этого файла нет, робот считает что разрешено сканировать все страницы.

В robots.txt присутствуют директивы Disallow и Allow

Disallow запрещает доступ к страницам

Allow разрешает.

После User-agent: * нельзя ставить пустых переходов строчки типа должно быть:

User-agent: *

Disallow или Allow

Если поставить #, после символа можно писать комментарии.

Если на одну страницу стоит Disallow и Allow, приоритет отдан будет  Allow.

Disallow закрыто, Allow разрешено.

я вот как раз залез в sait map:) две не нужные от туда вроде убрал...
но как эту убрать? http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html или к примеру http://polistroi4u.ru/nashi-raboty/chastnye-pomeshcheniya/2-uncategorised.html
я так понимаю последнюю с помощью robots.txt закрыть для поиска... Disallow: /*uncategorised это значит что если в адресе сайта встречается uncategorised, то она не будет индексироваться?

Их надо не из Sitemap убирать, а закрывать надо. Убрать то надо, но не это важно. Если есть такие ссылки на сайте, робот их найдет и без Sitemap. Находит те, про которые даже не подозреваем.
Если ссылка будет в Sitemap, а в робот.тхт закрыта. Робот ее проигнорирует просто. В панели вебмастера скажет об этом.

так это получается robots.txt надо постоянно изменять...
http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html
Disallow: *html
в этом случае закрываются все страницы которые заканчиваются на *html?
но мне только эту надо убрать http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html которая заканчивается на на *html, остальные должны индексироваться. может тогда так надо:
Disallow: /nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html ?
Disallow: /*uncategorised - это закрываются все страницы в адресе которых есть uncategorised??

http://polistroi4u.ru/component/content/featured.html?id=featured Не устраивает component?
Disallow: /component/
не устраивает сама страница....

так это получается robots.txt надо постоянно изменять...
http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html
Disallow: *html
в этом случае закрываются все страницы которые заканчиваются на *html?
но мне только эту надо убрать http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html которая заканчивается на на *html, остальные должны индексироваться. может тогда так надо:
Disallow: /nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html ?
Disallow: /*uncategorised - это закрываются все страницы в адресе которых есть uncategorised??

"Это я образно написал. Имелось в виду закрыть на конце с HTML, оставить а индексе http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly
Убрать дубль.
Закройте http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly.html.
останется http://www.polistroi4u.ru/nashi-raboty/2-vid-dekor-pokrtit/66-3d-poly да еще что небудь.
Все закрывается по средствам робот.тхт и перенаправления в .htaccess
Одного средства на все сайты нет. К примеру у кого то в индексе страницы типа: http://сайт?start=2
У кого то: http://www.?start=2
У кого то: http://сайт2?limitstart
Это все одна страница.
Надо проверить что получается на сайте, подумать, что закрыть. И так закрыть, чтоб закрылось то что надо.
Не надо гадать. Надо идти на Яндекс и проверять. Не получиться наскоком нормально сделать.
Проверить в панели вебмастера, чтоб не по закрывать нужное.

http://polistroi4u.ru/component/content/featured.html?id=featured Не устраивает component?
Disallow: /component/
не устраивает сама страница....

В гадалки играем, человек сам должен понять или хотя бы захотеть понять.
Яндекс вебмастер лучше нас скажет. Что правильно, а что нет.
https://webmaster.yandex.ru/robots.xml
Зарегистрироваться надо только у Яндекс, вроде. Может и так пустит. Не знаю.

И переадресация с www на без www не сделана.
Ничего не сделано почти.

а как эту переадресацию сделать? и я так понимаю у меня домейн зарегистрирован без www

Са

а как эту переадресацию сделать? и я так понимаю у меня домейн зарегистрирован без www

Домен не может быть без www это World-Wide-Web. Сайт может быть по адресу с www или без www.
Какой вам раскручивать решаете вы. С www или без. В робот.тхт указываете: Host: www.сайт или без www.  Host: сайт
.htaccess. 2.1 Редирект с www на без www
Код
RewriteCond %{HTTP_HOST} ^www/.site/.ru$ [NC]
RewriteRule ^(.*)$ http://сайт.ru/$1 [R=301,L]

2.2 Редирект без www на www
Код
RewriteCond %{HTTP_HOST} ^site.ru$ [NC]
RewriteRule ^(.*)$ http://www.сайт.ru/$1 [R=301,L]

Коротко, очень коротко что такое www-World-Wide-Web http://www.mani-mani-net.ru/%D0%BE%D0%B1%D0%B7%D0%BE%D1%80-%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B5%D0%B9?start=2

СаДомен не может быть без www это World-Wide-Web. Сайт может быть по адресу с www или без.
Какой вам раскручивать решаете вы. С www или без. В робот.тхт указываете: Host: www.сайт или без.
.htaccess. 2.1 Редирект с www на без www
Код
RewriteCond %{HTTP_HOST} ^www/.site/.ru$ [NC]
RewriteRule ^(.*)$ http://сайт.ru/$1 [R=301,L]

 

2.2 Редирект без www на www
Код
RewriteCond %{HTTP_HOST} ^site.ru$ [NC]
RewriteRule ^(.*)$ http://www.сайт.ru/$1 [R=301,L]

а эти коды куда вписывать?

.htaccess

а эти коды куда вписывать?

Написал ведь выше:
.htaccess.
 2.1 Редирект с www на без www
Код
RewriteCond %{HTTP_HOST} ^www/.site/.ru$ [NC]
RewriteRule ^(.*)$ http://сайт.ru/$1 [R=301,L]

2.2 Редирект без www на www
Код
RewriteCond %{HTTP_HOST} ^site.ru$ [NC]
RewriteRule ^(.*)$ http://www.сайт.ru/$1 [R=301,L]
 Писать в .htaccess.

А что выбирать с www или без www решать вам. Что будете продвигать. Учтите  с www или без www для робота это разные сайты. И один дубль другого.
Как то так.

Написал ведь выше:
.htaccess.
 2.1 Редирект с www на без www
Код
RewriteCond %{HTTP_HOST} ^www/.site/.ru$ [NC]
RewriteRule ^(.*)$ http://сайт.ru/$1 [R=301,L]

2.2 Редирект без www на www
Код
RewriteCond %{HTTP_HOST} ^site.ru$ [NC]
RewriteRule ^(.*)$ http://www.сайт.ru/$1 [R=301,L]
 Писать в .htaccess.

все, нашел куда:)
чисто перепроверить себя:
RewriteCond %{HTTP_HOST} ^www/.polistroi4u.ru/.ru$ [NC]
RewriteRule ^(.*)$ http://polistroi4u.ru.ru/$1 [R=301,L]

А что выбирать с www или без www решать вам. Что будете продвигать. Учтите  с www или без www для робота это разные сайты. И один дубль другого.
Как то так.

значит одно будет как бы зеркало? в моем случаи с www

Зеркало сайта
Определения в Интернете.
Зе́ркало — точная копия данных одного сервера на другом. В Интернете зеркалом сайта называют точную копию другого сайта. Наиболее часто зеркала сайтов используются для предоставления нескольких источников одной и той же информации. ...
http://ru.wikipedia.org/wiki/Зеркало_сайта
https://www.google.ru/search?q=%D1%87%D1%82%D0%BE+%D1%82%D0%B0%D0%BA%D0%BE%D0%B5+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&oq=%D1%87%D1%82%D0%BE+%D1%82%D0%B0%D0%BA%D0%BE%D0%B5+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&aqs=chrome..69i57j0l2.8132j0j1&sourceid=chrome&es_sm=122&ie=UTF-8

Без www закрыть надо.

Зеркало сайта
Определения в Интернете.
Зе́ркало — точная копия данных одного сервера на другом. В Интернете зеркалом сайта называют точную копию другого сайта. Наиболее часто зеркала сайтов используются для предоставления нескольких источников одной и той же информации. ...
http://ru.wikipedia.org/wiki/Зеркало_сайта
Без www закрыть надо.

как понять закрыть? имя сайта правильно вписал?
RewriteCond %{HTTP_HOST} ^www/.polistroi4u.ru/.ru$ [NC]
RewriteRule ^(.*)$ http://polistroi4u.ru.ru/$1 [R=301,L]

как понять закрыть? имя сайта правильно вписал?
RewriteCond %{HTTP_HOST} ^www/.polistroi4u.ru/.ru$ [NC]
RewriteRule ^(.*)$ http://polistroi4u.ru.ru/$1 [R=301,L]

Дак проверьте, пишите адрес без www, должно перекинуть на с www
Или наоборот.

Дак проверьте, пишите адрес без www, должно перекинуть на с www
Или наоборот.

да вот как то без изменений

да вот как то без изменений

Проверьте настройки сервера на хосте

Проверьте настройки сервера на хосте

зашел, увидел от такие настройки. если честно, не знаю как настраивать
Локальный путь URL   polistroi4u.ru/_________ например: /redirect
Тип перенаправления   301 или 302 или 303
URL назначения    http://__________________ eg: http://www.redirected.com
P.S. не знаю как сюда фото вставить...

У вас основной без WWW  с  WWW идет зеркалом. Если хотите сделать наоборот, меняете местами

теперь понятно:) спасибо
еще есть большая проблема, мне что то не то наделал программист, который настаивал сайт и шаблон. Теперь получается Яндекс проиндексировал ссылки, такие как: http://polistroi4u.ru/mozaika/26-poly-dlya-pishchevoj-promyshlennosti.html
http://polistroi4u.ru/mozaika/28-poly-dlya-parkingov.html
тогда как я уже сделал вот так: http://polistroi4u.ru/mozaika/poly-dlya-pishchevoj-promyshlennosti.html
и http://polistroi4u.ru/mozaika/polimernye-poly-dlya-parkingov.html
и таких страниц куча:(
как мне исправить все это дело? и почему какие то цифры в адресе появились?

Цифры алиасами добавляются. Яндекс через время выбросит битые ссылки. Индексация идет не зараз. При изменение проходит недели три пока ссылки появятся в поиске.