Программы для robots.txt - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Народ посоветуете какие нибудь программы для работы с индексацией или для помощи в составлении robots.txt
Ну например было бы вообще в идеале если бы была программа которая находит все ссылки на сайте типа Xenu, только чтобы ей еще можно было скормить файл robots.txt Как бы программа имитирует ПС робота и отображает все ссылки вашего сайта принимая во внимание robots.txt

такие программы платные - это уже спецсредства сеошника и на халяву их не раздают. Напишите в личку - сделаю для вас анализ один раз..

такие программы платные - это уже спецсредства сеошника и на халяву их не раздают. Напишите в личку - сделаю для вас анализ один раз..

Хорошо я готов купить такой программный продукт, дайте ссылочку если есть сайт разработчика., Мне нужно как бы посмотреть на сайт глазами поискового робота, то есть что бы программа нашла все ссылки на сайте и при этом учла файл robots.txt

..хм..  бесплатную помощь (анализ) я предложил, а большего сделать для вас я не могу.

Инструментами или даже ссылками на них я поделиться не могу. Дать рекомендации тоже. Так как это мой хлеб.
Потратив пару лет и энное количество денег вы отберёте то что работает и работает так как вам надо. Может вам повезёт и среди тонн мусора и бестолковых прог вы сразу отыщите то что нужно.

В принципе - практически любая SEO утилита делает подобный анализ. Думаю без труда найдёте и бесплатный вариант, так как это самый базовый и простой инструмент анализа. Погуглите по запросу «анализ сайта», «посмотреть как робот» и т.п.

skai спасибо за предложение, если мне нужны будут какие то платные услуги обязательно к вам обращусь., скажите только что конкретно вы предлагаете, а лучше дайте ссылку на ваш ресурс, если таковой имеется

 

В принципе - практически любая SEO утилита делает подобный анализ. Думаю без труда найдёте и бесплатный вариант, так как это самый базовый и простой инструмент анализа. Погуглите по запросу «анализ сайта», «посмотреть как робот» и т.п.

вот с этого и надо было начать, а то развел тут дискуссию...не дам, не покажу...

skai спасибо за предложение, если мне нужны будут какие то платные услуги обязательно к вам обращусь., скажите только что конкретно вы предлагаете, а лучше дайте ссылку на ваш ресурс, если таковой имеется

я вам предложил бесплатную помощь, а не какие то платные услуги.. 

вот с этого и надо было начать, а то развел тут дискуссию...не дам, не покажу...

- ок. в следущий раз пройду мимо. удачи.

http://pr-cy.ru/robots
Для генерации данных, введите URL вашего сайта, а так же с новой строки, внесите директории, папки и страницы которые следует запретить для индексации.В завершении создайте файл с именем «robots.txt» и поместите его в корневую директорию вашего сайта. (Например: http://www.ваш сайт/robots.txt)

yuri-design, чет я не поняла )) Зачем лишние телодвижения, когда тоже самое можно писать непосредственно в свой файл?

yuri-design, чет я не поняла )) Зачем лишние телодвижения, когда тоже самое можно писать непосредственно в свой файл?

Все правильно....


Но не для всех понятно скорее всего, поэтому и существуют такие формы...
а потом когда человек начал разбираться что к чему, то он и отойдет от этого сам...   

Хм, ну не знаю....мне кажется это еще больше запутает новичков, лучше сразу делать правильно. Сервисы и инструменты существуют для упрощения и/или автоматизации работы, а этот сервис по сути ничего не дает - ну да и бог с ним