Блокировка ботов в.htaccess - Joomla 1.5: Общие вопросы

Добрый день.
Помогите, пожалуйста, побороть ботов...
В htaccess я вставила список ботов, которые непрошеные. Но, некоторые из этого списка продолжают ходить (Baiduspider, AhrefsBot и ежи с ними).Это значит, что не работает от них защита? Значит, нужно еще где-то прописывать? Где?
И, еще вопрос. Ко мне зачастил сайт www.iana.org с разных ip-адресов. Ходит, сканирует, лазяет везде... Ведет себя не как посетитель. В инете пробила, в википедии почитала. Одни пишут, что радоваться надо, вроде бы на индексацию положительно повлияет. Другие пишут, что не очень-то это и хорошо.
Я же со всех IP адресов, откуда заходили с www.iana.org закрыла доступ, поставила эти IP адреса в черный список и разместила в .htaccess. Правильно ли я сделала? Не навредю ли я себе этим? Вот, спрашиваю у точно знающих на этом форуме, здесь всегда дают правильные и дельные советы. Не откажите и на этот раз, пожалуйста.
Буду признательна за помощь. Спасибо.

яна-орг - это или проверяют регистрационные данные или типа того))) сколько их там в день-то заходит? все ай-пи для яны-орг не закроете, зря напрягаетесь))) а вот сервер свой можете напрячь, если у вас список ай-пи больше 100 будет)))
чем вам так страшны все эти боты? непонятно.. куда они ломятся?
я баню всех, кто ломится в папку администратора, остальные пусть себе лазят
где возможно, то делаю вход в папку админа вообще по паролю

напишите, как вы пишите в htaccess, а то может ошибка где у вас...

Надо перенести сайт на домашний комп, отключить от интернета, положить в сейф комп и съесть ключи!

У меня в .htaccess указано:
##
# @version $Id: htaccess.txt 21064 2011-04-03 22:12:19Z dextercowley $
# @package Joomla
# @copyright Copyright (C) 2005 - 2010 Open Source Matters. All rights reserved.
# @license http://www.gnu.org/copyleft/gpl.html GNU/GPL
# Joomla! is Free Software
##


#####################################################
#  READ THIS COMPLETELY IF YOU CHOOSE TO USE THIS FILE
#
# The line just below this section: 'Options +FollowSymLinks' may cause problems
# with some server configurations.  It is required for use of mod_rewrite, but may already
# be set by your server administrator in a way that dissallows changing it in
# your .htaccess file.  If using it causes your server to error out, comment it out (add # to
# beginning of line), reload your site in your browser and test your SEF url's.  If they work,
# it has been set by your server administrator and you do not need it set here.
#
#####################################################

##  Can be commented out if causes errors, see notes above.
Options +FollowSymLinks

#
#  mod_rewrite in use

RewriteEngine On

########## Begin - Rewrite rules to block out some common exploits
## If you experience problems on your site block out the operations listed below
## This attempts to block the most common type of exploit `attempts` to Joomla!
#
## Deny access to extension XML files (uncomment out to activate)
#<Files ~ "\.xml$">
#Order allow,deny
#Deny from all
#Satisfy all
#</Files>
## End of deny access to extension XML files
# Block out any script trying to set a mosConfig value through the URL
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode data within the URL
RewriteCond %{QUERY_STRING} base64_encode[^(]*\([^)]*\) [OR]
# Block out any script that includes a <script> tag in URL
RewriteCond %{QUERY_STRING} (<|%3C)([^s]*s)+cript.*(>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Return 403 Forbidden header and show the content of the root homepage
RewriteRule .* index.php [F]
#
########## End - Rewrite rules to block out some common exploits


########## Begin - Custom redirects
#
# If you need to redirect some pages, or set a canonical non-www to
# www redirect (or vice versa), place that code here. Ensure those
# redirects use the correct RewriteRule syntax and the [R=301,L] flags.
#
########## End - Custom redirects


#  Uncomment following line if your webserver's URL
#  is not directly related to physical file paths.
#  Update Your Joomla! Directory (just / for root)

# RewriteBase /


########## Begin - Joomla! core SEF Section
#
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
#
# If the requested path and file is not /index.php and the request
# has not already been internally rewritten to the index.php script
RewriteCond %{REQUEST_URI} !^/index\.php
# and the request is for root, or for an extensionless URL, or the
# requested URL ends with one of the listed extensions
RewriteCond %{REQUEST_URI} (/[^.]*|\.(php|html?|feed|pdf|raw))$ [NC]
# and the requested path and file doesn't directly match a physical file
RewriteCond %{REQUEST_FILENAME} !-f
# and the requested path and file doesn't directly match a physical folder
RewriteCond %{REQUEST_FILENAME} !-d
# internally rewrite the request to the index.php script
RewriteRule .* index.php [L]
#
########## End - Joomla! core SEF Section

потом я взяла код с Вашего сайта в одном из постов по ускорению загрузки
########## End - Joomla! core SEF Section
SetOutputFilter DEFLATE
Header set Expires "max-age=29030400, public"
Header unset ETag
FileETag None

ExpiresActive On
ExpiresDefault A600
ExpiresByType image/x-icon A2592000
ExpiresByType application/x-javascript A604800
ExpiresByType text/css A604800
ExpiresByType image/gif A2592000
ExpiresByType image/png A2592000
ExpiresByType image/jpeg A2592000
ExpiresByType text/plain A1200
ExpiresByType application/x-shockwave-flash A2592000
ExpiresByType video/x-flv A2592000
ExpiresByType application/pdf A2592000
ExpiresByType text/html A600

потом у меня идет блокировка всяких ботов (их порядка 93 записей)
начинается список с
## Блокировка по USER AGENT:
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} .*fjtelecom.com.* [OR]
заканчивается
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]
##

потом у меня идет блокировка сайтов-ботов и IP адресов по маске (таких записей много, больше 200-т)
RewriteCond %{HTTP_REFERER} ahrefs\.com [NC]
RewriteRule ^.*$ – [F]
RewriteCond %{REMOTE_ADDR} ^178.46.178.
RewriteRule ^.*$ - [F]


потом я тоже на форуме нашла еще код и вставила себе
####### Блокируем выполнение некоторых потенциально опасных функций из сценариев php #######
php_flag disable_functions show_source
php_flag disable_functions system
php_flag disable_functions shell_exec
php_flag disable_functions passthru
php_flag disable_functions exec
php_flag disable_functions phpinfo
php_flag disable_functions popen
php_flag disable_functions proc_open
### добавляем еще ###
php_flag disable_functions eval
php_flag disable_functions escapeshellarg
php_flag disable_functions escapeshellcmd
php_flag disable_functions proc_get_status
php_flag disable_functions proc_close
php_flag disable_functions chmod
php_flag disable_functions symlink
php_flag disable_functions fsocket
php_flag disable_functions pfsockopen
php_flag disable_functions fsockopen
php_flag disable_functions mail
php_flag disable_functions suhosin.executor.disable_emodifier
####### / Блокировки сценариев php #######

####### блокируем известные типы атак и программ, используемые для атак на сайты.#####
BrowserMatchNoCase ^libwww-perl blocktheaccess
BrowserMatchNoCase .*libwww-FM.* blocktheaccess
BrowserMatchNoCase ^wget blocktheaccess
BrowserMatchNoCase ^TeamSoft blocktheaccess
BrowserMatchNoCase &quot;^Express WebPictures&quot; blocktheaccess
BrowserMatchNoCase ^WebAuto blocktheaccess
BrowserMatchNoCase ^eCatch blocktheaccess
BrowserMatchNoCase ^InterGet blocktheaccess
BrowserMatchNoCase ^DOWNLOAD blocktheaccess
BrowserMatchNoCase ^Java1 blocktheaccess
BrowserMatchNoCase &quot;^Internet Ninja&quot; blocktheaccess
BrowserMatchNoCase &quot;^Teleport Pro&quot; blocktheaccess
BrowserMatchNoCase ^AllThumbs blocktheaccess
BrowserMatchNoCase ^Pockey-GetHTML blocktheaccess
BrowserMatchNoCase .*DnloadMage.* blocktheaccess
BrowserMatchNoCase .*HTTrack.* blocktheaccess
BrowserMatchNoCase .*WebLeacher.* blocktheaccess
BrowserMatchNoCase &quot;^Microsoft URL Control&quot; blocktheaccess
BrowserMatchNoCase ^Webdup blocktheaccess
BrowserMatchNoCase ^WebReaper blocktheaccess
BrowserMatchNoCase ^WebSauger blocktheaccess
BrowserMatchNoCase &quot;^Mister PiX&quot; blocktheaccess
BrowserMatchNoCase &quot;^Offline Explorer&quot; blocktheaccess
BrowserMatchNoCase &quot;^Download Ninja&quot; blocktheaccess
BrowserMatchNoCase ^Linkbot blocktheaccess
BrowserMatchNoCase &quot;.*Link Sleuth.*&quot; blocktheaccess
BrowserMatchNoCase ^SiteSnagger blocktheaccess
SetEnvIf Request_URI &quot;.*/phpwcms&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*/nonexistentfile.php$&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*/xmlrpc.php$&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*/adxmlrpc.php$&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*/cmd.php$&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*shell.php$&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*r57\.php&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*c99\.php&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*mod_pxt_latest\.php&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*functions_mod_user\.php&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*favorites\.php&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*configuration\.php&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*component\.php&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*controller\.php&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*router\.php&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*mosConfig_absolute_path&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*^(.*)CAST(.*)&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*^(.*)DECLARE(.*)&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*base64_encode.*\(.*\)&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*(\&lt;|%3C).*script.*(\&gt;|%3E)&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*GLOBALS(=|\[|\%[0-9A-Z]{0,2})&quot; blocktheaccess
SetEnvIf Request_URI &quot;.*_REQUEST(=|\[|\%[0-9A-Z]{0,2})&quot; blocktheaccess
SetEnvIfNoCase User-Agent &quot;^libwww-perl*&quot; blocktheaccess
Order deny,allow
Deny from env=blocktheaccess
####### / блокировки атак и программ#####


это всё.  Что не так?

Надо перенести сайт на домашний комп, отключить от интернета, положить в сейф комп и съесть ключи!

ну зачем же так зло? я ведь помощи прошу... а глузувати всі гаразд!

А чем боты помешали то?
Ну ходят, но ведь это интернет

А чем боты помешали то?
Ну ходят, но ведь это интернет

после того, как взломали сайт, задумываешься о более серьезной защите, тем более, что боты, в основном, китай и ежи с ними. а по поводу "интернет, детка", я даже не знаю, что Вам и ответить. Может кто-то помочь и дать конструктивный совет?

яна-орг - это или проверяют регистрационные данные или типа того))) сколько их там в день-то заходит? все ай-пи для яны-орг не закроете, зря напрягаетесь))) а вот сервер свой можете напрячь, если у вас список ай-пи больше 100 будет)))
чем вам так страшны все эти боты? непонятно.. куда они ломятся?
я баню всех, кто ломится в папку администратора, остальные пусть себе лазят
где возможно, то делаю вход в папку админа вообще по паролю

напишите, как вы пишите в htaccess, а то может ошибка где у вас...

извините, я файл htaccess написала выше... не разобралась с кнопкой "цитировать". Сорри, можете сказать, что там не так?

Волков бояться - в лес не ходить.
Взломали - надо искать уязвимости, закрывать, удалять шеллы, не юзать варез итп - пофорума расписано.
А закрываться от хороших ботов.. Серьезно думаете, что взломщики любезно представятся неизвестным ботом и будут постоянно с одного айпи? ))

Волков бояться - в лес не ходить.
Взломали - надо искать уязвимости, закрывать, удалять шеллы, не юзать варез итп - пофорума расписано.
А закрываться от хороших ботов.. Серьезно думаете, что взломщики любезно представятся неизвестным ботом и будут постоянно с одного айпи? ))

нет, конечно, взломщики не представляются, и не сидят на одном айпи. уязвимости искала, шеллы удаляла, почистилась все, что можно было. начиталась, поверьте, не один месяц по ночам, так как большого опыта по защите и администрированию сайтов нет, в основном, работа с контентом. но по поводу файла htaccess тоже куча инструкций, как в дальнейшем не допускать подобного. вот и спрашиваю, как и где еще прописать от ботов. еще у меня остался открытым вопрос по поводу прав на папки, читала и здесь, и в инете, вроде бы понятно, но, не понятно)) я не знаю, какие папки исполняющие или что-то вроде этого. если сможете подсказать и по этому вопросу, в миллионный раз скажу Вам спасибо. Помогите! И я закрываюсь не от хороших ботов, а от плохих, и список мой в том числе состоит из тех записей, которые есть на форуме, плюс добавила свои.