снизить нагрузку на сервер

[Petya]

Привет, заметил что на сайтах периодически ошиваются непонятные боты - semrush и ahref. Как их можно заблокировать через robots что бы снизить нагрузку на сервер?
Может быть у кого-то уже есть готовая база поисковых ботов, которых можно заблокировать через robots.txt и htaccess?

 

[Doctor]

. В файле robots.txt необходимо запретить поисковым ботам сканирование сайта:

 User-agent: AhrefsBot/5.1 Disallow: / User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: SemrushBot/1.1~bl Disallow: /

2. Блокировка ботов в htaccess:

 RewriteCond %{HTTP_USER_AGENT} AhrefsBot RewriteRule ^.* - [F,L]  RewriteCond %{HTTP_USER_AGENT} SemrushBot RewriteRule ^.* - [F,L]  RewriteCond %{HTTP_USER_AGENT} AhrefsBot/5.1 RewriteRule ^.* - [F,L]  RewriteCond %{HTTP_USER_AGENT} SemrushBot/1.1~bl RewriteRule ^.* - [F,L]

3. Блокировка подозрительных ip адресов в файле htaccess:

 Order allow,deny allow from all Deny from 103.214.171.35 66.249.66.251 163.172.

Данное выражение говорит о том, что доступ разрешен всем, кроме данных ip адресов, причем указав только 163.172. блокируются ip с 163.172.0.0 – 163.172.255.255. ip адреса перечисляются через пробел.

 

[Petya]

спасибо. и вправду помогает, надолго ли вот только:molitva:

 

[Diversant]

А кто знает что за бот grapeshot ? Это нужный или ненужный бот ?
Я смотрел список ботов которые вроде бы нормальные

Yahoo [Bot] - Yahoo! Slurp
Grapeshot [Bot] - Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)
Yandex [Bot] - Yandex
Bing [Bot] - bingbot/
Yandex Direct [Bot] - Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Google Adsense [Bot] - Mediapartners-Google
Twitter [Bot] - Twitterbot/1.0
MailRu [Bot] - Mail.Ru
GetIntent [Bot] - GetIntent Crawler ([URL="https://www.phpbb-work.ru/go.php?http://getintent.com/bot.html"]http://getintent.com/bot.html[/URL])
Sputnik [Bot] - Mozilla/5.0 (compatible; SputnikBot/2.3; +[url]http://corp.sputnik.ru/webmaster[/url])
Google [Bot] - Googlebot
Alexa [Bot] - ia_archiver
Proximic [Bot] - Mozilla/5.0 (compatible; proximic; +[url]http://www.proximic.com/info/spider.php[/url])
MSNbot Media [Bot] - msnbot-media/
Majestic-12 [Bot] - MJ12bot/
Baidu [Spider] - Baiduspider
Facebook [Bot] - facebookexternalhit/1.1
WotBox [Bot] - Wotbox/2.01 (+[url]http://www.wotbox.com/bot/[/url])
MetaURI [Bot] - MetaURI API/2.0 +metauri.com
Apple [Bot] - Applebot/0.1; +[url]http://www.apple[/url]
DeuSu [Bot] - Mozilla/5.0 (compatible; DeuSu/5.0.2; +[url]https://deusu.de/robot.html[/url]
Ahrefs [Bot] - Mozilla/5.0 (compatible; AhrefsBot/5.1; +[url]http://ahrefs.com/robot/[/url])

 

[deadushka]

А кто знает что за бот grapeshot ? Это нужный или ненужный бот ?
Я смотрел список ботов которые вроде бы нормальные

Yahoo [Bot] - Yahoo! Slurp
Grapeshot [Bot] - Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)
Yandex [Bot] - Yandex
Bing [Bot] - bingbot/
Yandex Direct [Bot] - Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Google Adsense [Bot] - Mediapartners-Google
Twitter [Bot] - Twitterbot/1.0
MailRu [Bot] - Mail.Ru
GetIntent [Bot] - GetIntent Crawler ([URL="https://www.phpbb-work.ru/go.php?http://getintent.com/bot.html"]http://getintent.com/bot.html[/URL])
Sputnik [Bot] - Mozilla/5.0 (compatible; SputnikBot/2.3; +[url]http://corp.sputnik.ru/webmaster[/url])
Google [Bot] - Googlebot
Alexa [Bot] - ia_archiver
Proximic [Bot] - Mozilla/5.0 (compatible; proximic; +[url]http://www.proximic.com/info/spider.php[/url])
MSNbot Media [Bot] - msnbot-media/
Majestic-12 [Bot] - MJ12bot/
Baidu [Spider] - Baiduspider
Facebook [Bot] - facebookexternalhit/1.1
WotBox [Bot] - Wotbox/2.01 (+[url]http://www.wotbox.com/bot/[/url])
MetaURI [Bot] - MetaURI API/2.0 +metauri.com
Apple [Bot] - Applebot/0.1; +[url]http://www.apple[/url]
DeuSu [Bot] - Mozilla/5.0 (compatible; DeuSu/5.0.2; +[url]https://deusu.de/robot.html[/url]
Ahrefs [Bot] - Mozilla/5.0 (compatible; AhrefsBot/5.1; +[url]http://ahrefs.com/robot/[/url])

не ну это то нормальные боты - пауки. Их нельзя блокировать.

Grapeshot [Bot] - Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)

это тоже нормальный поисковый бот