Mail.RU_Bot是Mail.Ru(俄羅斯最大的互聯(lián)網(wǎng)門戶之一)搜索引擎的網(wǎng)絡爬蟲。這個網(wǎng)絡爬蟲被用于抓取和索引網(wǎng)頁內容,以支持Mail.Ru搜索引擎的運行。Mail.Ru_Bot的主要作用是幫助Mail.Ru搜索引擎發(fā)現(xiàn)和收錄新的網(wǎng)頁內容,并在用戶進行搜索時提供相關的搜索結果。
不過對于國內網(wǎng)站來說不會帶來什么流量,可以選擇robots.txt協(xié)議禁止。
User-agent: Mail.RU_Bot
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問,如下:
if ($http_user_agent ~* "Mail.RU_Bot") {
return 403;
}