360Spider,它是一個很“勤奮抓爬”的蜘蛛。
不想讓360搜索抓取,可以選擇robots.txt協(xié)議禁止。
User-agent: 360Spider
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問,如下:
if ($http_user_agent ~* "360Spider") {
return 403;
}
360Spider,它是一個很“勤奮抓爬”的蜘蛛。
不想讓360搜索抓取,可以選擇robots.txt協(xié)議禁止。
User-agent: 360Spider
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問,如下:
if ($http_user_agent ~* "360Spider") {
return 403;
}
SEMrush蜘蛛
exa蜘蛛
一淘蜘蛛
今日頭條蜘蛛
RepoLookout蜘蛛
人工智能模型爬蟲
蘋果蜘蛛
Lycos蜘蛛
DOCOMO蜘蛛
亞馬遜蜘蛛
網(wǎng)絡爬蟲程序
俄羅斯蜘蛛