MauiBot 不同于其他爬蟲，這個(gè)爬蟲連網(wǎng)站都沒有，UA只顯示一個(gè)郵箱：”MauiBot (crawler.feedback+wc@gm ail.com)“。神奇的是這個(gè)看起來(lái)是個(gè)人爬蟲，竟然遵循robots協(xié)議，算得上垃圾爬蟲的一股清流。
好在遵循robots協(xié)議，可以用robots.txt協(xié)議進(jìn)行禁止。
協(xié)議如下：
User-agent: MauiBot
Disallow: /
首頁(yè)/
站長(zhǎng)工具/
{notempty name="current_name"}
搜索引擎蜘蛛大全
{notempty name="$current_name"}
/MauiBot
MauiBot
大家都在看
-
SEMrushBot
SEMrush蜘蛛
-
exabot
exa蜘蛛
-
EtaoSpider
一淘蜘蛛
-
Bytespider
今日頭條蜘蛛
-
RepoLookoutBot
RepoLookout蜘蛛
-
GPTBot
人工智能模型爬蟲
-
Applebot
蘋果蜘蛛
-
lycos_spider
Lycos蜘蛛
-
DOCOMO Sprider
DOCOMO蜘蛛
-
Amazonbot
亞馬遜蜘蛛
-
ia_archiver
網(wǎng)絡(luò)爬蟲程序
-
YandexBot
俄羅斯蜘蛛
分享鏈接
熱門工具排行榜