SEMrushBot蜘蛛是一個(gè)在線SEO分析平臺(tái)的蜘蛛,他們的官網(wǎng)是www.semrushchina.cn,對(duì)國(guó)內(nèi)網(wǎng)站用戶來說,大家可能對(duì)它有些陌生,但是有很多做外貿(mào)的朋友應(yīng)該都知道或使用過它,它在行業(yè)內(nèi)還是比較知名的。 它對(duì)網(wǎng)站有害嗎?
多個(gè) SEMrushBot相關(guān)的蜘蛛,如下:
SemrushBot-SA
SemrushBot-BA
SemrushBot-SI
SemrushBot-SWA
SemrushBot-CT
SemrushBot-BM
SemrushBot-SEOAB
通過以上了解,相信大家已經(jīng)大概明白,SemrushBot蜘蛛是一個(gè)正規(guī)的蜘蛛,至少它對(duì)你的網(wǎng)站是沒有害處的。
但是不會(huì)為網(wǎng)站帶來流量,可以選擇robots.txt協(xié)議的方式來禁止。
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB