Grapeshot是一家提供廣告定向和內容分類技術的公司,他們的蜘蛛程序被用于收集網(wǎng)站上的內容信息以支持其服務。Grapeshot的蜘蛛主要用于分析網(wǎng)頁內容,識別關鍵字和主題,以便為廣告商和出版商提供更精準的廣告定向和內容匹配。
通過抓取和分析網(wǎng)頁內容,Grapeshot的蜘蛛可以幫助廣告商將他們的廣告展示給與其產(chǎn)品或服務相關的目標受眾,同時也可以幫助出版商提供更符合用戶興趣的內容推薦。
Oracle Data Cloud Crawler 還可通過來自 Oracle 自有 IP 地址的請求識別。對于可疑請求,請對照適當?shù)?RIPE 數(shù)據(jù)庫,使用適當?shù)?Whois 工具或查找服務檢查請求的 IP 地址。截至本頁面內容創(chuàng)建時,Oracle Data Cloud Crawler 僅使用以下 IP 地址:
132.145.9.5
132.145.11.125
132.145.14.70
132.145.15.209
132.145.64.33
132.145.66.116
132.145.66.156
132.145.67.248
140.238.81.78
140.238.83.181
140.238.94.137
140.238.95.47
140.238.95.199
152.67.128.219
152.67.137.35
152.67.138.180
或
148.64.56.64 到 148.64.56.80
148.64.56.112 到 148.64.56.128
不過對于國內網(wǎng)站來說不會帶來什么流量,可以選擇robots.txt協(xié)議禁止。
User-agent: grapeshot
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問,如下:
if ($http_user_agent ~* "grapeshot") {
return 403;
}