判斷搜索引擎真假蜘蛛訪問

主流搜索引擎蜘蛛抓取網站，都會自帶UA特征，比如百度蜘蛛UA（Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。

在網站的訪問日志中也會相應記錄，但UA是可以偽造的，目前越來越多偽造UA的掃描器或采集器都在偽造搜索引擎UA來迷惑管理員，造成無法判斷是否是正規搜索引擎蜘蛛。

我們在不知道蜘蛛IP段的情況下，可以通過運行命令：nslookup 來判斷真假蜘蛛。

首先以百度蜘蛛為例，在訪問日志中找到帶有UA記錄的IP，如：220.181.108.*  在運行cmd命令輸入 nslookup 220.181.108.* ，運行后結果中帶有： baiduspider-220-181-108-*.crawl.baidu.com 字樣，說明是真百度蜘蛛，反之如果沒有則為假。

• > 判斷搜索引擎真假蜘蛛訪問 2021-8-6
• > PHP網站打開500錯誤或空白的解決方法 2021-5-15
• > PHP網站顯示亂碼的解決辦法 2021-5-7
• > IIS 無法下載apk文件，添加apk擴展(MIME)的方法。 2021-3-5
• > 免費PHP網上商城系統下載 2021-1-7
• > thinkphp6 IIS偽靜態規則設置 2021-1-7
• > zblog網站打開出現syntax error, unexpected '['解決辦法 2020-12-17
• > 虛擬主機免費提供的防護說明 2020-12-16
• > discuz 論壇打開提示 (0) notconnect 錯誤的解決辦法 2020-10-13
• > 獨立IP虛擬主機有什么優勢？ 2020-9-8