下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
假百度蜘蛛?CDN及虛擬主機(jī)用戶須慎重辨明
假蜘蛛對(duì)我們網(wǎng)站的危害是巨大的,具體有:1.占用網(wǎng)站帶寬,導(dǎo)致網(wǎng)站流量上升,增加額外開銷2.在有限帶寬的前提下,阻礙了正常蜘蛛的抓取3.誤導(dǎo)了我們?cè)趯?duì)網(wǎng)站開展SEO工作時(shí)的思路4.部分偽裝成假蜘蛛的采集工具剽竊了我們的工作我們看到,網(wǎng)上有很多人在分享如何“捉住”假蜘蛛的文章,但這些文章只是千篇一律的描述了“捉住”假蜘蛛的過程及操作方法。卻沒有分享從如何真正的判別蜘蛛的真?zhèn)?。作者本人最近在?duì)一個(gè)電商網(wǎng)站進(jìn)行SEO優(yōu)化時(shí),就碰到了這樣一個(gè)案例,險(xiǎn)些導(dǎo)致將真蜘蛛錯(cuò)當(dāng)假蜘蛛來處理。一、發(fā)現(xiàn)“假蜘蛛”SEO優(yōu)化要依靠大量的分析和數(shù)據(jù)來實(shí)現(xiàn),其中日志分析是重中之重,在日志中我們可以看到很多平時(shí)統(tǒng)計(jì)工具無法看到的數(shù)據(jù)和事實(shí)。每周三我都要對(duì)該電子商務(wù)網(wǎng)站進(jìn)行周日志的分析,以便來統(tǒng)計(jì)上一周的優(yōu)化效果,在本周進(jìn)行對(duì)網(wǎng)站日志進(jìn)行分析查看時(shí),我發(fā)現(xiàn)了幾個(gè)不屬于認(rèn)識(shí)中的“蜘蛛IP”,如圖:我們知道,百度蜘蛛一般來自于202.181.108.*和123.125.71.*這兩個(gè)IP段(順便科普一下,這兩個(gè)IP段的百度蜘蛛沒有所謂高權(quán)重和降權(quán)之分)。顯然這三個(gè)IP在“常識(shí)”中,不屬于百度蜘蛛所屬的IP段。為了確保不誤殺百度蜘蛛,筆者用nslookupip命令反解了此IP,得到以下信息:這個(gè)時(shí)候,基本已經(jīng)可以確定該IP不屬于百度蜘蛛的IP段,是一個(gè)“假蜘蛛”,我們需要屏蔽該IP釋放那些被占用的帶寬。二,誤會(huì)“假蜘蛛”就在要對(duì)以上提到的三個(gè)IP進(jìn)行屏蔽的時(shí)候,筆者突然想到,這個(gè)電商網(wǎng)站在上周通知我他們要使用安全寶服務(wù),需要將DNS解析到安全寶的服務(wù)器上,而安全寶則會(huì)根據(jù)用戶的訪問情況,選擇距離最近的一個(gè)節(jié)點(diǎn)進(jìn)行CDN加速。在我之前的例行SEO檢查中,發(fā)現(xiàn)網(wǎng)站IP被解析到了陜西的一個(gè)IP上,而這個(gè)網(wǎng)站IP和這次我從網(wǎng)站日志中發(fā)現(xiàn)的三個(gè)“假蜘蛛”IP屬于同一IP段。為了驗(yàn)證這個(gè)推測(cè),我又重新仔細(xì)查看了網(wǎng)站日志,發(fā)現(xiàn)谷歌蜘蛛和搜狗蜘蛛也來自于之前三個(gè)IP(之前對(duì)網(wǎng)站日志進(jìn)行了拆分,只查看百度的情況,因?yàn)榫W(wǎng)站是針對(duì)百度做SEO的)。這下子總算清楚了,這些所屬IP的蜘蛛不是假蜘蛛,而是貨真價(jià)實(shí)的百度蜘蛛、谷歌蜘蛛和其他搜索引擎的蜘蛛。只不過因?yàn)樗麄兺ㄟ^了一次CDN節(jié)點(diǎn),所以造成了他們的來源IP是一致的。三,虛擬主機(jī)如何產(chǎn)生“假蜘蛛”由此筆者突然想到,之前在閱讀相關(guān)文章的時(shí)候,經(jīng)常會(huì)看到有站長(zhǎng)抱怨發(fā)現(xiàn)假蜘蛛,來自XX機(jī)房(就那么一兩家機(jī)房)。這是一件很奇怪的事情,莫非采集工具和假蜘蛛都產(chǎn)自這個(gè)機(jī)房?事實(shí)自然不是那樣的,而是:1.很大一部分發(fā)現(xiàn)假蜘蛛的站長(zhǎng),所使用的是某主機(jī)供應(yīng)商提供的集群主機(jī),或類似性質(zhì)的虛擬主機(jī)。2.集群性質(zhì)的虛擬主機(jī),同CDN的道理是相同的,即將客戶的空間和站點(diǎn)資料同步到同一個(gè)群組的所有服務(wù)器上。3.蜘蛛的來源不同,一些是直接訪問站點(diǎn)的,另一些是通過一些外鏈訪問站點(diǎn)的。而這些通過外鏈訪問站點(diǎn)的蜘蛛,會(huì)就近通過CDN節(jié)點(diǎn)訪問。4.CDN節(jié)點(diǎn)每家公司都不一樣,但大致分為地域大區(qū)(不是?。┖碗娦?、網(wǎng)通這樣的方式劃分。5.那些通過CDN節(jié)點(diǎn)訪問網(wǎng)站的蜘蛛,來源IP自然不是從北京總部出發(fā)時(shí)的IP。最終事情得
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年模具回收再利用合同
- 2024年智慧城市建設(shè)投資設(shè)立智能交通公司合作協(xié)議范本3篇
- 2024年度跨省土石方運(yùn)輸與環(huán)境保護(hù)責(zé)任合同3篇
- 2024年版房瑾與配偶財(cái)產(chǎn)分割合同
- 2025弱電工程合同范本()
- 2025涉外合同審查要點(diǎn)與分析
- 2024年農(nóng)副產(chǎn)品質(zhì)量安全檢測(cè)服務(wù)采購合同3篇
- 《科學(xué)技術(shù)》課件
- 2024年標(biāo)準(zhǔn)版建筑基礎(chǔ)施工合作合同版B版
- 2024年度砂石料開采與礦山生態(tài)修復(fù)合作框架協(xié)議3篇
- 普通胃鏡早期胃癌的診斷PPT課件
- DG∕T 154-2022 熱風(fēng)爐
- 鐵路建設(shè)項(xiàng)目施工企業(yè)信用評(píng)價(jià)辦法(鐵總建設(shè)〔2018〕124號(hào))
- 模具報(bào)價(jià)表精簡(jiǎn)模板
- 抽樣檢驗(yàn)培訓(xùn)教材(共47頁).ppt
- 時(shí)光科技主軸S系列伺服控制器說明書
- 通用帶式輸送機(jī)TD75或DT型出廠檢驗(yàn)要求及記錄
- 高考英語單項(xiàng)選擇題題庫題
- lonely-planet-PDF-大全
- 成人大專畢業(yè)生自我鑒定
- 汽車轉(zhuǎn)向系統(tǒng)設(shè)計(jì)規(guī)范
評(píng)論
0/150
提交評(píng)論