網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù)概述

目錄爬蟲(chóng)技術(shù)數(shù)據(jù)采集流程網(wǎng)頁(yè)分析動(dòng)態(tài)頁(yè)面抓取可視化爬蟲(chóng)爬蟲(chóng)框架案例反爬技術(shù)反爬技術(shù)及解決方案第一頁(yè)，共11頁(yè)。前言robots.txt:

Robots協(xié)議被稱為爬蟲(chóng)協(xié)議，或機(jī)器人協(xié)議。是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范。User-agent:用于描述搜索引擎robot的名字;Disallow:禁止robot訪問(wèn)該網(wǎng)站的目錄或文件;Allow:允許robot訪問(wèn)該網(wǎng)站的目錄或文件;sitemap.xml/txt/html/..:

Sitemaps協(xié)議使網(wǎng)站能夠告知搜索引擎網(wǎng)站中可供抓取的網(wǎng)址。自動(dòng)生成:更方便地了解一個(gè)網(wǎng)站的內(nèi)容、布局、架構(gòu)。主動(dòng)提交:向百度、Google、雅虎、和微軟等提交，被搜索引擎收錄。第二頁(yè)，共11頁(yè)。數(shù)據(jù)采集流程需求分析：業(yè)務(wù)類型/方向決定抓取策略和抓取頻率。（干什么用）抓取內(nèi)容：具體需要什么數(shù)據(jù)/字段。（怎么用）數(shù)據(jù)來(lái)源：數(shù)據(jù)來(lái)源于具體網(wǎng)站或其他。抓取方式：獲取數(shù)據(jù)的方式、網(wǎng)頁(yè)結(jié)構(gòu)分析、API等。代碼實(shí)現(xiàn)：自定義或開(kāi)源爬蟲(chóng)框架。數(shù)據(jù)清洗：根據(jù)業(yè)務(wù)具體情況轉(zhuǎn)換數(shù)據(jù)格式、類型，進(jìn)行數(shù)據(jù)計(jì)算等。數(shù)據(jù)清洗分為入庫(kù)前點(diǎn)清洗和入庫(kù)后點(diǎn)清洗。數(shù)據(jù)存儲(chǔ)：寫(xiě)文件或入庫(kù)方式，遠(yuǎn)程數(shù)據(jù)入庫(kù)，數(shù)據(jù)加密等。爬蟲(chóng)任務(wù)分發(fā)：分布式爬蟲(chóng)、多線程爬蟲(chóng)。反爬策略、日志管理、監(jiān)控報(bào)警等。第三頁(yè)，共11頁(yè)。網(wǎng)頁(yè)分析數(shù)據(jù)抓取方式網(wǎng)頁(yè)移動(dòng)網(wǎng)頁(yè)移動(dòng)客戶端API網(wǎng)頁(yè)解析正則XpathBeautifulSoupJson格式解析網(wǎng)頁(yè)編碼第四頁(yè)，共11頁(yè)。動(dòng)態(tài)頁(yè)面抓取JS渲染頁(yè)面WebkitRender類Ajax請(qǐng)求IframeSelenium庫(kù)重定向Status_codeHtml

meta的refreshjs第五頁(yè)，共11頁(yè)?？梢暬老x(chóng)Import.ioPortia八爪魚(yú)集搜客造數(shù)BBD第六頁(yè)，共11頁(yè)。爬蟲(chóng)框架Scrapy框架：第七頁(yè)，共11頁(yè)。案例1：58同城-簡(jiǎn)歷中心url：E7%AE%80%E5%8E%86%E4%B8%AD%E5%BF%83第八頁(yè)，共11頁(yè)。案例2：阿里巴巴-搜索url：httpcee4baeec7f8.htmlSet-Cookie_csrf第九頁(yè)，共11頁(yè)。反爬技術(shù)User_agent判斷來(lái)源根據(jù)IP訪問(wèn)頻率判斷，封鎖IP或者賬號(hào)驗(yàn)證碼識(shí)別Pillow庫(kù)Tesseract庫(kù)Numpy機(jī)器學(xué)習(xí)根據(jù)實(shí)際成本制定策略頻繁