第九章python生態(tài)學概覽9 3從web解析到網(wǎng)絡(luò)空間_第1頁
第九章python生態(tài)學概覽9 3從web解析到網(wǎng)絡(luò)空間_第2頁
第九章python生態(tài)學概覽9 3從web解析到網(wǎng)絡(luò)空間_第3頁
第九章python生態(tài)學概覽9 3從web解析到網(wǎng)絡(luò)空間_第4頁
第九章python生態(tài)學概覽9 3從web解析到網(wǎng)絡(luò)空間_第5頁
已閱讀5頁，還剩28頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認領(lǐng)

文檔簡介

單元開篇

CCBY-NC-SA4.0嵩天

從Web解析到網(wǎng)絡(luò)空間

Python庫之網(wǎng)絡(luò)爬蟲

Python庫之Web信息提取

Python庫之Web 開發(fā)

Python庫之網(wǎng)絡(luò)應用開發(fā)

Python庫之網(wǎng)絡(luò)爬蟲

CCBY-NC-SA4.0嵩天

Python庫之網(wǎng)絡(luò)爬蟲

Requests:最友好的網(wǎng)絡(luò)爬蟲功能庫

提供了簡單易用的類HTTP協(xié)議網(wǎng)絡(luò)爬蟲功能

支持連接池、SSL、 s、HTTP(S) 等

Python最主要的頁面級網(wǎng)絡(luò)爬蟲功能庫

r.text

Python庫之網(wǎng)絡(luò)爬蟲

Requests:最友好的網(wǎng)絡(luò)爬蟲功能庫importrequests

r=requests.get('',\auth=('user','pass'))

r.status_coder.headers['content-type']r.encoding

Python庫之網(wǎng)絡(luò)爬蟲

Scrapy:優(yōu)秀的網(wǎng)絡(luò)爬蟲框架

提供了構(gòu)建網(wǎng)絡(luò)爬蟲系統(tǒng)的框架功能，功能半成品

支持批量和定時網(wǎng)頁爬取、提供數(shù)據(jù)處理流程等

Python最主要且最專業(yè)的網(wǎng)絡(luò)爬蟲框架

Python庫之網(wǎng)絡(luò)爬蟲

Scrapy:Python數(shù)據(jù)分析 次應用庫

Python庫之網(wǎng)絡(luò)爬蟲

pyspider:強大的Web頁面爬取系統(tǒng)

提供了完整的網(wǎng)頁爬取系統(tǒng)構(gòu)建功能

支持數(shù)據(jù)庫后端、消息隊列、優(yōu)先級、分布式架構(gòu)等

Python重要的網(wǎng)絡(luò)爬蟲類第 庫

Python庫之網(wǎng)絡(luò)爬蟲

pyspider:強大的Web頁面爬取系統(tǒng)

Python庫之Web信息提取

CCBY-NC-SA4.0嵩天

Python庫之Web信息提取

BeautifulSoup:HTML和XML的解析庫

提供了解析HTML和XML等Web信息的功能

又名beautifulsoup4或bs4，可以加載多種解析引擎

常與網(wǎng)絡(luò)爬蟲庫搭配使用，如Scrapy、requests等

Python庫之Web信息提取

BeautifulSoup:HTML和XML的解析庫

下行遍歷

.contents

.children

.descendants

<html>

<head> <body>

<title> <p> 平行遍歷 <p>

<b>.next_sibling<a>

<a>

.parent

.parents

上行遍歷

.previous_sibling

.next_siblings

.previous_siblings

Python庫之Web信息提取

Re:正則表達式解析和處理功能庫

提供了定義和解析正則表達式的一批通用功能

可用于各類場景，包括定點的Web信息提取

Python最主要的標準庫之一，無需安裝

Python庫之Web信息提取

Re:正則表達式解析和處理功能庫

re.search() re.split()

re.match()re.findall()

r'\d{3}-\d{8}|\d{4}-\d{7}'

re.finditer()re.sub()

Python庫之Web信息提取

Python-Goose:提取文章類型Web頁面的功能庫

提供了對Web頁面中文章信息/ 等元數(shù)據(jù)的提取功能

針對特定類型Web頁面，應用覆蓋面較廣

Python最主要的Web信息提取庫

Python庫之Web信息提取

Python-Goose:提取文章類型Web頁面的功能庫

fromgooseimportGoose

url=''g=Goose({'use_meta_language':False,'target_language':'es'})article=g.extract(url=url)

article.cleaned_text[:150]

Python庫之Web開發(fā)

CCBY-NC-SA4.0嵩天

Python庫之Web 開發(fā)

Django:最流行的Web應用框架

提供了構(gòu)建Web系統(tǒng)的基本應用框架

MTV模式：模型(model)、模板(Tem te)、視圖(Views)

Python最重要的Web應用框架，略微復雜的應用框架

Python庫之Web 開發(fā)

Django:最流行的Web應用框架

Web框架

瀏覽器

HTTP

WSGI

URLs

HTML/CSS/JS

路由

功能處理邏輯

等文件

Web服務器接口

滿足用戶功能請求

融合數(shù)據(jù)和展示模板

數(shù)據(jù)庫

Python庫之Web 開發(fā)

Pyramid:規(guī)模適中的Web應用框架

提供了簡單方便構(gòu)建Web系統(tǒng)的應用框架

不大不小，規(guī)模適中，適合快速構(gòu)建并適度擴展類應用

Python產(chǎn)品級Web應用框架，起步簡單可擴展性好

Python庫之Web 開發(fā)

Pyramid:規(guī)模適中的Web應用框架

fromwsgiref.simple_serverimportmake_server

frompyramid.configimportConfiguratorfrompyramid.responseimportResponsedef o_world(request):

returnResponse(' oWorld!')

ifname=='main':

withConfigurator()asconfig:config.add_route(' o','/')

-10行左右 oWord程序

config.add_view( o_world,route_name=' o')app=config.make_wsgi_app()

server=make_server('',6543,app)server.serve_forever()

Python庫之Web 開發(fā)

Flask:Web應用開發(fā)微框架

提供了最簡單構(gòu)建Web系統(tǒng)的應用框架

特點是：簡單、規(guī)模小、快速

Django>Pyramid>Flask

Python庫之Web 開發(fā)

Flask:Web應用開發(fā)微框架

fromflaskimportFlaskapp=Flask(name)

@app.route('/')def o_world():

return' o,World!'

Python庫之網(wǎng)絡(luò)應用開發(fā)

CCBY-NC-SA4.0嵩天

Python庫之網(wǎng)絡(luò)應用開發(fā)

WeRoBot: 開發(fā)框架

提供了解析 服務器消息及反饋消息的功能

建立 機器人的重要技術(shù)

Python庫之Web 開發(fā)

WeRoBot: 開發(fā)框架

importwerobot

robot=werobot.WeRoBot(token='tokenhere')

@robot.handler

def o(message):return' oWorld!'

對 每個消息反饋一個 oWorld

Python庫之網(wǎng)絡(luò)應用開發(fā)

aip: AI開放平臺接口

提供了 AI服務的Python功能接口

語音、人臉、OCR、NLP、知識圖譜、圖像搜索等領(lǐng)域

Python AI應用的最主要方式

Python庫之Web 開發(fā)

aip: AI開放平臺接口

Python庫之網(wǎng)絡(luò)應用開發(fā)

MyQR: 生成第 庫

提供了生成 的系列功能

基本 、藝術(shù) 和動態(tài)

P

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論