《數(shù)據(jù)采集技術(shù)》課件-正則表達式

正則表達式Contents知識目標掌握正則表達式常用語法技能目標提高數(shù)據(jù)分析和處理能力素養(yǎng)目標培養(yǎng)良好的信息素養(yǎng)和道德意識正則表達式RegularExpression，簡稱RE常用于：檢索、替換符合某個模式的文本正則表達式是一段字符串，可以表示一段有規(guī)律的信息。正則表達式RegularExpression，簡稱REPython自帶一個正則表達式模塊，通過這個模塊可以：查找、提取、替換一段有規(guī)律的信息Python正則表達式模塊Python標準庫中的re模塊提供正則表達式的全部功能，可以直接引入。importre正則表達式的模式正則表達式的模式內(nèi)容字面值字符例如字母、數(shù)字、空格等，可以直接匹配它們自身。特殊字符例如點號.、星號*、加號+、問號?等，它們具有特殊的含義和功能。字符類用方括號[]包圍的字符集合，用于匹配方括號內(nèi)的任意一個字符。元字符例如\d、\w、\s等，用于匹配特定類型的字符，如數(shù)字、字母、空白字符等。量詞例如{n}、{n,}、{n,m}等，用于指定匹配的次數(shù)或范圍。邊界符號例如^、$、\b、\B等，用于匹配字符串的開頭、結(jié)尾或單詞邊界位置。正則表達式的模式方法說明compile將正則表達式的字符串轉(zhuǎn)化為Pattern匹配對象。match將輸入的字符串從頭開始對輸入的正則表達式進行匹配，一直向后直至遇到無法匹配的字符或到達字符串末尾，將立即返回None，否則獲取匹配結(jié)果。search將輸入的字符串整個掃描，對輸入的正則表達式進行匹配，獲取匹配結(jié)果，否則輸出None。split按照能夠匹配的字符串作為分隔符，將字符串分割后返回一個列表。findall搜索整個字符串，返回一個列表包含全部能匹配的子串。finditer與findall方法作用類似，以迭代器的形式返回結(jié)果。sub使用指定內(nèi)容替換字符串中匹配的每一個子串內(nèi)容。re模塊中常用的方法如下表所示re模塊中常用的方法將正則表達式的字符串轉(zhuǎn)化為Pattern匹配對象，compile方法的語法格式：pile(pattern[,flags])pattern一個字符串形式的正則表達式flag一個可選參數(shù)，表示匹配模式比如忽略大小寫，多行模式等compile方法re模塊中常用的方法flag參數(shù)的可選值如表所示：可選值說明re.I忽略大小寫re.M多行模式，改變“^”和“$”的行為re.S“.”任意匹配模式，改變“.”的行為re.L使預定字符類\w\W\b\B\s\S取決與當前區(qū)域設(shè)定re.U使預定字符類\w\W\b\B\s\S\d\D取決于unicode定義的字符屬性re.X詳細模式，該模式下正則表達式可為多行，忽略空白字符并可加入注釋compile方法re模塊中常用的方法搜索整個string，返回一個列表包含全部能匹配的子串，其語法格式如下：re.findall(pattern,string[,flags])參數(shù)說明pattern接收Pattern實例。表示轉(zhuǎn)換后的正則表達式。無默認值。string接收string。表示輸入的需要匹配的字符串。無默認值。flag接收string。表示匹配模式，取值為運算符“|”時表示同時生效，如re.I|re.M。默認為None。findall方法re模塊中常用的方法常用的參數(shù)如表所示：參數(shù)說明pattern接收Pattern實例。表示轉(zhuǎn)換后的正則表達式。無默認值。string接收string。表示輸入的需要匹配的字符串。無默認值。flag接收string。表示匹配模式，取值為運算符“|”時表示同時生效，如re.I|re.M。默認為None。findall方法正則表達式的基本符號可以代替除了換行符以外的任何一個字符，包括但不限于英文字母、數(shù)字、漢字、英文標點符號和中文標點符號。可以表示它前面的一個子表達式（普通字符、另一個或幾個正則表達式符號）0次到無限次。表示它前面的子表達式0次或者1次。注意是英文問號。1.點號“.”2.星號“*”3.問號“?”正則表達式的基本符號4.反斜杠“\”在正則表達式里面不能單獨使用，在整個Python里都不能單獨使用。需要和其他的字符配合使用：特殊符號普通符號變成“\n”一個普通的字母“\n”換行符例如：正則表達式的基本符號4.反斜杠“\”在正則表達式里面不能單獨使用，甚至在整個Python里都不能單獨使用。反斜杠需要和其他的字符配合使用來把特殊符號變成普通符號，把普通符號變成特殊符號。特殊符號普通符號功能：變成“\n”一個普通的字母“\n”換行符例如：正則表達式的基本符號Python開發(fā)中經(jīng)常遇到的轉(zhuǎn)義字符轉(zhuǎn)義字符在字符串中插入特殊字符或控制結(jié)構(gòu)。一個或多個字符開頭后面反斜杠（\）正則表達式的基本符號Python開發(fā)中經(jīng)常遇到的轉(zhuǎn)義字符轉(zhuǎn)義字符在字符串中插入特殊字符或控制結(jié)構(gòu)。反斜杠（\）開頭后面跟著一個或多個字符正則表達式的基本符號Python開發(fā)中經(jīng)常遇到的轉(zhuǎn)義字符轉(zhuǎn)義字符意義\n換行符，將文本分成多行\(zhòng)t制表符，將文本分成多個列\(zhòng)\普通的反斜杠\’表示單引號\”表示雙引號\d表示一位數(shù)字示例1正則表達式解析中文importre#待匹配的字符串title="我愛，hello，我的祖國"#創(chuàng)建正則表達式，用于只匹配中文pattern=pile(r"[\u4e00-\u9fa5]+")result=pattern.findall(title)print(result)運行后結(jié)果：['我愛','我的祖國']示例2解析某度首頁的網(wǎng)頁標題（之間的文本內(nèi)容）運行后結(jié)果：['某度一下，你就知道']importreimportrequestsresponse=requests.get("/")r=response.text.encode(response.encoding).decode('utf-8')title_re=r'<title>(.*?)</title>'result=re.findall(title_re,r)print(result)示例3解析某浪潮首頁（/）的所有鏈接importreimportrequestsresponse=requests.get("/")r=response.text.encode(response.encoding).decode('utf-8')#print(r)url_re=r'<ahref="(.*?)">.*?</a>'urls=re.findall(url_re,r)forurlinurls:print(url)示例3運行后結(jié)果：//lcjtww/gylc32/2346042/index.html"target="_blank/"target="_blank"class="mc_nav_a/"target="_blank"class="mc_nav_a//.....解析某浪潮首頁（/