beautifulsoup4是一款可以幫助您解析網(wǎng)頁文件的工具，網(wǎng)頁文件一般都是網(wǎng)站的一部分，當(dāng)您使用網(wǎng)站或者開發(fā)網(wǎng)站的時候，設(shè)計網(wǎng)頁就是非常關(guān)鍵的一部分了，如果你下載別人的網(wǎng)頁，想要從中找到有價值的數(shù)據(jù)資源，就可以通過這款python beautifulsoup(xml解析器)幫助您從復(fù)雜的網(wǎng)頁文件中提取可能需要的資源文件，支持HTML和XML兩種網(wǎng)頁文件分析，支持搜索節(jié)點數(shù)據(jù)、訪問節(jié)點資源，讓您在數(shù)據(jù)龐大的文件中搜索到關(guān)鍵的數(shù)據(jù)鏈接。

軟件功能

　　一個用于解析文檔并提取相關(guān)信息的工具包。這樣你寫一個應(yīng)用不需要寫很多代碼。

　　beautifulsoup位于一些流行的Python解析器比如lxml和html5lib的上層

　　這允許你使用不同的解析策略或者犧牲速度來換取靈活性。

　　beautifulsoup自動將輸入文檔轉(zhuǎn)換為Unicode編碼，并將輸出文檔轉(zhuǎn)化為UTF-8編碼。

　　你不需要考慮編碼，除非輸入文檔沒有指出其編碼并且beautifulsoup無法自動檢測到，這時你需要指出原來的編碼方式。

　　beautifulsoup提供了一些簡單的方法和Python術(shù)語，用于檢索和修改語法樹

軟件特色

　　Beautiful Soup發(fā)布時打包成Python2版本的代碼,在Python3環(huán)境下安裝時,會自動轉(zhuǎn)換成Python3的代碼

　　Beautiful Soup支持Python標(biāo)準(zhǔn)庫中的HTML解析器,還支持一些第三方的解析器,其中一個是 lxml .根據(jù)操作系統(tǒng)不同,可以選擇下列方法來安裝lxml

　　Beautiful Soup選擇最合適的解析器來解析這段文檔,如果手動指定解析器那么Beautiful Soup會選擇指定的解析器來解析文檔

　　Beautiful Soup將復(fù)雜HTML文檔轉(zhuǎn)換成一個復(fù)雜的樹形結(jié)構(gòu),每個節(jié)點都是Python對象,所有對象可以歸納為4種

　　html5lib樹生成器不使用標(biāo)準(zhǔn)的樹構(gòu)建API，這使我擔(dān)心，并導(dǎo)致了一些錯誤。

　　markup_attr_map可以優(yōu)化，因為它總是一個地圖。在遇到數(shù)據(jù)或其他一些罕見的序列化UTF-16LE

　　Unicode，unicodedammit會將數(shù)據(jù)轉(zhuǎn)換成Unicode，然后在UTF-8編碼。這是浪費，因為它會得到解碼回到Unicode。

　　ElementTree XMLParser有strip_cdata論點，當(dāng)設(shè)置為錯誤的，應(yīng)當(dāng)允許美麗的湯保留CDATA部分代替把它們當(dāng)作文本。除此之外，這個論點也是現(xiàn)在的HTMLParser，也沒有什么。）

　　目前，htm5lib將CDATA部分為評論。一個尚未發(fā)行的版本html5lib變化分析器的處理CDATA節(jié)允許的CDATA部分像< >標(biāo)簽和SVG<數(shù)學(xué)>。

　　將需要更新的beautifulsoup創(chuàng)建CDATA在這種情況下的對象，而不是注釋對象。

安裝方法

　　1.下載完成之后需要解壓縮，假設(shè)放到D:/python下。

　　2.運行cmd，切換到D:/python/beautifulsoup4-4.3.2/目錄下（根據(jù)自己解壓縮后的目錄和下載的版本號修改），cd /d D:/python//beautifulsoup4-4.3.2

　　3.運行命令：

　　setup.py build

　　setup.py install

　　4.在IDE下from bs4 import BeautifulSoup，沒有報錯說明安裝成功。

使用方法

　　tag的屬性可以被添加,刪除或修改. 再說一次, tag的屬性操作方法與字典一樣

　　HTML 4定義了一系列可以包含多個值的屬性.在HTML5中移除了一些,卻增加更多.最常見的多值的屬性是 class (一個tag可以有多個CSS的class). 還有一些屬性 rel , rev , accept-charset , headers , accesskey . 在Beautiful Soup中多值屬性的返回類型是list:

　　如果某個屬性看起來好像有多個值,但在任何版本的HTML定義中都沒有被定義為多值屬性,那么Beautiful Soup會將這個屬性作為字符串返回

　　將tag轉(zhuǎn)換成字符串時,多值屬性會合并為一個值

　　字符串常被包含在tag內(nèi).Beautiful Soup用 NavigableString 類來包裝tag中的字符串:

　　BeautifulSoup 對象表示的是一個文檔的全部內(nèi)容.大部分時候,可以把它當(dāng)作 Tag 對象,它支持 遍歷文檔樹 和 搜索文檔樹 中描述的大部分的方法

　　注釋及特殊字符串

　　Tag , NavigableString , BeautifulSoup 幾乎覆蓋了html和xml中的所有內(nèi)容,但是還有一些特殊對象.容易讓人擔(dān)心的內(nèi)容是文檔的注釋部分

　　Beautiful Soup中定義的其它類型都可能會出現(xiàn)在XML的文檔中: CData , ProcessingInstruction , Declaration , Doctype .與 Comment 對象類似,這些類都是 NavigableString 的子類,只是添加了一些額外的方法的字符串獨享.下面是用CDATA來替代注釋的例子:

使用說明

　　搜索文檔樹

　　Beautiful Soup定義了很多搜索方法,這里著重介紹2個: find() 和 find_all() .其它方法的參數(shù)和用法類似,請讀者舉一反三

　　過濾器

　　介紹 find_all() 方法前,先介紹一下過濾器的類型 [3] ,這些過濾器貫穿整個搜索的API.過濾器可以被用在tag的name中,節(jié)點的屬性中,字符串中或他們的混合中.

　　字符串

　　最簡單的過濾器是字符串.在搜索方法中傳入一個字符串參數(shù),Beautiful Soup會查找與字符串完整匹配的內(nèi)容,下面的例子用于查找文檔中所有的標(biāo)簽

　　正則表達(dá)式

　　如果傳入正則表達(dá)式作為參數(shù),Beautiful Soup會通過正則表達(dá)式的 match() 來匹配內(nèi)容.下面例子中找出所有以b開頭的標(biāo)簽,這表示和標(biāo)簽都應(yīng)該被找到

　　列表

　　如果傳入列表參數(shù),Beautiful Soup會將與列表中任一元素匹配的內(nèi)容返回