本書從實(shí)戰(zhàn)角度系統(tǒng)講解 Python爬蟲的核心知識(shí)點(diǎn)，并通過(guò)大量的真實(shí)項(xiàng)目讓讀者熟練掌握 Python爬蟲技術(shù)。本書用 20多個(gè)實(shí)戰(zhàn)案例，完美演繹了使用各種技術(shù)編寫 Python爬蟲的方式，讀者可以任意組合這些技術(shù)，完成非常復(fù)雜的爬蟲應(yīng)用。
全書共 20章，分為 5篇。第 1篇基礎(chǔ)知識(shí)（第 1、2章），主要包括 Python運(yùn)行環(huán)境的搭建、 HTTP基礎(chǔ)、網(wǎng)頁(yè)基礎(chǔ)（ HTML、CSS、JavaScript等）、爬蟲的基本原理、 Session與 Cookie。第 2篇網(wǎng)絡(luò)庫(kù)（第 3～ 6章），主要包括網(wǎng)絡(luò)庫(kù) urllib、urllib3、requests和 Twisted的核心使用方法，如發(fā)送 HTTP請(qǐng)求、處理超時(shí)、設(shè)置 HTTP請(qǐng)求頭、搭建和使用代理、解析鏈接、 Robots協(xié)議等。第 3篇解析庫(kù)（第 7～ 10章），主要包括 3個(gè)常用解析庫(kù)（ lxml、Beautiful Soup和 pyquery）的使用方法，同時(shí)介紹多種用于分析 HTML代碼的技術(shù)，如正則表達(dá)式、 XPath、CSS選擇器、方法選擇器等。第 4篇數(shù)據(jù)存儲(chǔ)（第 11、12章），主要包括 Python中數(shù)據(jù)存儲(chǔ)的解決方案，如文件存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)，其中數(shù)據(jù)庫(kù)存儲(chǔ)包括多種數(shù)據(jù)庫(kù)，如本地?cái)?shù)據(jù)庫(kù) SQLite、網(wǎng)絡(luò)數(shù)據(jù)庫(kù) MySQL以及文檔數(shù)據(jù)庫(kù) MongoDB。第 5篇爬蟲高級(jí)應(yīng)用（第 13～ 20章），主要包括 Python爬蟲的一些高級(jí)技術(shù)，如抓取異步數(shù)據(jù)、 Selenium、Splash、抓取移動(dòng) App數(shù)據(jù)、 Appium、多線程爬蟲、爬蟲框架 Scrapy，最后給出一個(gè)綜合的實(shí)戰(zhàn)案例，綜合了 Python爬蟲、數(shù)據(jù)存儲(chǔ)、 PyQt5、多線程、數(shù)據(jù)可視化、Web等多種技術(shù)實(shí)現(xiàn)一個(gè)可視化爬蟲。
本書可以作為廣大計(jì)算機(jī)軟件技術(shù)開發(fā)者、互聯(lián)網(wǎng)技術(shù)研究人員學(xué)習(xí)“爬蟲技術(shù)”的參考用書。也可以作為高等院校計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、人工智能等專業(yè)的教學(xué)參考用書。