精品精品男人的天堂国产,国产一级av黄片在线直播

本書(shū)按照大數(shù)據(jù)采集與預(yù)處理的實(shí)現(xiàn)流程，由淺入深地講解大數(shù)據(jù)采集與預(yù)處理的相關(guān)技術(shù)，以及如何使用不同方式對(duì)大數(shù)據(jù)進(jìn)行采集與預(yù)處理。本書(shū)內(nèi)容系統(tǒng)、全面，可幫助開(kāi)發(fā)人員快速實(shí)現(xiàn)大量數(shù)據(jù)的采集。

本書(shū)主要內(nèi)容包括大數(shù)據(jù)采集與預(yù)處理簡(jiǎn)介、PyCharm的安裝與使用、Urllib庫(kù)數(shù)據(jù)采集、Requests庫(kù)數(shù)據(jù)采集、XPath和Beautiful Soup庫(kù)數(shù)據(jù)解析、Scrapy框架數(shù)據(jù)采集與存儲(chǔ)、Flume和Kafka日志數(shù)據(jù)采集以及使用Pandas、Pig、ELK進(jìn)行數(shù)據(jù)預(yù)處理等。

本書(shū)既可作為高職高專院校大數(shù)據(jù)、人工智能相關(guān)專業(yè)的教材，也可作為相關(guān)技術(shù)人員的參考書(shū)。

宋磊。電子與信息工程學(xué)院專業(yè)技術(shù)副總管，教授，全國(guó)技術(shù)能手（經(jīng)核準(zhǔn)后授予）、龍江技術(shù)能手，校級(jí)教學(xué)名師，校級(jí)師德先進(jìn)個(gè)人，哈爾濱市四有好老師。黑龍江省高職高專計(jì)算機(jī)類教學(xué)指導(dǎo)會(huì)員會(huì)委員、區(qū)塊鏈智能合約開(kāi)發(fā)職業(yè)技能等級(jí)證書(shū)考評(píng)員、數(shù)據(jù)采集職業(yè)技能等級(jí)證書(shū)考評(píng)員。從事軟件技術(shù)專業(yè)教學(xué)工作18年，主講《Java項(xiàng)目實(shí)戰(zhàn)》《Web綜合實(shí)戰(zhàn)》《Java企業(yè)級(jí)項(xiàng)目開(kāi)發(fā)實(shí)戰(zhàn)》等多門課程。主講課程《Java項(xiàng)目實(shí)戰(zhàn)》2018年評(píng)為省級(jí)精品在線開(kāi)放課程，2020年評(píng)為省級(jí)課程思政示范課。參加黑龍江省教學(xué)能力大賽獲二等獎(jiǎng)2項(xiàng)。指導(dǎo)學(xué)生參加全國(guó)職業(yè)院校技能大賽物聯(lián)網(wǎng)技術(shù)應(yīng)用區(qū)塊鏈技術(shù)應(yīng)用賽項(xiàng)獲二等獎(jiǎng)2項(xiàng)，三等獎(jiǎng)3項(xiàng)。指導(dǎo)學(xué)生參加省級(jí)職業(yè)院校技能大賽物聯(lián)網(wǎng)技術(shù)應(yīng)用、云計(jì)算技術(shù)與應(yīng)用、大數(shù)據(jù)技術(shù)與應(yīng)用、移動(dòng)應(yīng)用開(kāi)發(fā)等賽項(xiàng)獲一等獎(jiǎng)10余項(xiàng)。參與起草《數(shù)據(jù)采集》《JAVA應(yīng)用開(kāi)發(fā)》2項(xiàng)職業(yè)技能等級(jí)標(biāo)準(zhǔn)。擔(dān)任44-46屆世界技能大賽黑龍江省選拔賽網(wǎng)站設(shè)計(jì)與開(kāi)發(fā)賽項(xiàng)裁判長(zhǎng)和命題專家。主持省級(jí)區(qū)塊鏈技術(shù)應(yīng)用專業(yè)教學(xué)資源庫(kù)建設(shè)、主持校級(jí)新一代信息技術(shù)專業(yè)群教學(xué)資源庫(kù)建設(shè)。榮獲黑龍江省一類職業(yè)技能大賽物聯(lián)網(wǎng)技術(shù)職業(yè)技能大賽個(gè)人賽第一名（金牌）、黑龍江省第一屆職業(yè)技能大賽區(qū)塊鏈應(yīng)用操作金牌，全國(guó)第二屆職業(yè)技能大賽區(qū)塊鏈應(yīng)用操作銅牌。

目錄 CONTENTS

項(xiàng)目1

初識(shí)動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)采集與

預(yù)處理　1

項(xiàng)目導(dǎo)言　1

思維導(dǎo)圖　1

知識(shí)目標(biāo)　1

技能目標(biāo)　1

素養(yǎng)目標(biāo)　2

任務(wù)1-1　認(rèn)識(shí)數(shù)據(jù)采集與預(yù)處理　2

任務(wù)描述　2

素質(zhì)拓展　2

任務(wù)技能　2

技能點(diǎn)1　認(rèn)識(shí)大數(shù)據(jù)來(lái)源　2

技能點(diǎn)2　認(rèn)識(shí)數(shù)據(jù)采集　5

技能點(diǎn)3　認(rèn)識(shí)數(shù)據(jù)預(yù)處理　10

任務(wù)1-2　搭建數(shù)據(jù)采集與預(yù)處理開(kāi)發(fā)

環(huán)境　14

任務(wù)描述　14

素質(zhì)拓展　14

任務(wù)技能　14

技能點(diǎn)1　認(rèn)識(shí)PyCharm　14

技能點(diǎn)2　下載及安裝PyCharm　15

技能點(diǎn)3　使用PyCharm　18

任務(wù)實(shí)施　20

項(xiàng)目小結(jié)　24

課后習(xí)題　24

自我評(píng)價(jià)　25

項(xiàng)目2

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)采集　26

項(xiàng)目導(dǎo)言　26

思維導(dǎo)圖　26

知識(shí)目標(biāo)　26

技能目標(biāo)　26

素養(yǎng)目標(biāo)　27

任務(wù)2-1　使用Urllib庫(kù)完成新聞

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)采集　27

任務(wù)描述　27

素質(zhì)拓展　27

任務(wù)技能　27

技能點(diǎn)1　request模塊　27

技能點(diǎn)2　error模塊　30

技能點(diǎn)3　parse模塊　31

任務(wù)實(shí)施　32

任務(wù)2-2　使用Requests庫(kù)完成

浪潮云說(shuō)網(wǎng)頁(yè)數(shù)據(jù)

采集　36

任務(wù)描述　36

素質(zhì)拓展　37

任務(wù)技能　37

技能點(diǎn)1　Requests庫(kù)的簡(jiǎn)介及

安裝　37

技能點(diǎn)2　Requests庫(kù)的基本使用

方法　38

技能點(diǎn)3　Requests庫(kù)的高級(jí)使用

方法　42

任務(wù)實(shí)施　45

項(xiàng)目小結(jié)　48

課后習(xí)題　48

自我評(píng)價(jià)　49

項(xiàng)目3

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)解析　50

項(xiàng)目導(dǎo)言　50

思維導(dǎo)圖　50

知識(shí)目標(biāo)　50

技能目標(biāo)　50

素養(yǎng)目標(biāo)　51

任務(wù)3-1　使用XPath解析新聞

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)　51

任務(wù)描述　51

素質(zhì)拓展　51

任務(wù)技能　51

技能點(diǎn)1　XPath的簡(jiǎn)介　51

技能點(diǎn)2　定位　55

技能點(diǎn)3　數(shù)據(jù)提取　57

任務(wù)實(shí)施　58

任務(wù)3-2　使用Beautiful Soup

解析浪潮云說(shuō)網(wǎng)頁(yè)

數(shù)據(jù)　63

任務(wù)描述　63

素質(zhì)拓展　63

任務(wù)技能　63

技能點(diǎn)1　Beautiful Soup的安裝　64

技能點(diǎn)2　Beautiful Soup的使用　65

任務(wù)實(shí)施　68

項(xiàng)目小結(jié)　75

課后習(xí)題　75

自我評(píng)價(jià)　76

項(xiàng)目4

基于Scrapy實(shí)現(xiàn)動(dòng)態(tài)網(wǎng)頁(yè)

數(shù)據(jù)采集與存儲(chǔ)　77

項(xiàng)目導(dǎo)言　77

思維導(dǎo)圖　77

知識(shí)目標(biāo)　77

技能目標(biāo)　77

素養(yǎng)目標(biāo)　78

任務(wù)4-1　使用Scrapy框架完成

新聞公告頁(yè)面數(shù)據(jù)采集

與存儲(chǔ)　78

任務(wù)描述　78

素質(zhì)拓展　78

任務(wù)技能　78

技能點(diǎn)1　Scrapy的簡(jiǎn)介及安裝　78

技能點(diǎn)2　Scrapy的操作指令　82

技能點(diǎn)3　段定義及Scrapy設(shè)置　83

技能點(diǎn)4　文本解析　89

技能點(diǎn)5　內(nèi)容存儲(chǔ)　93

任務(wù)實(shí)施　95

項(xiàng)目小結(jié)　104

課后習(xí)題　104

自我評(píng)價(jià)　105

項(xiàng)目5

動(dòng)態(tài)網(wǎng)頁(yè)訪問(wèn)日志數(shù)據(jù)

采集　106

項(xiàng)目導(dǎo)言　106

思維導(dǎo)圖　106

知識(shí)目標(biāo)　106

技能目標(biāo)　106

素養(yǎng)目標(biāo)　107

任務(wù)5-1　使用Flume采集某官網(wǎng)

訪問(wèn)日志數(shù)據(jù)　107

任務(wù)描述　107

素質(zhì)拓展　107

任務(wù)技能　107

技能點(diǎn)1　Flume的簡(jiǎn)介　107

技能點(diǎn)2　Flume數(shù)據(jù)采集配置　110

技能點(diǎn)3　Flume的啟動(dòng)方法　119

技能點(diǎn)4　Flume攔截器配置　122

任務(wù)實(shí)施　125

任務(wù)5-2　使用Kafka消費(fèi)Flume中

某官網(wǎng)訪問(wèn)日志數(shù)據(jù)　129

任務(wù)描述　129

素質(zhì)拓展　130

任務(wù)技能　130

技能點(diǎn)1　Kafka的簡(jiǎn)介　130

技能點(diǎn)2　Kafka的配置　131

技能點(diǎn)3　Kafka腳本操作　134

技能點(diǎn)4　Kafka Python API　137

任務(wù)實(shí)施　140

項(xiàng)目小結(jié)　144

課后習(xí)題　144

自我評(píng)價(jià)　145

項(xiàng)目6

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)預(yù)處理　146

項(xiàng)目導(dǎo)言　146

思維導(dǎo)圖　146

知識(shí)目標(biāo)　147

技能目標(biāo)　147

素養(yǎng)目標(biāo)　147

任務(wù)6-1　使用Pandas實(shí)現(xiàn)新聞動(dòng)態(tài)

網(wǎng)頁(yè)數(shù)據(jù)預(yù)處理　147

任務(wù)描述　147

素質(zhì)拓展　147

任務(wù)技能　148

技能點(diǎn)1　Pandas的簡(jiǎn)介　148

技能點(diǎn)2　Pandas的數(shù)據(jù)結(jié)構(gòu)　148

技能點(diǎn)3　Pandas的基本功能　149

技能點(diǎn)4　匯總和描述統(tǒng)計(jì)　155

技能點(diǎn)5　處理缺失數(shù)據(jù)　157

任務(wù)實(shí)施　158

任務(wù)6-2　使用Pig實(shí)現(xiàn)浪潮云說(shuō)

網(wǎng)頁(yè)數(shù)據(jù)預(yù)處理　161

任務(wù)描述　161

素質(zhì)拓展　161

任務(wù)技能　162

技能點(diǎn)1　Pig的簡(jiǎn)介　162

技能點(diǎn)2　Pig配置運(yùn)行　162

技能點(diǎn)3　Pig Latin執(zhí)行　165

技能點(diǎn)4　運(yùn)算符　166

技能點(diǎn)5　內(nèi)置函數(shù)　171

任務(wù)實(shí)施　177

任務(wù)6-3　使用ELK實(shí)現(xiàn)某官網(wǎng)日志

數(shù)據(jù)預(yù)處理　182

任務(wù)描述　182

素質(zhì)拓展　182

任務(wù)技能　182

技能點(diǎn)1　Elasticsearch　182

技能點(diǎn)2　Logstash　184

技能點(diǎn)3　Kibana　195

任務(wù)實(shí)施　200

項(xiàng)目小結(jié)　207

課后習(xí)題　207

自我評(píng)價(jià)　208

你還可能感興趣

我要評(píng)論