前 言
用新技術(shù)、新思維，投身新基建

為什么寫這本書？
2020 年 3 月，國家提出要加快 5G 網(wǎng)絡(luò)和數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)（簡稱新基建）的進度。
其中，信息化新型基礎(chǔ)設(shè)施包含云計算、大數(shù)據(jù)、人工智能、區(qū)塊鏈、5G 等內(nèi)容。
云計算、大數(shù)據(jù)、人工智能，這三者從表面上看似乎是三個獨立的技術(shù)方向，實則一脈相承。
筆者在南京大學(xué)參加人工智能峰會的時候，曾向?qū)＜艺埥塘艘粋�問題：云計算、大數(shù)據(jù)、人工智能之間有什么關(guān)系？專家解釋：從整體上看，云計算就是高速公路，大數(shù)據(jù)就是路上滿載貨物、飛速奔馳的車輛，人工智能則通過觀察道路利用情況、車輛運行情況，發(fā)現(xiàn)其中的規(guī)律，合理規(guī)劃道路、合理調(diào)度車輛，讓整個系統(tǒng)運行得更高效。
簡單來說，云計算技術(shù)提供了算力，大數(shù)據(jù)技術(shù)提供了數(shù)據(jù)支撐，人工智能技術(shù)提供了強大算法，這三者之間存在著不可分割的“親緣”關(guān)系。
從細節(jié)來看，每一個領(lǐng)域都有復(fù)雜的邏輯和豐富的內(nèi)涵。如果要將這三門技術(shù)融合在一起，需要有比較扎實的技術(shù)功底和充裕的時間。因此本書的目標(biāo)是盡可能讓讀者用最低的成本，盡快掌握相關(guān)技術(shù)，緊跟時代步伐，早日投身新基建。
這本書的特點是什么？
本書力求簡單、實用，堅持以實例為主，理論為輔。
全書分為五篇，從大數(shù)據(jù)的基本概念與產(chǎn)業(yè)應(yīng)用入手，然后介紹將大數(shù)據(jù)平臺容器化的工具Docker 與 Kubernetes，之后講解大數(shù)據(jù)常用的組件：Hadoop、HBase、Hive、Spark，最后引入了對數(shù)據(jù)進行挖掘的機器學(xué)習(xí)庫 scikit-learn 和 Spark MLlib。
隨著人工智能的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)及相關(guān)的開發(fā)工具也愈發(fā)強大，因此在了解機器學(xué)習(xí)后，本書又引入了能解決更復(fù)雜問題，但操作又比較簡單的深度學(xué)習(xí)框架 TensorFlow。掌握TensorFlow，既彌補了 Spark、scikit-learn 的不足，又能應(yīng)對更困難的場景。
本書沒有高深的理論，每一章都以實例為主，讀者通過參考源代碼，修改實例，就能得到自己想要的結(jié)果，讓讀者看得懂、學(xué)得會、做得出。
本書大多數(shù)章節(jié)都包含實訓(xùn)模塊，讓讀者在學(xué)完該章節(jié)的知識后能夠舉一反三，學(xué)以致用。
通過這本書能學(xué)到什么？
1. 數(shù)據(jù)分析理論基礎(chǔ)：了解大數(shù)據(jù)的特征、大數(shù)據(jù)分析目標(biāo)如何確立、大數(shù)據(jù)項目開發(fā)流程、機器學(xué)習(xí)開發(fā)過程。
2. 大數(shù)據(jù)平臺容器化：掌握 Docker、Kubernetes 的安裝方法；掌握基于 Docker 容器的集群部署方法；掌握 Kubernetes 的集群部署方法。
3. 數(shù)據(jù)分析：理解分布式存儲原理、分布式計算原理及分布式資源調(diào)度原理，掌握 Hadoop、HBase、Hive、Spark、scikit-learn、TensorFlow 數(shù)據(jù)分析技術(shù)。
4. 掌握架構(gòu)設(shè)計與實施技能：能設(shè)計不同場景下的項目架構(gòu)，并做好不同業(yè)務(wù)下的數(shù)據(jù)建模。
5. 項目開發(fā)：熟練使用 Python 語言，綜合運用各類組件，獨立完成項目開發(fā)。掌握基本的機器學(xué)習(xí)、人工智能開發(fā)技術(shù)。
2
本書的核心組件版本和閱讀時的注意事項
1. 核心組件版本
Python：Anaconda 3 Python 3.7 版本
CentOS：7.5
Hadoop：3.1.3
HBase：2.2.2
Hive：3.1.1
Spark：2.4.4
scikit-learn：0.22
TensorFlow：2.1.0
其中，Hadoop、HBase、Hive、Spark 安裝過程相對復(fù)雜，版本不匹配容易出錯，建議讀者使用與本書一致的版本，待精通大數(shù)據(jù)平臺知識之后，再選擇其他版本。另外 TensorFlow 1.x 與TensorFlow 2.x 版本存在巨大差異，使用 TensorFlow 2.x 將會成為流行趨勢，建議讀者使用 2.x 版本。
2. 注意事項
在實訓(xùn)板塊，建議讀者根據(jù)主題回顧小節(jié)內(nèi)容，思考后再設(shè)計自己的實現(xiàn)方案，并與書中的實現(xiàn)方式進行對比，以便取得更好的學(xué)習(xí)效果。
除了書，您還能得到什么？
1. 贈送案例源代碼。提供書中相關(guān)案例的源代碼，方便讀者學(xué)習(xí)參考。
2. 贈送 50 道 Python 面試題及答案，幫助讀者提高面試成功率。
3. 贈送職場高效學(xué)習(xí)資源大禮包，包括《微信高手技巧隨身查》《QQ 高手技巧隨身查》《手機辦公 10 招就夠》等電子書，以及“5 分鐘學(xué)會番茄工作法”“10 招精通超級時間整理術(shù)”視頻教程，讓您輕松應(yīng)對職場那些事兒。
感謝胡子平老師及北京大學(xué)出版社的各位編輯在本書的內(nèi)容策劃、設(shè)計和審核上給我的幫助。在本書的編寫過程中，我竭盡所能地為讀者呈現(xiàn)最好、最全面、最實用的內(nèi)容，但仍難免有疏漏之處，敬請廣大讀者不吝指正。