若干年前，我們團(tuán)隊(duì)正在使用的基于Python的數(shù)據(jù)管道突然崩潰，導(dǎo)致某個進(jìn)程持續(xù)占用CPU。該組件對公司業(yè)務(wù)至關(guān)重要，因此必須盡快解決該問題。我們核查了算法，始終沒有發(fā)現(xiàn)問題。算法的實(shí)現(xiàn)步驟其實(shí)非常簡單，但經(jīng)過多名工程師的數(shù)小時排查，才發(fā)現(xiàn)問題在于程序在一個非常大的列表上進(jìn)行搜索。在將列表轉(zhuǎn)換為集合后，問題就迎刃而解了。最終，數(shù)據(jù)結(jié)構(gòu)不僅變得更小，搜索時間也從數(shù)小時降低到毫秒級別。
這次故障對我觸動很大：
● 雖然問題并不嚴(yán)重，但暴露出團(tuán)隊(duì)在開發(fā)過程中并不關(guān)注性能問題。如果經(jīng)常使用代碼分析器，我們就能在幾分鐘內(nèi)發(fā)現(xiàn)問題，而不是耗費(fèi)了好幾個小時。
● 我們最終解決了問題，并且取得了雙贏的結(jié)果，不僅程序查詢時間更短，占用內(nèi)存也更少。雖然在許多情況下，面對性能和成本需要做出取舍，但在某些情況下，兼顧兩者不僅能獲得滿意的結(jié)果，還沒有任何負(fù)面影響。
● 從更高的角度審視，結(jié)果也是雙贏的。首先，查詢速度更快非常有利于公司業(yè)務(wù)。其次，算法經(jīng)過優(yōu)化后，使用CPU的時間更短、耗能更低，也更加環(huán)保。
● 雖然單個案例意義有限，但我意識到許多程序員或許都在尋找類似的優(yōu)化解決方案。
因此，我決定編寫本書，以便其他程序員可以從中受益。我的目標(biāo)是幫助經(jīng)驗(yàn)豐富的Python程序員設(shè)計(jì)和實(shí)現(xiàn)更高效的解決方案，同時能夠了解底層的權(quán)衡機(jī)制。我將采用全面且透徹的方式，通過探討Python代碼和重要的Python庫，從算法角度來探究現(xiàn)代硬件架構(gòu)及其影響，并分析CPU和存儲性能。希望本書能夠幫助讀者在使用Python生態(tài)進(jìn)行開發(fā)時，游刃有余地處理性能問題。
 

關(guān) 于 本 書

本書旨在幫助讀者在Python生態(tài)系統(tǒng)中編寫更高效的應(yīng)用程序。更高效是指讓代碼使用的CPU周期更少、占用的存儲空間更少、消耗的網(wǎng)絡(luò)通信更少。
本書采用全面且透徹的方式來分析性能問題。書中不僅涉及純Python代碼的優(yōu)化技術(shù)，還介紹了如何高效使用數(shù)據(jù)科學(xué)庫，如NumPy和pandas。由于Python在某些場景下性能不足，為了使代碼運(yùn)行速度更快，本書還講解了Cython。為了使內(nèi)容盡量全面，本書還討論了硬件對代碼設(shè)計(jì)的影響，即分析現(xiàn)代計(jì)算機(jī)架構(gòu)對算法性能的影響。另外，還探究了網(wǎng)絡(luò)架構(gòu)對效率的影響，以及GPU計(jì)算在快速數(shù)據(jù)分析領(lǐng)域中的運(yùn)用。
目標(biāo)讀者
本書面向中高級讀者。希望讀者接觸過目錄中的大部分技術(shù)，并且最好親手使用過其中一些。除了IO庫和GPU計(jì)算章節(jié)，本書只提供了很少的介紹性內(nèi)容，所以要求讀者了解基礎(chǔ)知識。如果你正在編寫高性能代碼，并面臨高效處理海量數(shù)據(jù)的切實(shí)挑戰(zhàn)，這本書可提供很多建議。
為了從本書吸收更多的知識，你應(yīng)該具備多年的Python編程經(jīng)驗(yàn)，熟悉Python控制流、列表、集合和字典，并具備一定Python標(biāo)準(zhǔn)庫的使用經(jīng)驗(yàn)，如os、sys、pickle和multiprocessing。為了充分運(yùn)用書中介紹的技術(shù)，你或多或少應(yīng)操作過標(biāo)準(zhǔn)的數(shù)據(jù)分析庫，即NumPy和pandas，例如使用過NumPy中的數(shù)組和pandas中的數(shù)據(jù)幀。
如果你清楚如何通過C或Rust等語言接口來加速Python代碼，或者了解Cython或Numba等優(yōu)化工具，即使沒有實(shí)際操作過，本書對你也會很有幫助。在Python中處理IO的經(jīng)驗(yàn)對你也會有所幫助。鑒于IO庫方面的學(xué)習(xí)資料較少，我們將從Apache Parque和Zarr庫開始介紹。
讀者應(yīng)該熟練使用Linux終端(或MacOS終端)的基本命令。如果使用Windows，請安裝基于UNIX的終端，并熟悉命令行或PowerShell。此外，你還需要在計(jì)算機(jī)上安裝Python。
在某些示例中，我會講解云計(jì)算技巧，但訪問云或了解云計(jì)算方面的知識不是閱讀本書的必要條件。如果你對云計(jì)算方法感興趣，建議學(xué)習(xí)執(zhí)行云計(jì)算的基本操作，例如，創(chuàng)建實(shí)例和訪問云服務(wù)存儲。
雖然本書不要求讀者接受過學(xué)術(shù)培訓(xùn)，但了解復(fù)雜度的基本概念是有益的。例如，理解與數(shù)據(jù)量呈線性關(guān)系的算法優(yōu)于與數(shù)據(jù)量呈指數(shù)關(guān)系的算法。如果你想使用GPU進(jìn)行優(yōu)化，閱讀本書前無需了解相關(guān)內(nèi)容。
本書內(nèi)容：學(xué)習(xí)路線圖
本書各章基本是獨(dú)立的，讀者可以翻閱任何感興趣的章節(jié)。全書內(nèi)容分為四部分。
第Ⅰ部分“基礎(chǔ)知識”(第1~4章)，涵蓋了入門知識。
● 第1章介紹了海量數(shù)據(jù)帶來的問題，并解釋了為什么必須關(guān)注計(jì)算和存儲的效率。本章還介紹了全書的學(xué)習(xí)方法，并提供了如何根據(jù)需求學(xué)習(xí)本書的建議。
● 第2章講解了對原生Python代碼進(jìn)行優(yōu)化的方法。本章還討論了Python數(shù)據(jù)結(jié)構(gòu)的優(yōu)化、代碼分析、內(nèi)存分配和惰性編程技術(shù)。
● 第3章討論了Python中的并發(fā)和并行，以及如何最佳利用多進(jìn)程和多線程(包括使用線程進(jìn)行并行處理的限制)。本章還介紹了異步處理，它通常用于Web服務(wù)中的低負(fù)載、多并發(fā)請求場景。
● 第4章介紹了NumPy，NumPy是用于高效處理多維數(shù)組的庫。NumPy是當(dāng)前所有數(shù)據(jù)處理技術(shù)的核心，是眾多方法的基本庫。本章分享了NumPy中的關(guān)鍵功能，如視圖、廣播和數(shù)組編程，以開發(fā)更高效的代碼。
第Ⅱ部分“硬件”(第5章和第6章)，主要涉及如何發(fā)揮硬件和網(wǎng)絡(luò)的最大效率。
● 第5章介紹了Cython。Cython基于Python，可以生成非常高效的代碼。Python屬于高級解釋性語言，因此不適合用于優(yōu)化硬件。其他幾種語言，如C或Rust，從設(shè)計(jì)之初就能在硬件層高效運(yùn)行。Cython屬于底層語言，雖然它與Python很相似，但可以將Cython編譯成C代碼。要想寫出高效的Cython代碼，關(guān)鍵在于掌握代碼基礎(chǔ)和實(shí)現(xiàn)方法。在本章中，我們就將學(xué)習(xí)如何編寫高效的Cython代碼。
● 第6章討論了硬件架構(gòu)對高效Python代碼設(shè)計(jì)的影響。鑒于計(jì)算機(jī)的設(shè)計(jì)模式，反直覺的編程方法可能比預(yù)期的更有效率。例如，在某些情況下，即使需要承擔(dān)解壓縮算法的計(jì)算開銷，處理壓縮數(shù)據(jù)也可能比處理未壓縮數(shù)據(jù)的速度更快。本章還介紹了CPU、內(nèi)存、存儲和網(wǎng)絡(luò)對Python算法設(shè)計(jì)的影響。另外，本章討論了NumExpr庫，它能利用最新的硬件架構(gòu)特性使NumPy代碼更高效。
第Ⅲ部分“用于現(xiàn)代數(shù)據(jù)處理的應(yīng)用和庫”(第7章和第8章)，探討了最新的用于數(shù)據(jù)處理的應(yīng)用和庫。
● 第7章討論了如何高效使用pandas，pandas是Python中的數(shù)據(jù)幀庫。我們將研究pandas相關(guān)的技術(shù)，以優(yōu)化代碼。和本書大多數(shù)章節(jié)不同，這一章的內(nèi)容基于前面的章節(jié)。pandas是在NumPy的基礎(chǔ)上工作的，所以會借鑒第4章的內(nèi)容，探索與NumPy相關(guān)的技術(shù)進(jìn)而優(yōu)化pandas。我們還將探究如何用NumExpr和Cython優(yōu)化pandas。最后，介紹了Arrow庫，除了可以提高處理pandas數(shù)據(jù)幀的性能，它還具有其他強(qiáng)大的功能。
● 第8章探討了數(shù)據(jù)持久化的優(yōu)化問題。我們討論了能高效處理列型數(shù)據(jù)的庫Parquet，以及能處理大型磁盤數(shù)組的庫Zarr。本章還討論了如何處理超過內(nèi)存容量的數(shù)據(jù)集。
第Ⅳ部分“高級主題”(第9章和第10章)，涉及最后兩個與眾不同的方法，即GPU和Dask庫。
● 第9章探討了圖形處理單元(Graphical Processing Unit，GPU)在處理大型數(shù)據(jù)集方面的使用方法。我們將看到，GPU計(jì)算模型使用大量簡單的處理單元，完全可以處理最新的數(shù)據(jù)科學(xué)問題。我們使用了兩種不同的方法以利用GPU的優(yōu)勢。首先，將討論現(xiàn)有GPU方面的庫，這些庫提供了與其他庫類似的接口，例如CuPy是NumPy的GPU版本。另外，本章還介紹如何編寫在GPU上運(yùn)行的Python代碼。
● 第10章討論了Dask。使用Dask庫能編寫出輕松擴(kuò)展到計(jì)算集群上的并行代碼，它提供了類似于NumPy和pandas的接口。計(jì)算集群既可以位于本地，又可以位于云端。
該書最后還包括兩個附錄。
● 附錄A介紹如何安裝所必需的軟件，以使用書中的示例。
● 附錄B介紹Numba。Numba是Cython的替代品，可以生成高效的底層代碼。Cython和Numba是生成底層代碼的主要途徑。為了解決真實(shí)場景中的問題，我推薦使用Numba。但是，為什么正文中用了一整章來介紹Cython，卻將Numba放在附錄中呢？這是因?yàn)楸緯�的主要目�?biāo)是為你打下堅(jiān)實(shí)的基礎(chǔ)，確保能在Python生態(tài)系統(tǒng)中編寫出高效的代碼，而Cython更適合深入了解內(nèi)部的計(jì)算機(jī)制。
獲取代碼
本書包含許多源代碼示例，既有行間代碼，又有行內(nèi)代碼。為了區(qū)別于普通文本，這兩種樣式的源代碼都采用等寬字體。有時，也會加粗代碼，以強(qiáng)調(diào)代碼發(fā)生的變動，例如，為已有代碼添加新功能。
在許多示例中，不得不對初始源代碼的樣式進(jìn)行調(diào)整。為了使頁面版式更加美觀，添加了換行符，并重新進(jìn)行排版縮進(jìn)。但在極少數(shù)情況下，如此調(diào)整后還要使用連行符(?)。此外，如果文本中對代碼進(jìn)行了解釋，通常會刪除源代碼中的注釋。許多代碼附帶有注釋，以突出重要概念。
本書示例的完整代碼可從GitHub倉庫(https://github.com/tiagoantao/python-performance) 下載，或掃描本書封底的二維碼進(jìn)行下載。當(dāng)發(fā)現(xiàn)錯誤或需要更新Python和庫時，我會更新代碼倉庫。因此，請讀者留意代碼倉庫的變動。代碼倉庫為每個章節(jié)列出了詳細(xì)目錄。
人們對代碼風(fēng)格各有偏好，我盡量調(diào)整了書中的代碼，以使代碼在紙質(zhì)版的書中看起來更加美觀。例如，我本來喜歡使用較長且具有描述性的變量名，但這種名稱的印刷效果一般。因此，書中使用表達(dá)性的變量名，并遵循標(biāo)準(zhǔn)的Python慣例，如PEP8，同時確保印刷效果的美觀。本書對類型注釋也采取了同樣的做法，我原本想使用類型注釋，但類型注釋妨礙了代碼的可讀性。在極少數(shù)情況下，我使用算法來增強(qiáng)可讀性，但算法并不能應(yīng)對所有極端情況，或使代碼邏輯更加清晰。
在大多數(shù)情況下，本書中的代碼適用于標(biāo)準(zhǔn)的Python解釋器。在少數(shù)情況下，需要使用IPython，特別是進(jìn)行性能分析時。你也可以使用Jupyter Notebook。
關(guān)于安裝的細(xì)節(jié)可以參考附錄A。如果任何章節(jié)需要使用特殊的軟件，將在適當(dāng)?shù)牡胤阶⒚鳌?br /> 硬件和軟件
讀者可以使用任何操作系統(tǒng)運(yùn)行本書中的代碼。不過，大部分生產(chǎn)代碼都部署在Linux上，因此Linux是首選系統(tǒng)�；蛘�，也可以直接使用MacOS X。如果使用的是Windows，建議安裝Windows Subsystem for Linux(WSL) 。
除了操作系統(tǒng)，還可以選擇Docker。讀者可以使用代碼倉庫中提供的Docker鏡像，Docker提供了容器化的Linux環(huán)境來運(yùn)行代碼。
建議你使用的計(jì)算機(jī)至少擁有16 GB的內(nèi)存和150 GB的可用磁盤空間。第9章涉及與GPU相關(guān)的內(nèi)容，需要使用NVIDIA GPU，最低基于Pascal架構(gòu)。過去五年中發(fā)布的大多數(shù)GPU都符合此要求。為了充分學(xué)習(xí)本書內(nèi)容，有關(guān)環(huán)境準(zhǔn)備的詳細(xì)信息，請參見附錄A。