為什么要寫(xiě)這本書(shū)

機(jī)器學(xué)習(xí)、云計(jì)算與移動(dòng)技術(shù)的興起為計(jì)算機(jī)科學(xué)領(lǐng)域注入了前所未有的活力，而海量數(shù)據(jù)時(shí)代的來(lái)臨更是為機(jī)器學(xué)習(xí)技術(shù)帶來(lái)了新的發(fā)展契機(jī)。我們可以看到，越來(lái)越多的企業(yè)和研發(fā)機(jī)構(gòu)開(kāi)始在自己的產(chǎn)品當(dāng)中加入機(jī)器智能，曾經(jīng)僅僅是為了錦上添花而使用的機(jī)器學(xué)習(xí)應(yīng)用，如今搖身一變，成了現(xiàn)代軟件產(chǎn)品或服務(wù)的核心競(jìng)爭(zhēng)力。通過(guò)機(jī)器學(xué)習(xí)技術(shù)，軟件或服務(wù)的功能和體驗(yàn)得到了質(zhì)的提升。比如，我們甚至可以通過(guò)啟發(fā)式引擎智能地預(yù)測(cè)并調(diào)節(jié)云計(jì)算分布式系統(tǒng)的節(jié)點(diǎn)壓力，以此改善服務(wù)的彈性和穩(wěn)定性，這是多么美妙。而對(duì)移動(dòng)平臺(tái)來(lái)說(shuō)，越來(lái)越多的移動(dòng)終端、邊緣計(jì)算設(shè)備和App開(kāi)始引入人工智能技術(shù)，而且對(duì)預(yù)測(cè)實(shí)時(shí)性要求高的環(huán)境也越來(lái)越依賴于離線實(shí)時(shí)機(jī)器學(xué)習(xí)，另外移動(dòng)技術(shù)的普及也讓邊緣計(jì)算支持機(jī)器智能成為可能。

然而，開(kāi)發(fā)成熟完善的機(jī)器學(xué)習(xí)系統(tǒng)并不簡(jiǎn)單。不同于傳統(tǒng)計(jì)算機(jī)軟件系統(tǒng)開(kāi)發(fā)，研發(fā)機(jī)器學(xué)習(xí)系統(tǒng)不僅需要掌握扎實(shí)的軟件開(kāi)發(fā)技術(shù)、算法原理，還需要掌握紛繁復(fù)雜的數(shù)據(jù)處理原理和實(shí)踐方法。此外，機(jī)器學(xué)習(xí)系統(tǒng)的實(shí)際載體多種多樣。一個(gè)典型的機(jī)器學(xué)習(xí)系統(tǒng)可以是運(yùn)行在云計(jì)算平臺(tái)（比如Amazon AWS）之上的實(shí)例，通過(guò)API調(diào)用的方式提供預(yù)測(cè)服務(wù)。另一種情況是，集中式提供機(jī)器學(xué)習(xí)服務(wù)固然不錯(cuò)，但離線機(jī)器學(xué)習(xí)計(jì)算是一項(xiàng)重大補(bǔ)充。在對(duì)實(shí)時(shí)性要求極為苛刻的生產(chǎn)環(huán)境中，實(shí)時(shí)的本地機(jī)器學(xué)習(xí)預(yù)測(cè)技術(shù)就顯得尤為關(guān)鍵，如何在確保準(zhǔn)確率的前提下，提升整體計(jì)算效率、降低系統(tǒng)功耗成為需要攻克的難題。在移動(dòng)技術(shù)、邊緣計(jì)算等技術(shù)突飛猛進(jìn)的當(dāng)下，研發(fā)高可靠、高效率以及低功耗的移動(dòng)平臺(tái)機(jī)器學(xué)習(xí)系統(tǒng)擁有廣闊的發(fā)展愿景和市場(chǎng)，這既為我們創(chuàng)造了新的機(jī)遇，也使研發(fā)面臨巨大的挑戰(zhàn)。這是筆者撰寫(xiě)本書(shū)的原動(dòng)力。本書(shū)著眼于移動(dòng)平臺(tái)之上的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的研發(fā)和實(shí)戰(zhàn)，從理論開(kāi)始，抽絲剝繭地闡述、歸納和總結(jié)研發(fā)高性能計(jì)算系統(tǒng)的各個(gè)方面，同時(shí)輔以實(shí)戰(zhàn)，帶領(lǐng)讀者一起掌握實(shí)際的工程落地方法。

未來(lái)已至，我們需要做好準(zhǔn)備！

本書(shū)特色

本書(shū)是一本由淺入深詳細(xì)講解研發(fā)高性能移動(dòng)平臺(tái)深度學(xué)習(xí)系統(tǒng)的編程實(shí)戰(zhàn)書(shū)。本書(shū)從基礎(chǔ)機(jī)器學(xué)習(xí)知識(shí)開(kāi)始講起，涵蓋設(shè)計(jì)和使用高性能分布式實(shí)時(shí)處理系統(tǒng)，移動(dòng)平臺(tái)編程，前向引擎優(yōu)化和裁剪，實(shí)際的代碼編寫(xiě)，最終實(shí)現(xiàn)一整套針對(duì)移動(dòng)領(lǐng)域開(kāi)發(fā)的完整機(jī)器學(xué)習(xí)解決方案。在本書(shū)中，我們將介紹一套以C 編寫(xiě)的高性能分布式實(shí)時(shí)處理系統(tǒng)Hurricane及其使用方法，供數(shù)據(jù)收集和預(yù)處理使用。在此基礎(chǔ)上，我們會(huì)深入剖析機(jī)器學(xué)習(xí)原理和深度神經(jīng)網(wǎng)絡(luò)概念，而概念講解伴隨而來(lái)的是編程實(shí)戰(zhàn)，本書(shū)主要使用Python來(lái)講解基礎(chǔ)算法，驗(yàn)證設(shè)想。

另外，本書(shū)采用循序漸進(jìn)的方式講解理論知識(shí)，從基礎(chǔ)知識(shí)入手到艱澀的優(yōu)化算法。相比于C/C ，Python是一門易于上手并實(shí)驗(yàn)友好的膠水語(yǔ)言，因此在講解各類概念與算法時(shí)，我們會(huì)使用Python來(lái)驗(yàn)證設(shè)想。從神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)篇章開(kāi)始，為了給工程開(kāi)發(fā)學(xué)習(xí)打下堅(jiān)實(shí)的基礎(chǔ)，本書(shū)除了使用Python代碼驗(yàn)證設(shè)想外，還使用C/C 來(lái)實(shí)現(xiàn)產(chǎn)品級(jí)的代碼。

由于本書(shū)的主題是講解如何開(kāi)發(fā)實(shí)現(xiàn)高性能的移動(dòng)平臺(tái)深度學(xué)習(xí)系統(tǒng)，因此會(huì)花費(fèi)大量篇幅講解各種旨在提升算法速度和減小模型的小的算法與技術(shù)手段，從輕量級(jí)網(wǎng)絡(luò)等算法模型層面改良到Neon指令集應(yīng)用、權(quán)重稀疏化、半精度、權(quán)重量化等優(yōu)化算法與技術(shù)實(shí)現(xiàn)，最終完成適用于移動(dòng)平臺(tái)的深度學(xué)習(xí)引擎性能增強(qiáng)與模型裁剪。為了完成完整的深度學(xué)習(xí)系統(tǒng)，我們除了要掌握基本原理外還需要掌握各類實(shí)現(xiàn)應(yīng)用所需的工程技術(shù)。例如，在第三篇講解與完成整個(gè)系統(tǒng)相關(guān)的所有技術(shù)時(shí)，還介紹了如何爬取訓(xùn)練用的圖像數(shù)據(jù)、清理訓(xùn)練數(shù)據(jù)、編寫(xiě)訓(xùn)練代碼等內(nèi)容，并以TensorFlow Lite為例，講解移動(dòng)平臺(tái)深度學(xué)習(xí)引擎框架的搭建方法，卷積層、池化層和全連接層實(shí)現(xiàn)與iOS（包括iPadOS）、Android等平臺(tái)的互操作實(shí)現(xiàn)與封裝方案，最終完成可以在iOS與Android上實(shí)際運(yùn)行的深度學(xué)習(xí)系統(tǒng)。

期待讀者能從本書(shū)中學(xué)到新的知識(shí)，以便對(duì)深度學(xué)習(xí)與移動(dòng)平臺(tái)系統(tǒng)開(kāi)發(fā)有更加深入的認(rèn)識(shí)，了解如何構(gòu)建一個(gè)高性能移動(dòng)平臺(tái)深度學(xué)習(xí)系統(tǒng)。

如何閱讀本書(shū)

本書(shū)從最基本的機(jī)器學(xué)習(xí)基礎(chǔ)概念和原理開(kāi)始，逐步引入研發(fā)高性能移動(dòng)平臺(tái)機(jī)器學(xué)習(xí)系統(tǒng)所需要的方方面面，抽絲剝繭地把有關(guān)機(jī)器學(xué)習(xí)和框架的問(wèn)題娓娓道來(lái)。

第一篇為深度學(xué)習(xí)基礎(chǔ)，包含第1～4章。

第1章　介紹機(jī)器學(xué)習(xí)的一些基本概念、學(xué)習(xí)方法和開(kāi)發(fā)機(jī)器學(xué)習(xí)系統(tǒng)所需的重要知識(shí)點(diǎn)，由此引出開(kāi)發(fā)移動(dòng)平臺(tái)機(jī)器學(xué)習(xí)系統(tǒng)的主題，帶領(lǐng)讀者進(jìn)入移動(dòng)平臺(tái)機(jī)器學(xué)習(xí)實(shí)戰(zhàn)領(lǐng)域。

第2章　進(jìn)一步介紹機(jī)器學(xué)習(xí)方法、原理和算法，為理解人工神經(jīng)網(wǎng)絡(luò)打下基礎(chǔ)。

第3章　介紹人工神經(jīng)網(wǎng)絡(luò)、基于無(wú)監(jiān)督學(xué)習(xí)的稀疏自編碼器以及相應(yīng)的數(shù)據(jù)預(yù)處理實(shí)戰(zhàn)。

第4章　介紹深度網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的概念以及相應(yīng)的編程實(shí)戰(zhàn)，作為移動(dòng)平臺(tái)實(shí)現(xiàn)算法的基石。

第二篇為移動(dòng)平臺(tái)深度學(xué)習(xí)基礎(chǔ)，包含第5～6章。

第5章　介紹移動(dòng)平臺(tái)深度學(xué)習(xí)開(kāi)發(fā)基礎(chǔ)，聚焦于ARM指令集加速技術(shù)。

第6章　介紹移動(dòng)平臺(tái)輕量級(jí)網(wǎng)絡(luò)的實(shí)現(xiàn)原理和編程實(shí)戰(zhàn)。

第三篇為深入理解深度學(xué)習(xí)，包含第7～8章。

第7章　介紹數(shù)據(jù)預(yù)處理原理、方法，及基于高性能實(shí)時(shí)處理系統(tǒng)開(kāi)發(fā)的PCA產(chǎn)品級(jí)數(shù)據(jù)預(yù)處理解決方案。

第8章　介紹模式識(shí)別和物體識(shí)別的基本概念以及經(jīng)典算法，并通過(guò)深度神經(jīng)網(wǎng)絡(luò)編程實(shí)戰(zhàn)實(shí)現(xiàn)AlexNet、Faster R-CNN和Retina Net。本書(shū)最后實(shí)現(xiàn)的移動(dòng)平臺(tái)示例主要是圖像分類，因此本章的作用是先介紹一下前導(dǎo)知識(shí)。

第四篇為深入理解移動(dòng)平臺(tái)深度學(xué)習(xí)，包含第9～12章。

第9章　深入介紹移動(dòng)平臺(tái)性能優(yōu)化主題，在移動(dòng)平臺(tái)對(duì)深度網(wǎng)絡(luò)的速度進(jìn)行優(yōu)化，使移動(dòng)平臺(tái)系統(tǒng)能夠高速低功耗使用模型的具體策略和方法。

第10章　介紹采集、訓(xùn)練數(shù)據(jù)的方法和編程實(shí)戰(zhàn)，并通過(guò)TensorFlow完成訓(xùn)練與測(cè)試，最后完成整個(gè)數(shù)據(jù)采集和訓(xùn)練平臺(tái)，為開(kāi)發(fā)移動(dòng)平臺(tái)圖像分類系統(tǒng)建立基礎(chǔ)。

第11章　介紹了TensorFlow Lite的代碼體系、構(gòu)建原理、集成方法以及核心代碼與裁剪分析，并介紹模型處理工具，完成移動(dòng)平臺(tái)系統(tǒng)集成。

第12章　介紹流行的移動(dòng)平臺(tái)機(jī)器學(xué)習(xí)框架和接口并輔以實(shí)戰(zhàn)，最后總結(jié)并展望未來(lái)。

閱讀前提

本書(shū)采用Ubuntu、Debian以及Windows操作系統(tǒng)作為基本的開(kāi)發(fā)環(huán)境。此外，本書(shū)不會(huì)介紹基礎(chǔ)的編程概念和理論。我們假定讀者在閱讀本書(shū)之前已經(jīng)具備基本的編程技術(shù)以及一定的Python、C/C 編程經(jīng)驗(yàn)（最后一章還需要一些Swift和Java的基本語(yǔ)法知識(shí)）。除此之外，數(shù)據(jù)對(duì)深度學(xué)習(xí)來(lái)說(shuō)至關(guān)重要，讀者還應(yīng)該具備基本的實(shí)時(shí)數(shù)據(jù)處理方法和實(shí)踐經(jīng)驗(yàn)。建議讀者先閱讀《Python程序設(shè)計(jì)》和《C 編程思想》以了解編程的基本概念，然后閱讀《高級(jí)C/C 編譯技術(shù)》和《分布式實(shí)時(shí)處理系統(tǒng)：原理、架構(gòu)與實(shí)現(xiàn)》來(lái)進(jìn)行提高。

本書(shū)排版約定

在本書(shū)中，讀者會(huì)發(fā)現(xiàn)針對(duì)不同信息類型的文本樣式。下面是這些樣式的示例和解釋。

所有命令行輸入和輸出如下所示：

mkdir mobile-ml-learning

cd mobile-ml-learning

代碼清單通常以以下格式展現(xiàn)：

2 #include

3

4 int main()

5 {

6 std::cout << "Hello mobile ML_world!!" << std::endl;

7

8 return 0;

9 }

在正文當(dāng)中，我們可能會(huì)用以下方式拓展所講解的內(nèi)容：

這里是相關(guān)提示的文字。

讀者對(duì)象

本書(shū)適合以下讀者：

移動(dòng)平臺(tái)應(yīng)用程序研發(fā)人員

嵌入式設(shè)備軟件研發(fā)人員

智能系統(tǒng)架構(gòu)設(shè)計(jì)與開(kāi)發(fā)工作者。

對(duì)于研發(fā)人員來(lái)說(shuō)，本書(shū)是一本系統(tǒng)學(xué)習(xí)和掌握深度學(xué)習(xí)原理及深入剖析移動(dòng)平臺(tái)開(kāi)發(fā)機(jī)器學(xué)習(xí)系統(tǒng)的指南。對(duì)于架構(gòu)師來(lái)說(shuō)，本書(shū)是一本移動(dòng)平臺(tái)機(jī)器學(xué)習(xí)系統(tǒng)架構(gòu)設(shè)計(jì)的實(shí)戰(zhàn)書(shū)。讀者可以深入理解移動(dòng)平臺(tái)機(jī)器學(xué)習(xí)系統(tǒng)的內(nèi)部構(gòu)造以及重要組成部分，并自己設(shè)計(jì)、優(yōu)化和改進(jìn)系統(tǒng)的層次。同時(shí)，本書(shū)適合初學(xué)者學(xué)習(xí)機(jī)器學(xué)習(xí)實(shí)戰(zhàn)技術(shù)，掌握開(kāi)發(fā)機(jī)器學(xué)習(xí)系統(tǒng)當(dāng)中慣用的編程技巧。

勘誤和支持

雖然筆者在編寫(xiě)本書(shū)的過(guò)程中經(jīng)過(guò)反復(fù)審校，全力確保本書(shū)內(nèi)容的準(zhǔn)確性，但錯(cuò)誤在所難免。書(shū)中難免可能會(huì)出現(xiàn)一些錯(cuò)誤或不準(zhǔn)確的描述，懇請(qǐng)讀者批評(píng)指正。書(shū)中所涉及的所有源代碼及工程都可以從華章官網(wǎng)（www.hzbook.com）或GitHub（https://github.com/samblg/book-mobile-ml）下載，這些項(xiàng)目都是開(kāi)源項(xiàng)目�，F(xiàn)在我懷著期盼和忐忑的心情，將這本拙作呈獻(xiàn)給大家，我渴望得到您的認(rèn)可，更渴望和您成為朋友，如果您有任何問(wèn)題和建議，請(qǐng)與我聯(lián)系（電子郵件：samblg@me.com），期待能夠得到您的真摯反饋。

致謝

在創(chuàng)作本書(shū)的過(guò)程中，我得到了很多人的幫助，這里必須要一一感謝，聊表寸心（排名不分先后）：顧仁民、侯捷、魯昌華、彭垚、邵良、夏臻新、于俊、彭敏、曠天亮、徐立冰、風(fēng)辰、陳煒、俞歡、Eddie Ruan、龍俊彤、石蓮、徐航、曾玉明、李佳和錢曙光。感謝我在Autodesk的同事和Cisco Systems的朋友。特別是我的良師益友金柳頎，感謝你在技術(shù)問(wèn)題上的嚴(yán)謹(jǐn)精神。還要感謝機(jī)械工業(yè)出版社的高婧雅編輯對(duì)我的信任。

謹(jǐn)以此書(shū)獻(xiàn)給我最親愛(ài)的家人與朋友，你們是我?jiàn)^斗路上堅(jiān)強(qiáng)的后盾。

盧譽(yù)聲

于上海