中文字幕无线精品亚洲乱码一区,日韩免费无码一区二区三区

內(nèi)容簡(jiǎn)介
這是一本能指導(dǎo)企業(yè)利用MLOps技術(shù)構(gòu)建可靠、高效、可復(fù)用、可擴(kuò)展的機(jī)器學(xué)習(xí)模型從而實(shí)現(xiàn)AI工程化落地的著作。由國(guó)內(nèi)AI領(lǐng)域的獨(dú)角獸企業(yè)第四范式的聯(lián)合創(chuàng)始人和技術(shù)VP領(lǐng)銜撰寫，從工具、技術(shù)、企業(yè)級(jí)應(yīng)用、成熟度評(píng)估4個(gè)維度對(duì)MLOps進(jìn)行了全面的講解。
本書的主要內(nèi)容包括如下9個(gè)方面：
（1）MLOps的核心概念和方法，可以幫助讀者全面了解MLOps的基本原理；
（2）MLOps涉及的幾種角色，以及這些角色之間如何協(xié)作；
（3）機(jī)器學(xué)習(xí)項(xiàng)目的基礎(chǔ)知識(shí)和全流程，是學(xué)習(xí)和應(yīng)用MLOps的基礎(chǔ)；
（4）MLOps中的數(shù)據(jù)處理、主要流水線工具Airflow和MLflow、特征平臺(tái)和實(shí)時(shí)特征平臺(tái)OpenMLDB、推理工具鏈Adlik，為讀者系統(tǒng)講解MLOps的技術(shù)和工具；
（5）云服務(wù)供應(yīng)商的端到端MLOps解決方案；
（6）第四范式、網(wǎng)易、小米、騰訊、眾安金融等企業(yè)的MLOps工程實(shí)踐案例和經(jīng)驗(yàn)；
（7）MLOps的成熟度模型，以及微軟、谷歌和信通院對(duì)MLOps成熟度模型的劃分；
（8）針對(duì)不同規(guī)模的企業(yè)和團(tuán)隊(duì)的MLOps最佳實(shí)踐，幫助他們量身定做MLOps策略；
（9）MLOps的未來(lái)發(fā)展趨勢(shì)，以及如何將新技術(shù)融入MLOps實(shí)踐中。
本書深入淺出、循序漸進(jìn)地講解了如何在實(shí)際項(xiàng)目中利用MLOps進(jìn)行機(jī)器學(xué)習(xí)模型的部署、監(jiān)控與優(yōu)化，以及如何利用MLOps實(shí)現(xiàn)持續(xù)集成與持續(xù)交付等高效的工作流程。通過(guò)企業(yè)級(jí)的MLOps案例和解決方案，幫助讀者輕松掌握MLOps的設(shè)計(jì)思路以及如何應(yīng)用MLOps解決實(shí)際問(wèn)題。

PREFACE
前　　言
為什么寫作本書
我們非常幸運(yùn)地見(jiàn)證了AlphaGo、ChatGPT等令人激動(dòng)的人工智能技術(shù)的突破。不可否認(rèn)，人工智能已經(jīng)像手機(jī)、電力、網(wǎng)絡(luò)一樣融入每個(gè)人的工作和生活，進(jìn)入各個(gè)行業(yè)。人工智能從早期在互聯(lián)網(wǎng)企業(yè)的推薦、廣告、搜索等場(chǎng)景中大放光彩，發(fā)展到在視覺(jué)、安防、金融等領(lǐng)域落地，再到今天走入交通、制造、生命科學(xué)等領(lǐng)域，并在排工排產(chǎn)、自動(dòng)駕駛等場(chǎng)景中嶄露頭角。
作為計(jì)算機(jī)科學(xué)的一個(gè)重要領(lǐng)域，機(jī)器學(xué)習(xí)也是目前人工智能領(lǐng)域非常活躍的分支之一。機(jī)器學(xué)習(xí)通過(guò)分析海量數(shù)據(jù)、總結(jié)規(guī)律，幫助人們解決眾多實(shí)際問(wèn)題。隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，越來(lái)越多的企業(yè)將機(jī)器學(xué)習(xí)技術(shù)作為核心競(jìng)爭(zhēng)力，并運(yùn)用在實(shí)際業(yè)務(wù)中。
但是，機(jī)器學(xué)習(xí)應(yīng)用落地并非一件輕松的事情，AI開(kāi)發(fā)者往往需要面對(duì)各個(gè)環(huán)節(jié)的挑戰(zhàn)。這些環(huán)節(jié)包括目標(biāo)定義、數(shù)據(jù)收集、數(shù)據(jù)清洗、特征提取、模型選擇、模型訓(xùn)練、模型部署和模型監(jiān)控等，其中任何一個(gè)環(huán)節(jié)出現(xiàn)失誤，都可能影響算法和策略在最終業(yè)務(wù)中落地的效果，造成成倍的損失。反過(guò)來(lái)看，利用工程化技術(shù)去優(yōu)化模型的自學(xué)習(xí)能力，能讓模型保持持續(xù)更新、迭代和演進(jìn)，隨著數(shù)據(jù)和業(yè)務(wù)的變化不斷進(jìn)行自適應(yīng)，避免衰退，始終保持在最佳狀態(tài)，為業(yè)務(wù)場(chǎng)景帶來(lái)更好的效果、更多的價(jià)值。
除了效果之外，機(jī)器學(xué)習(xí)應(yīng)用的開(kāi)發(fā)效率也是阻礙落地的關(guān)鍵因素。像Google這樣的互聯(lián)網(wǎng)領(lǐng)頭羊企業(yè)，其AI科學(xué)家與AI工程師也常常會(huì)遇到開(kāi)發(fā)一周，上線三月的情況。因此需要針對(duì)每個(gè)模型花費(fèi)數(shù)月時(shí)間進(jìn)行正確性排查，覆蓋模型魯棒性、數(shù)據(jù)時(shí)序穿越、線上線下一致性、數(shù)據(jù)完整性等各個(gè)維度。
從團(tuán)隊(duì)協(xié)作角度來(lái)看，數(shù)據(jù)、模型、算法的開(kāi)發(fā)和部署需要不同的技能和知識(shí)，需要團(tuán)隊(duì)敏捷地進(jìn)行溝通和協(xié)作。因此，建設(shè)一種可以在任何時(shí)間、任何環(huán)境被信任的團(tuán)隊(duì)合作模式、溝通渠道以及反饋機(jī)制，形成一個(gè)如敏捷迭代、Kubernetes一樣的事實(shí)標(biāo)準(zhǔn)，可方便AI工程師敏捷、快速地上線AI應(yīng)用。
除了效果和效率兩個(gè)AI開(kāi)發(fā)者所關(guān)注的維度外，成本、人才、安全也是機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)落地時(shí)需要權(quán)衡的。
成本：無(wú)論軟件、硬件成本還是人力成本，企業(yè)需要在落地AI應(yīng)用的效益和成本之間進(jìn)行權(quán)衡，確保投入產(chǎn)出比是可行的，而這要求開(kāi)發(fā)者對(duì)成本和產(chǎn)出有更加精準(zhǔn)的預(yù)測(cè)和判斷。
人才：人才短缺是一個(gè)普遍問(wèn)題，哪怕是在硅谷、中關(guān)村等科技人才聚集地，具備機(jī)器學(xué)習(xí)和軟件開(kāi)發(fā)能力的人也是供不應(yīng)求的。開(kāi)發(fā)者需要更好地精進(jìn)技能，規(guī)劃好AI工程化的技能樹(shù)和學(xué)習(xí)路徑，把自己變成有競(jìng)爭(zhēng)力的人才。
安全：幾乎所有的企業(yè)都會(huì)要求AI應(yīng)用背后的數(shù)據(jù)、算法和模型符合法規(guī)和標(biāo)準(zhǔn)。開(kāi)發(fā)者需要確保AI應(yīng)用和系統(tǒng)不會(huì)向企業(yè)外部泄露數(shù)據(jù)，不讓非法的攻擊侵入并影響業(yè)務(wù)系統(tǒng)。
正是在這樣的背景下，MLOps快速成為機(jī)器學(xué)習(xí)生產(chǎn)落地中不可或缺的關(guān)鍵能力。構(gòu)建一個(gè)靠譜、永遠(yuǎn)可以信任、從容應(yīng)對(duì)新技術(shù)演進(jìn)的機(jī)器學(xué)習(xí)系統(tǒng)，匹配讓AI開(kāi)發(fā)者高效且省心省力的機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)流程，成為當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域面臨的極為關(guān)鍵的問(wèn)題之一。
作為當(dāng)今企業(yè)和研究人員關(guān)注的熱點(diǎn)領(lǐng)域，MLOps相關(guān)的知識(shí)和實(shí)踐仍然相對(duì)分散，因此，迫切需要一本系統(tǒng)化介紹MLOps實(shí)踐方法的書籍，這也正是我們撰寫本書的動(dòng)力所在。我們希望本書能夠：
梳理MLOps的核心概念和方法，幫助讀者全面了解MLOps的基本原理；
提供實(shí)用的案例分析和操作指南，使讀者能夠在實(shí)際項(xiàng)目中應(yīng)用MLOps，提高工作效率；
針對(duì)不同規(guī)模的企業(yè)和團(tuán)隊(duì)，給出相應(yīng)的MLOps最佳實(shí)踐，幫助它們量身定制MLOps策略；
探討MLOps的未來(lái)發(fā)展趨勢(shì)，以及如何將新技術(shù)方向（如人工智能倫理、可解釋性等）融入MLOps實(shí)踐。
我們深知MLOps實(shí)踐的推廣和普及需要時(shí)間和努力，希望本書可以為研究人員提供全面、系統(tǒng)和實(shí)用的指南，以便他們?cè)趯?shí)際應(yīng)用中構(gòu)建可靠、高效和穩(wěn)健的機(jī)器學(xué)習(xí)模型，實(shí)現(xiàn)業(yè)務(wù)價(jià)值最大化。
本書內(nèi)容
本書是一本面向MLOps的工程實(shí)踐指南，旨在幫助讀者了解如何在實(shí)際工作中應(yīng)用MLOps技術(shù)。本書介紹了不同的主流工具和技術(shù)，這些工具和技術(shù)可以幫助構(gòu)建可靠、可重復(fù)使用和可擴(kuò)展的機(jī)器學(xué)習(xí)模型。通過(guò)實(shí)際案例，讀者可以更好地理解這些工具和技術(shù)的用途和優(yōu)缺點(diǎn)，以及如何將它們應(yīng)用于實(shí)際項(xiàng)目。
本書內(nèi)容如下。
第1章系統(tǒng)地介紹MLOps出現(xiàn)的背景，給出MLOps的定義和內(nèi)涵，然后比較MLOps和DevOps及其他XOps的異同，幫助讀者對(duì)MLOps有較全面的了解。
第2章介紹MLOps涉及的幾種角色，包括產(chǎn)品經(jīng)理、數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、機(jī)器學(xué)習(xí)工程師、DevOps工程師、IT運(yùn)維工程師等，并分析AI科學(xué)家與AI工程師協(xié)作中容易出現(xiàn)的問(wèn)題及其解決辦法。
第3章重點(diǎn)介紹機(jī)器學(xué)習(xí)項(xiàng)目涉及的相關(guān)概念和問(wèn)題，并以全局視角解讀機(jī)器學(xué)習(xí)項(xiàng)目的全流程，探討在這個(gè)過(guò)程中MLOps需要解決的痛點(diǎn)問(wèn)題，為后續(xù)深入學(xué)習(xí)MLOps方法論和工具做準(zhǔn)備。
第4章重點(diǎn)介紹MLOps中有關(guān)數(shù)據(jù)的內(nèi)容，介紹什么是以數(shù)據(jù)為中心，以數(shù)據(jù)為中心的人工智能與以模型為中心的人工智能有什么區(qū)別，MLOps中數(shù)據(jù)的生命周期是什么樣的，數(shù)據(jù)架構(gòu)是如何演進(jìn)的，主要的數(shù)據(jù)問(wèn)題是什么以及應(yīng)該如何解決。
第5章結(jié)合機(jī)器學(xué)習(xí)難以落地在工程層面存在的問(wèn)題，介紹MLOps領(lǐng)域出現(xiàn)的通用流水線工具以及如何幫助提升MLOps流程的串聯(lián)效率，并重點(diǎn)介紹兩個(gè)典型的流水線工具：Airflow和MLflow。
第6章主要介紹MLOps中特有的特征平臺(tái)，從特征平臺(tái)的起源、作用、現(xiàn)狀以及未來(lái)趨勢(shì)，分析當(dāng)前的幾個(gè)主流商業(yè)產(chǎn)品和相關(guān)的開(kāi)源項(xiàng)目，讓讀者對(duì)特征平臺(tái)有一個(gè)全面的了解，同時(shí)對(duì)如何挑選特征平臺(tái)給出一些建議。
第7章從構(gòu)建企業(yè)級(jí)實(shí)時(shí)特征平臺(tái)的方法論出發(fā)，講述線上線下一致性的重要性，以及所帶來(lái)的工程化挑戰(zhàn)；基于開(kāi)源的機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)OpenMLDB，深入介紹如何踐行線上線下一致性；通過(guò)案例演示，帶領(lǐng)讀者了解OpenMLDB的基本使用方法。
第8章從機(jī)器學(xué)習(xí)模型落地的挑戰(zhàn)開(kāi)始，引出對(duì)Adlik推理工具鏈的介紹，包括Adlik架構(gòu)、端到端模型推理優(yōu)化實(shí)踐等，幫助讀者全方位了解如何利用Adlik構(gòu)建完整的機(jī)器學(xué)習(xí)推理方案。
第9章以業(yè)界領(lǐng)先的某國(guó)際知名云服務(wù)提供商開(kāi)發(fā)的SageMaker為例，介紹這種全家桶式服務(wù)是如何幫助客戶應(yīng)對(duì)大規(guī)模機(jī)器學(xué)習(xí)業(yè)務(wù)開(kāi)發(fā)所帶來(lái)的挑戰(zhàn)的。
第10章通過(guò)信用卡交易反欺詐系統(tǒng)、推薦系統(tǒng)案例來(lái)展示MLOps在不同場(chǎng)景下的挑戰(zhàn)和解決思路，幫助讀者更好地理解和應(yīng)用MLOps。
第11章以網(wǎng)易云音樂(lè)實(shí)時(shí)模型應(yīng)用為例，介紹網(wǎng)易云音樂(lè)FeatureBox在特征工程上如何解決特征開(kāi)發(fā)效率、特征數(shù)據(jù)準(zhǔn)確性、特征讀寫性能、使用資源大小等一系列問(wèn)題。
第12章以小米廣告機(jī)器學(xué)習(xí)平臺(tái)實(shí)踐為例，介紹小米如何將機(jī)器學(xué)習(xí)開(kāi)發(fā)流程抽象化、工具化、系統(tǒng)化、平臺(tái)化，從而提升算法迭代效率，并不斷提升算法效果。
第13章介紹騰訊金融業(yè)務(wù)推薦系統(tǒng)建設(shè)的方法，包括如何圍繞業(yè)務(wù)增長(zhǎng)、用戶體驗(yàn)優(yōu)化和效率提升等關(guān)鍵目標(biāo)，應(yīng)用大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)，以數(shù)據(jù)驅(qū)動(dòng)方法推動(dòng)各個(gè)業(yè)務(wù)目標(biāo)的迭代實(shí)現(xiàn)。
第14章介紹眾安金融的MLOps建設(shè)背景和整體的實(shí)施思路，同時(shí)重點(diǎn)介紹實(shí)時(shí)特征平臺(tái)的架構(gòu)設(shè)計(jì)、實(shí)時(shí)特征計(jì)算的實(shí)現(xiàn)方式，以及特征平臺(tái)如何支持反欺詐場(chǎng)景的特征應(yīng)用。
第15章介紹MLOps成熟度模型，然后介紹谷歌、微軟及信通院對(duì)MLOps成熟度模型的劃分方式，讓讀者對(duì)MLOps在業(yè)內(nèi)的發(fā)展有更全面的了解。
讀者對(duì)象
本書旨在幫助讀者掌握MLOps技術(shù)，從而構(gòu)建可靠、可重復(fù)使用和可擴(kuò)展的機(jī)器學(xué)習(xí)工作流程。我們更加強(qiáng)調(diào)實(shí)踐和操作，通過(guò)示例來(lái)幫助讀者更好地理解并應(yīng)用這些技術(shù)和工具。
本書適用的讀者對(duì)象如下。
數(shù)據(jù)科學(xué)家和AI研究人員：希望了解如何將自己的模型和算法更有效地部署到實(shí)際生產(chǎn)環(huán)境，提高工作效率和質(zhì)量。
機(jī)器學(xué)習(xí)工程師和DevOps工程師：想要掌握MLOps的最佳實(shí)踐，以便在組織內(nèi)更好地支持AI和ML項(xiàng)目的開(kāi)發(fā)、部署與維護(hù)。
產(chǎn)品經(jīng)理和業(yè)務(wù)負(fù)責(zé)人：希望了解MLOps的概念和實(shí)踐，以便更好地推動(dòng)組織內(nèi)AI和ML項(xiàng)目的落地，提高項(xiàng)目成功率和產(chǎn)出價(jià)值。
教育者和學(xué)者：在教學(xué)和研究過(guò)程中需要掌握MLOps的理論和實(shí)踐知識(shí)，以便為學(xué)生和咨詢者提供指導(dǎo)。
與我們聯(lián)系
若本書中有描述不到位或錯(cuò)誤的情況，懇請(qǐng)讀者批評(píng)指正，意見(jiàn)可發(fā)送至郵箱startogether2022@163.com。
致謝
在本書撰寫過(guò)程中，我深深地感到，要想打造完美的內(nèi)容，個(gè)人的力量是遠(yuǎn)遠(yuǎn)不夠的。在這里，我要感謝所有為本書寫作提供幫助的人，感謝我的同事、家人和朋友，他們一直支持并鼓勵(lì)我完成寫作。
感謝所有致力于MLOps領(lǐng)域的人，他們的努力為這個(gè)領(lǐng)域的發(fā)展做出了重要貢獻(xiàn)。

鄭　曌　　
第四范式技術(shù)副總裁　　

目錄
作者簡(jiǎn)介
前言
第1章　全面了解MLOps 1
1.1　人工智能的趨勢(shì)和現(xiàn)狀 1
1.1.1　趨勢(shì)1：人工智能在企業(yè)中加速落地，彰顯更多業(yè)務(wù)價(jià)值 1
1.1.2　趨勢(shì)2：人工智能應(yīng)用從以模型為中心向以數(shù)據(jù)為中心轉(zhuǎn)變 3
1.1.3　現(xiàn)狀：人工智能落地成功率低，
成本高 4
1.2　人工智能的問(wèn)題、挑戰(zhàn)以及應(yīng)對(duì)措施 5
1.2.1　問(wèn)題1：機(jī)器學(xué)習(xí)代碼只是整個(gè)系統(tǒng)的一小部分 5
1.2.2　問(wèn)題2：數(shù)據(jù)是最主要的問(wèn)題 6
1.2.3　挑戰(zhàn)：人工智能系統(tǒng)
如何規(guī)�；涞� 7
1.2.4　應(yīng)對(duì)措施：MLOps 8
1.3　MLOps簡(jiǎn)介 8
1.3.1　MLOps的定義 8
1.3.2　MLOps相關(guān)的工具和平臺(tái) 12
1.3.3　MLOps的優(yōu)勢(shì) 13
1.4　MLOps與DevOps 14
1.4.1　DevOps的3個(gè)優(yōu)點(diǎn) 14
1.4.2　MLOps延續(xù)了DevOps的優(yōu)點(diǎn) 17
1.4.3　MLOps和DevOps的不同之處 19
1.4.4　MLOps和DevOps的目標(biāo)與
實(shí)踐理念 20
1.5　MLOps與其他XOps的區(qū)別 20
1.5.1　MLOps與AIOps的區(qū)別 21
1.5.2　MLOps與DataOps的區(qū)別 21
1.5.3　MLOps與ModelOps的區(qū)別 22
1.5.4　XOps的相同點(diǎn)：
都基于DevOps原則 22
1.6　本章小結(jié) 22
第2章　MLOps涉及的角色 23
2.1　角色類型 23
2.1.1　產(chǎn)品經(jīng)理 24
2.1.2　數(shù)據(jù)科學(xué)家 24
2.1.3　數(shù)據(jù)工程師 25
2.1.4　機(jī)器學(xué)習(xí)工程師 26
2.1.5　DevOps工程師 27
2.1.6　IT運(yùn)維工程師 27
2.2　角色劃分以及角色之間
存在的問(wèn)題 28
2.2.1　角色劃分 28
2.2.2　問(wèn)題1：技術(shù)棧不一致導(dǎo)致人工智能模型線上、線下效果不一致 28
2.2.3　問(wèn)題2：關(guān)注點(diǎn)不同導(dǎo)致對(duì)系統(tǒng)的
需求不同 29
2.2.4　協(xié)作問(wèn)題及解決辦法 30
2.3　本章小結(jié) 30
第3章　機(jī)器學(xué)習(xí)項(xiàng)目概論 31
3.1　機(jī)器學(xué)習(xí)項(xiàng)目簡(jiǎn)介 31
3.1.1　機(jī)器學(xué)習(xí)的定義 31
3.1.2　機(jī)器學(xué)習(xí)相關(guān)概念 33
3.1.3　機(jī)器學(xué)習(xí)能解決的問(wèn)題 37
3.1.4　機(jī)器學(xué)習(xí)項(xiàng)目度量 38
3.1.5　機(jī)器學(xué)習(xí)項(xiàng)目難以落地的
原因 41
3.2　深入理解機(jī)器學(xué)習(xí)項(xiàng)目全流程 44
3.2.1　方案調(diào)研 45
3.2.2　方案投產(chǎn) 49
3.3　本章小結(jié) 51
第4章　MLOps中的數(shù)據(jù)部分 52
4.1　從以模型為中心到以數(shù)據(jù)為中心 52
4.1.1　以模型為中心的時(shí)代 52
4.1.2　以數(shù)據(jù)為中心的時(shí)代 53
4.2　MLOps中的數(shù)據(jù)生命周期管理 55
4.3　數(shù)據(jù)存儲(chǔ)架構(gòu)演進(jìn) 56
4.4　MLOps中主要的數(shù)據(jù)問(wèn)題及
解決方案 57
4.4.1　常見(jiàn)的數(shù)據(jù)質(zhì)量問(wèn)題及
解決方案 57
4.4.2　時(shí)序數(shù)據(jù)穿越問(wèn)題及解決方案 59
4.4.3　離線和實(shí)時(shí)數(shù)據(jù)一致性問(wèn)題及
解決方案 64
4.4.4　數(shù)據(jù)安全問(wèn)題及解決方案 66
4.4.5　數(shù)據(jù)共享與復(fù)用問(wèn)題及
解決方案 67
4.5　本章小結(jié) 67
第5章　流水線工具 69
5.1　Airflow 69
5.1.1　Airflow的功能和應(yīng)用場(chǎng)景 69
5.1.2　Airflow的核心概念 72
5.1.3　Airflow的使用方法 72
5.2　MLflow 80
5.2.1　MLflow的功能和應(yīng)用場(chǎng)景 80
5.2.2　MLflow的核心概念 81
5.2.3　MLflow的使用方法 82
5.3　其他流水線工具 91
5.4　本章小結(jié) 93
第6章　特征平臺(tái) 94
6.1　特征平臺(tái)的概念和起源 94
6.2　特征平臺(tái)的特性 96
6.3　特征平臺(tái)的現(xiàn)狀 97
6.4　主流的特征平臺(tái) 98
6.4.1　Tecton的特征平臺(tái) 99
6.4.2　AWS的SageMaker特征平臺(tái) 100
6.4.3　Databricks的特征平臺(tái) 102
6.4.4　Feast項(xiàng)目 103
6.4.5　OpenMLDB項(xiàng)目 105
6.5　特征平臺(tái)的發(fā)展趨勢(shì) 106
6.6　本章小結(jié) 107
第7章　實(shí)時(shí)特征平臺(tái)
OpenMLDB 108
7.1　實(shí)時(shí)特征平臺(tái)構(gòu)建方法論 108
7.1.1　機(jī)器學(xué)習(xí)閉環(huán) 108
7.1.2　實(shí)時(shí)特征計(jì)算 109
7.1.3　痛點(diǎn)：線上線下計(jì)算一致性
校驗(yàn)帶來(lái)的高成本 110
7.1.4　目標(biāo)：開(kāi)發(fā)即上線 112
7.1.5　技術(shù)需求 112
7.1.6　抽象架構(gòu) 113
7.1.7　OpenMLDB架構(gòu)設(shè)計(jì)實(shí)踐 114
7.2　OpenMLDB項(xiàng)目介紹 116
7.2.1　設(shè)計(jì)理念 116
7.2.2　生產(chǎn)級(jí)機(jī)器學(xué)習(xí)特征平臺(tái) 116
7.2.3　核心特性 117
7.2.4　常見(jiàn)問(wèn)題 117
7.3　核心模塊在線引擎 118
7.3.1　概覽 118
7.3.2　Apache ZooKeeper 119
7.3.3　Nameserver 119
7.3.4　Tablet 120
7.4　核心數(shù)據(jù)結(jié)構(gòu) 122
7.4.1　背景介紹 122
7.4.2　雙層跳表索引 122
7.4.3　預(yù)聚合技術(shù) 124
7.4.4　性能表現(xiàn) 125
7.5　高級(jí)特性主從集群部署 127
7.5.1　定義和目標(biāo) 127
7.5.2　技術(shù)方案 127
7.5.3　主從集群搭建實(shí)踐 130
7.5.4　主從集群部署常見(jiàn)問(wèn)題 131
7.6　高級(jí)特性雙存儲(chǔ)引擎 133
7.6.1　內(nèi)存和磁盤雙存儲(chǔ)
引擎架構(gòu) 133
7.6.2　功能支持對(duì)比 134
7.6.3　性能對(duì)比 135
7.7　執(zhí)行流程介紹 136
7.7.1　執(zhí)行流程概覽 136
7.7.2　執(zhí)行模式概覽 137
7.7.3　離線模式 137
7.7.4　在線模式 138
7.7.5　請(qǐng)求模式 138
7.8　實(shí)踐 139
7.8.1　準(zhǔn)備 140
7.8.2　使用流程 141
7.8.3　實(shí)時(shí)特征計(jì)算的結(jié)果說(shuō)明 144
7.9　生態(tài)整合在線數(shù)據(jù)源Kafka 145
7.9.1　簡(jiǎn)介 145
7.9.2　準(zhǔn)備工作 146
7.9.3　步驟1：?jiǎn)?dòng)OpenMLDB
并創(chuàng)建數(shù)據(jù)庫(kù) 146
7.9.4　步驟2：?jiǎn)?dòng)Kafka
并創(chuàng)建Topic 147
7.9.5　步驟3：?jiǎn)?dòng)Connector 147
7.9.6　步驟4：測(cè)試 148
7.10　生態(tài)整合離線數(shù)據(jù)源Hive 149
7.10.1　配置 149
7.10.2　數(shù)據(jù)類型 149
7.10.3　通過(guò)LIKE語(yǔ)法快速建表 150
7.10.4　將Hive數(shù)據(jù)導(dǎo)入
OpenMLDB 150
7.10.5　將OpenMLDB數(shù)據(jù)
導(dǎo)出到Hive 151
7.11　案例：出租車行程時(shí)間預(yù)測(cè) 151
7.11.1　環(huán)境準(zhǔn)備和預(yù)備知識(shí) 151
7.11.2　全流程演示 152
7.12　本章小結(jié) 155
第8章　Adlik推理工具鏈 156
8.1　機(jī)器學(xué)習(xí)模型落地挑戰(zhàn) 156
8.2　Adlik的優(yōu)勢(shì) 157
8.3　Adlik的架構(gòu) 158
8.3.1　模型優(yōu)化器 159
8.3.2　模型編譯器 161
8.3.3　推理引擎模塊 161
8.4　快速入門 164
8.4.1　編譯模型 164
8.4.2　部署模型 166
8.4.3　模型推理 166
8.4.4　引入自定義運(yùn)行時(shí) 167
8.5　Adlik端到端模型推理優(yōu)化實(shí)踐 168
8.5.1　模型結(jié)構(gòu)優(yōu)化 168
8.5.2　模型推理引擎 170
8.6　本章小結(jié) 171
第9章　云服務(wù)供應(yīng)商的端到端MLOps解決方案 172
9.1　認(rèn)識(shí)SageMaker 173
9.1.1　SageMaker的主要組成
部分 173
9.1.2　廣泛的數(shù)據(jù)源和數(shù)據(jù)集成
支持 174
9.2　無(wú)代碼實(shí)現(xiàn)供應(yīng)鏈中到貨時(shí)間的
預(yù)測(cè) 176
9.2.1　數(shù)據(jù)準(zhǔn)備 177
9.2.2　簡(jiǎn)單的數(shù)據(jù)合并 179
9.2.3　構(gòu)建、訓(xùn)練和分析機(jī)器學(xué)習(xí)
模型 180
9.2.4　模型預(yù)測(cè) 183
9.3　應(yīng)用SageMaker Notebook進(jìn)行 MLOps 管理 183
9.3.1　數(shù)據(jù)導(dǎo)入 184
9.3.2　數(shù)據(jù)清洗和特征設(shè)計(jì) 184
9.3.3　模型訓(xùn)練 185
9.3.4　模型評(píng)估 186
9.3.5　模型上線 187
9.3.6　使用模型倉(cāng)庫(kù)和 Pipeline系統(tǒng)
管理訓(xùn)練成果 187
9.4　本章小結(jié) 194
第10章　MLOps 在反欺詐與推薦
系統(tǒng)中的應(yīng)用 196
10.1　案例1：信用卡交易反欺詐系統(tǒng) 196
10.1.1　定義業(yè)務(wù)目標(biāo) 196
10.1.2　系統(tǒng)設(shè)計(jì)的挑戰(zhàn) 198
10.1.3　數(shù)據(jù)準(zhǔn)備與特征設(shè)計(jì)思路 201
10.1.4　系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) 202
10.2　案例2：推薦系統(tǒng) 205
10.2.1　推薦系統(tǒng)介紹 205
10.2.2　定義優(yōu)化目標(biāo) 206
10.2.3　系統(tǒng)設(shè)計(jì)挑戰(zhàn)與實(shí)現(xiàn)思路 208
10.3　本章小結(jié) 210
第11章　網(wǎng)易云音樂(lè)實(shí)時(shí)模型大規(guī)模應(yīng)用之道 211
11.1　從云音樂(lè)直播推薦中的實(shí)時(shí)性
說(shuō)起 211
11.1.1　直播對(duì)實(shí)時(shí)性的強(qiáng)需求 213
11.1.2　推薦引擎實(shí)時(shí)性的三要素 213
11.1.3　直播精排模型的實(shí)時(shí)化演進(jìn) 216
11.2　實(shí)時(shí)增量模型的構(gòu)建 216
11.2.1　實(shí)時(shí)特征快照 217
11.2.2　實(shí)時(shí)樣本歸因 219
11.2.3　實(shí)時(shí)樣本拼接 222
11.2.4　增量訓(xùn)練和更新 223
11.2.5　線上效果 224
11.3　特征平臺(tái)將實(shí)時(shí)能力泛化到
更多場(chǎng)景 225
11.4　FeatureBox 226
11.4.1　FeatureBox解決的問(wèn)題 226
11.4.2　FeatureBox整體架構(gòu) 227
11.4.3　DataHub模塊 227
11.4.4　Transform模塊 231
11.4.5　MFDL模塊 232
11.4.6　Storage模塊 233
11.4.7　Monitor模塊 234
11.5　在線預(yù)估基于FeatureBox的
構(gòu)建 236
11.5.1　特征與模型的高效迭代 236
11.5.2　高性能預(yù)估計(jì)算 242
11.5.3　預(yù)估與FeatureBox實(shí)時(shí)性
方案 246
11.6　本章小結(jié) 248
第12章　小米廣告機(jī)器學(xué)習(xí)平臺(tái)
實(shí)踐 249
12.1　小米廣告一站式機(jī)器學(xué)習(xí)平臺(tái)
簡(jiǎn)介 249
12.1.1　傳統(tǒng)機(jī)器學(xué)習(xí)流程的問(wèn)題 249
12.1.2　小米廣告機(jī)器學(xué)習(xí)平臺(tái)模塊
簡(jiǎn)介 251
12.2　特征工程模塊 252
12.2.1　特征工程簡(jiǎn)介 252
12.2.2　數(shù)據(jù)源管理 253
12.2.3　特征管理 253
12.2.4　樣本管理 257
12.3　模型訓(xùn)練平臺(tái) 259
12.3.1　算法管理 260
12.3.2　離線模型訓(xùn)練管理 261
12.3.3　模型更新 262
12.4　線上推理模塊 264
12.4.1　線上推理服務(wù)介紹 264
12.4.2　高性能和高可用保證 266
12.4.3　模型部署 268
12.5　本章小結(jié) 273
第13章　騰訊金融推薦中臺(tái)實(shí)踐 274
13.1　業(yè)務(wù)介紹 274
13.1.1　業(yè)務(wù)優(yōu)化目標(biāo) 274
13.1.2　業(yè)務(wù)特點(diǎn) 275
13.2　現(xiàn)狀及挑戰(zhàn) 276
13.2.1　推薦系統(tǒng)復(fù)雜性 277
13.2.2　算法工程技術(shù)壁壘 278
13.3　MLOps實(shí)踐 278
13.4　推薦系統(tǒng)產(chǎn)品體系 280
13.4.1　特征系統(tǒng) 281
13.4.2　模型訓(xùn)練系統(tǒng) 281
13.4.3　模型服務(wù)系統(tǒng) 282
13.4.4　推薦運(yùn)營(yíng)系統(tǒng) 283
13.5　系統(tǒng)設(shè)計(jì) 283
13.5.1　特征系統(tǒng) 284
13.5.2　模型服務(wù)系統(tǒng) 290
13.6　本章小結(jié) 293
第14章　眾安金融實(shí)時(shí)特征平臺(tái)
實(shí)踐 294
14.1　眾安金融的MLOps建設(shè)背景 294
14.2　眾安金融的MLOps建設(shè)思路 295
14.2.1　眾安金融的MLOps流程說(shuō)明 295
14.2.2　眾安金融特征平臺(tái)
能力要求 297
14.3　實(shí)時(shí)特征平臺(tái)的架構(gòu)設(shè)計(jì) 297
14.3.1　實(shí)時(shí)特征平臺(tái)架構(gòu)說(shuō)明 298
14.3.2　實(shí)時(shí)特征數(shù)據(jù)源層 298
14.3.3　實(shí)時(shí)特征平臺(tái)的核心功能 299
14.4　實(shí)時(shí)業(yè)務(wù)特征計(jì)算 300
14.4.1　實(shí)時(shí)業(yè)務(wù)特征計(jì)算系統(tǒng)
設(shè)計(jì) 300
14.4.2　實(shí)時(shí)業(yè)務(wù)特征核心數(shù)據(jù)
模型 301
14.4.3　實(shí)時(shí)業(yè)務(wù)特征計(jì)算引擎 302
14.5　反欺詐場(chǎng)景中的特征計(jì)算 303
14.5.1　反欺詐特征計(jì)算系統(tǒng)設(shè)計(jì) 303
14.5.2　反欺詐特征分類說(shuō)明 304
14.5.3　用戶關(guān)系圖譜實(shí)現(xiàn)方案 305
14.6　本章小結(jié) 306
第15章　MLOps成熟度模型 308
15.1　能力成熟度模型概述 308
15.2　谷歌的MLOps成熟度模型 309
15.2.1　谷歌對(duì)MLOps的理解和
認(rèn)識(shí) 309
15.2.2　谷歌對(duì)MLOps成熟度等級(jí)的
定義 310
15.3　微軟的MLOps成熟度模型 317
15.3.1　微軟對(duì)MLOps成熟度模型的
理解和認(rèn)識(shí) 317
15.3.2　微軟對(duì)MLOps成熟度等級(jí)的
定義 318
15.4　信通院的MLOps成熟度模型 322
15.4.1　需求管理能力子域
相關(guān)內(nèi)容 323
15.4.2　數(shù)據(jù)工程能力子域
相關(guān)內(nèi)容 325
15.5　本章小結(jié) 329

你還可能感興趣

我要評(píng)論