數據運營是指通過數據來分析和解決問題,利用各種數據科學技術挖掘數據價值,幫助企業(yè)優(yōu)化業(yè)務管理和提升決策效率。隨著我國數字化轉型的深入,傳統(tǒng)基于項目、人工處理的各類數據運營活動已經無法滿足業(yè)務發(fā)展要求。集合了敏捷開發(fā)、精益制造以及DevOps理念的DataOps因此順勢而生,并且受到了業(yè)界的廣泛關注。
《DataOps實踐手冊:敏捷精益的數據運營》總結了作者25年的行業(yè)經驗和對DataOps的認知,從當前數據科學交付面臨哪些挑戰(zhàn)、什么是DataOps、通過哪些手段可以建立對數據的信任,以及如何實現DataOps目標和成功實施DataOps幾個方面進行了系統(tǒng)的闡述。
《DataOps實踐手冊:敏捷精益的數據運營》適合參與數字化轉型的各類角色人員學習,尤其有助于數據科學高級管理崗位的專業(yè)人士開拓視野、提升領導力。
譯者序
前言
第1部分 入門
第1章 數據科學中的問題
有問題嗎?
現實
數據價值
技術、軟件和算法
數據科學家
數據科學過程
組織文化
知識鴻溝
數據科學家的知識鴻溝
IT知識鴻溝
技術知識鴻溝
領導力知識鴻溝
數據素養(yǎng)鴻溝
缺乏支持
教育和文化
不明確的目標
留給數據科學家來弄清楚
總結
尾注
第2章 數據戰(zhàn)略
我們?yōu)槭裁葱枰碌臄祿?zhàn)略
數據已不再屬于IT
數據戰(zhàn)略的范圍
戰(zhàn)略時間跨度
戰(zhàn)略發(fā)起人
從識別現狀開始
組織方面
人員方面
技術方面
流程方面
數據資產方面
識別分析用例
使命、愿景和KPI
構思——我們能做些什么?
數據生命周期的基準能力
差距分析——需要改變什么?
定義數據戰(zhàn)略目標——我們需要
從哪里開始?
交付數據戰(zhàn)略
定義數據戰(zhàn)略舉措——我們如何
實現目標?
制定執(zhí)行和度量計劃——如何
知道進度?
總結
尾注
第2部分 邁向數據運營
第3章 精益思維
精益思維簡介
豐田的起源
精益軟件開發(fā)
精益產品開發(fā)
精益思維和數據分析
識別浪費
價值流圖
快速交付
拉動式系統(tǒng)
看到整體
根因分析
總結
尾注
第4章 敏捷協(xié)作
為什么選擇敏捷?
瀑布式項目管理
敏捷價值觀
敏捷框架
Scrum
XP及 Scrum/XP 混合
看板方法
Scrumban
大規(guī)模敏捷
SoS
規(guī)范敏捷交付
規(guī);艚菘蚣
DataOps的敏捷
DataOps宣言
DataOps原則
數據科學生命周期
敏捷DataOps 實踐
構思
準備
研發(fā)
過渡/生產
總結
尾注
第5章 構建反饋和度量
系統(tǒng)思維
持續(xù)改進
反饋循環(huán)
團隊健康
回顧
健康檢查
海星回顧
帆船回顧
事前檢驗
服務交付
服務交付審查會議
改進服務交付
產品健康
數據產品監(jiān)控的KPI
監(jiān)控
概念漂移
產品效益
效益度量
效益度量的挑戰(zhàn)
A/B測試和度量的替代方案
指標的挑戰(zhàn)
總結
尾注
第3部分 進一步措施
第6章 建立信任
信任擁有數據和系統(tǒng)的人
訪問和供應數據
數據安全和隱私
資源利用率監(jiān)控
人們可以信任數據
元數據
加標簽
采集過程中的信任
數據質量評估
數據清理
數據血緣
數據發(fā)現
數據治理
總結
尾注
第7章 面向 DataOps 的 DevOps
開發(fā)和運營
沖突
打破螺旋
持續(xù)交付的快速流程
可重現的環(huán)境
部署管道
持續(xù)集成
自動化測試
部署和發(fā)布流程
自動部署
發(fā)布流程
DevOps 度量
審核流程
數據分析的DevOps
數據沖突
數據管道環(huán)境
數據管道編排
數據管道持續(xù)集成
簡化和重用
MLOps 和 AIOps
機器學習模型開發(fā)
機器學習模型投產
總結
尾注
第8章 DataOps 組織
團隊結構
面向職能的團隊
面向領域的團隊
新技能矩陣
核心角色
支持角色
團隊不需要“I型人”
優(yōu)化團隊
溝通渠道和團隊規(guī)模
產品型而非項目型
辦公位置
匯報關系
數據平臺管理
跨職能角色
總結
尾注
第4部分 自服務組織
第9章 DataOps 技術
基于DataOps的價值和原則選擇
工具
調整脊椎模型
對實踐和工具的影響
DataOps技術生態(tài)系統(tǒng)
流水線
數據集成
數據準備
流處理
數據管理
可重復性、部署、編排和監(jiān)控
計算基礎設施和查詢執(zhí)行引擎
數據存儲
DataOps平臺
數據分析工具
挑戰(zhàn)
建造vs購買
擴展
內部構建
購買或租賃現成產品
借用開源軟件
擴建、構建、購買、出租或借用
云原生架構
不斷發(fā)展的技術棧
Wardley地圖
使用Wardley地圖
技術雷達
總結
尾注
第10章 DataOps工廠
第一步
從數據戰(zhàn)略開始
領導力
小可行的DataOps
第一個方案
度量
第一個DataOps團隊
跨團隊擴展
達到臨界點
團隊協(xié)調
文化
數據治理
擴展
成功的組織
集中化平臺
全局自動化
提供自助服務
總結
尾注