推 薦 序
我是2019年6月份認(rèn)識(shí)超華的,得知他準(zhǔn)備出版自己的新書(shū),而且還是中臺(tái)方向,我就非常感興趣?赐晷聲(shū)初稿,我就從自己的角度聊聊中臺(tái)以及我對(duì)這本書(shū)的理解。
中臺(tái)這個(gè)概念近幾年非;馃,對(duì)于很多公司來(lái)說(shuō),如果不做中臺(tái)都顯得自己跟不上時(shí)代或者公司不夠“高大上”,可實(shí)際上真正懂中臺(tái)、做過(guò)中臺(tái)、了解如何使用中臺(tái)的人并不多。這就出現(xiàn)了一種情況,很多公司的中臺(tái)戰(zhàn)略都停留在口頭上和會(huì)議室里,實(shí)際落地到業(yè)務(wù)和系統(tǒng)中卻什么也沒(méi)有。
導(dǎo)致這種現(xiàn)象的原因有兩種:第一種,有些公司對(duì)自身業(yè)務(wù)特點(diǎn)不了解,硬上中臺(tái),結(jié)果水土不服;第二種,有些公司缺少對(duì)中臺(tái)的認(rèn)知和實(shí)操經(jīng)驗(yàn),使用方法錯(cuò)誤。其實(shí),一家公司在上馬中臺(tái)戰(zhàn)略以前,一定要明確:中臺(tái)是否適合于本公司。為什么這么說(shuō)呢?因?yàn)楹芏喙酒鋵?shí)是不需要中臺(tái)的。在我看來(lái),只有業(yè)務(wù)密度和復(fù)雜度達(dá)到一定量級(jí)的公司,才有中臺(tái)存在的必要。如果只是簡(jiǎn)單的業(yè)務(wù)組件化或者系統(tǒng)模塊化,就算沒(méi)有中臺(tái),公司也可以實(shí)現(xiàn)。所以,支撐復(fù)雜業(yè)務(wù)的業(yè)務(wù)中臺(tái)以及支撐海量數(shù)據(jù)的數(shù)據(jù)中臺(tái)才是中臺(tái)的核心價(jià)值所在。
學(xué)習(xí)中臺(tái)的最好方式就是通過(guò)成功案例和實(shí)操經(jīng)驗(yàn)獲取知識(shí),因?yàn)檫@都是最真實(shí)可落地的東西,比起一堆的概念或者噱頭來(lái)說(shuō)要有用得多。超華對(duì)中臺(tái)有著豐富的實(shí)踐經(jīng)驗(yàn),在大型企業(yè)中負(fù)責(zé)業(yè)務(wù)中臺(tái)和數(shù)據(jù)中臺(tái)從0到1搭建的過(guò)程,這種實(shí)戰(zhàn)經(jīng)驗(yàn)是非?少F的,能讓理論落地。
不管是數(shù)據(jù)中臺(tái),還是業(yè)務(wù)中臺(tái),從概念到落地、從方案到經(jīng)驗(yàn),需要經(jīng)過(guò)實(shí)踐和打磨,非短期突擊能實(shí)現(xiàn)。超華在這方面有自己獨(dú)到的經(jīng)驗(yàn)和方法論。在書(shū)中,他對(duì)于數(shù)據(jù)中臺(tái)的幾個(gè)核心環(huán)節(jié)(采集、存儲(chǔ)、打通、應(yīng)用)的概括非常完整,這是構(gòu)建數(shù)據(jù)中臺(tái)的重要方法,憑此可以讓數(shù)據(jù)中臺(tái)一步一步落地并實(shí)現(xiàn)。
如果你未來(lái)準(zhǔn)備往中臺(tái)產(chǎn)品經(jīng)理發(fā)展,或者你所在的公司準(zhǔn)備構(gòu)建自己的中臺(tái)體系項(xiàng)目,那么這本既有方法、也有案例的書(shū)會(huì)是你不錯(cuò)的實(shí)踐參考。開(kāi)卷有益,希望對(duì)你有所幫助。
《產(chǎn)品經(jīng)理必懂的技術(shù)那點(diǎn)事兒》作者、
公眾號(hào)“唐韌”主理人 唐韌
前 言
親愛(ài)的讀者,你好,我是本書(shū)作者董超華,行業(yè)內(nèi)都叫我“華仔”。我曾就職于科大訊飛,現(xiàn)任富力環(huán)球商品貿(mào)易港數(shù)據(jù)中臺(tái)產(chǎn)品負(fù)責(zé)人,是人人都是產(chǎn)品經(jīng)理社區(qū)、PMTalk社區(qū)、產(chǎn)品100社區(qū)的專(zhuān)欄作者,公眾號(hào)“改變世界的產(chǎn)品經(jīng)理”的主理人。
自從2015年阿里巴巴提出中臺(tái)的概念后,中臺(tái)的概念就迅速傳遍整個(gè)互聯(lián)網(wǎng)圈。我知道,很多朋友應(yīng)該看過(guò)朋友圈里流傳的相關(guān)文章,甚至有人曾經(jīng)為了聽(tīng)“大廠”職工們講中臺(tái)的干貨,奔走在各種大小行業(yè)會(huì)議之間。我也知道,這種碎片化的吸收雖然增加了大家的知識(shí),卻也增加了大家的焦慮,因?yàn)榧夹g(shù)不平等廣泛存在于業(yè)界。
阿里巴巴早在2015年就公布了中臺(tái)的概念,說(shuō)明其早已把中臺(tái)體系做得很成熟,如果你不是阿里巴巴的員工,沒(méi)有親身經(jīng)歷中臺(tái)的搭建,就很難理解中臺(tái)究竟是干什么的。
2019年5月13日,我寫(xiě)了一篇關(guān)于數(shù)據(jù)中臺(tái)的文章,發(fā)表在人人都是產(chǎn)品經(jīng)理社區(qū)中,第二天該文章的閱讀量就破了1萬(wàn)次。截至2020年6月,我的數(shù)據(jù)中臺(tái)實(shí)戰(zhàn)系列文章的全網(wǎng)閱讀量已經(jīng)突破34萬(wàn)次。為什么我的數(shù)據(jù)中臺(tái)實(shí)戰(zhàn)系列文章這么“火”呢?除了如今中臺(tái)的概念比較“火”之外,還因?yàn)樯钊肓私庵信_(tái)的人少之又少,大多數(shù)人都只能講概念,很少有人能寫(xiě)出關(guān)于中臺(tái)搭建的實(shí)戰(zhàn)干貨。我在富力集團(tuán)有幸經(jīng)歷了業(yè)務(wù)中臺(tái)、數(shù)據(jù)中臺(tái)的從0到1搭建全過(guò)程,而與富力集團(tuán)合作搭建中臺(tái)的正是阿里系中臺(tái)搭建工作的直接參與者,這使得我在富力集團(tuán)搭建中臺(tái)的過(guò)程中吸收了很多關(guān)于中臺(tái)的實(shí)戰(zhàn)經(jīng)驗(yàn)。
本書(shū)基于我多年搭建數(shù)據(jù)中臺(tái)的實(shí)戰(zhàn)經(jīng)驗(yàn),從“采集”“存儲(chǔ)”“打通”“應(yīng)用”的角度,毫無(wú)保留地為你解析從0到1搭建數(shù)據(jù)中臺(tái)的全過(guò)程。本書(shū)的讀者范圍很廣,無(wú)論你是正在進(jìn)行數(shù)據(jù)化轉(zhuǎn)型的公司高層、一線的產(chǎn)品經(jīng)理/運(yùn)營(yíng)人員/設(shè)計(jì)師/開(kāi)發(fā)人員,還是對(duì)數(shù)據(jù)領(lǐng)域感興趣的從業(yè)人員或求職學(xué)生,都可以從中學(xué)到想要的內(nèi)容。
第1章“數(shù)據(jù)中臺(tái)入門(mén)攻略”讓你快速了解中臺(tái)基礎(chǔ)知識(shí)。首先,這一章清晰地解答了什么是中臺(tái)、什么是業(yè)務(wù)中臺(tái)、什么是數(shù)據(jù)中臺(tái)、為什么要搭建數(shù)據(jù)中臺(tái)、什么企業(yè)適合搭建數(shù)據(jù)中臺(tái)等典型問(wèn)題。其次,這一章通過(guò)雙中臺(tái)實(shí)戰(zhàn)的案例,進(jìn)一步加深你對(duì)中臺(tái)的了解。最后,這一章通過(guò)數(shù)據(jù)中臺(tái)的人員構(gòu)成、開(kāi)發(fā)流程、如何與其他部門(mén)合作等講解,進(jìn)一步剖析數(shù)據(jù)中臺(tái)究竟是什么。
第2章“數(shù)據(jù)采集”介紹數(shù)據(jù)中臺(tái)的數(shù)據(jù)采集模塊。在這一章中,你會(huì)學(xué)到如何通過(guò)數(shù)據(jù)埋點(diǎn)采集用戶行為數(shù)據(jù)、如何采集產(chǎn)品線業(yè)務(wù)數(shù)據(jù)。這一章通過(guò)多個(gè)實(shí)戰(zhàn)案例為你介紹為什么要進(jìn)行數(shù)據(jù)采集、要采集哪些內(nèi)容、怎么進(jìn)行數(shù)據(jù)采集。
第3章“數(shù)據(jù)存儲(chǔ)與計(jì)算”介紹數(shù)據(jù)中臺(tái)數(shù)據(jù)存儲(chǔ)與計(jì)算模塊。在這一章中,你會(huì)學(xué)到如何打造一套高效、沒(méi)有歧義的指標(biāo)管理體系。這一章還會(huì)為你介紹數(shù)據(jù)中臺(tái)的分層建模體系,通過(guò)實(shí)戰(zhàn)案例講解從ODS層到DWD/DWS層,再到ADS層建模和數(shù)據(jù)計(jì)算的全過(guò)程,讓你從模型設(shè)計(jì)和數(shù)據(jù)計(jì)算的角度進(jìn)一步理解數(shù)據(jù)中臺(tái)。
第4章“數(shù)據(jù)打通”介紹數(shù)據(jù)中臺(tái)的智能化應(yīng)用標(biāo)簽平臺(tái)。標(biāo)簽平臺(tái)是用戶畫(huà)像和推薦系統(tǒng)的基礎(chǔ),從寬表的定義、標(biāo)簽體系的搭建、標(biāo)簽的生成、用戶的圈選開(kāi)始學(xué)習(xí),從0到1教你搭建標(biāo)簽平臺(tái)。這一章通過(guò)多個(gè)實(shí)戰(zhàn)案例,讓你學(xué)會(huì)如何打通用戶的行為數(shù)據(jù)和用戶的業(yè)務(wù)數(shù)據(jù)、如何打通公司內(nèi)部各條產(chǎn)品線的數(shù)據(jù),消除數(shù)據(jù)孤島,釋放數(shù)據(jù)的最大化價(jià)值。
第5章“用戶分析”、第6章“商品分析”、第7章“流量分析”、第8章“交易分析”依次講解數(shù)據(jù)中臺(tái)的數(shù)據(jù)應(yīng)用模塊。用戶分析、商品分析、流量分析是我們經(jīng)常說(shuō)的“人、貨、場(chǎng)分析”,大多數(shù)的互聯(lián)網(wǎng)產(chǎn)品都會(huì)用到。交易數(shù)據(jù)是公司最核心的數(shù)據(jù),交易分析部分的內(nèi)容會(huì)介紹如何為領(lǐng)導(dǎo)層設(shè)計(jì)交易看板、如何為運(yùn)營(yíng)人員設(shè)計(jì)交易分析模塊。每章都會(huì)有具體實(shí)戰(zhàn)案例講解數(shù)據(jù)中臺(tái)如何通過(guò)數(shù)據(jù)實(shí)現(xiàn)企業(yè)的數(shù)據(jù)化運(yùn)營(yíng)、如何提高運(yùn)營(yíng)人員的效率、如何用數(shù)據(jù)賦能業(yè)務(wù),從而在搭建數(shù)據(jù)中臺(tái)時(shí)避開(kāi)各種陷阱。
第9章“自助分析平臺(tái)”介紹數(shù)據(jù)中臺(tái)的自助分析平臺(tái)。自助分析平臺(tái)可以解決數(shù)據(jù)中臺(tái)中數(shù)據(jù)可視化的問(wèn)題。有了自助分析平臺(tái)可以幫助數(shù)據(jù)中臺(tái)大幅度提升開(kāi)發(fā)效率,讓數(shù)據(jù)中臺(tái)專(zhuān)注于數(shù)據(jù)開(kāi)發(fā)和模型設(shè)計(jì)。業(yè)務(wù)人員可以通過(guò)數(shù)據(jù)中臺(tái)配置專(zhuān)屬自己的數(shù)據(jù)看板,形成了看板的千人千面。
第10章“自動(dòng)化營(yíng)銷(xiāo)平臺(tái)”介紹數(shù)據(jù)中臺(tái)的數(shù)據(jù)智能應(yīng)用——全渠道的自動(dòng)化營(yíng)銷(xiāo)平臺(tái)。通過(guò)全渠道的自動(dòng)化營(yíng)銷(xiāo)平臺(tái),業(yè)務(wù)人員在做營(yíng)銷(xiāo)活動(dòng)時(shí)只需專(zhuān)注于策略的制定與選擇,其他的工作都可以交給機(jī)器來(lái)完成。這一章還會(huì)通過(guò)實(shí)戰(zhàn)案例講解如何做一場(chǎng)優(yōu)惠券的營(yíng)銷(xiāo)活動(dòng),比如做一次周期性的短信觸達(dá)營(yíng)銷(xiāo)活動(dòng)。自動(dòng)化營(yíng)銷(xiāo)平臺(tái)能夠加深你對(duì)數(shù)據(jù)智能的了解。
第11章“推薦平臺(tái)”介紹數(shù)據(jù)中臺(tái)的數(shù)據(jù)智能應(yīng)用——推薦平臺(tái)。這一章會(huì)為你介紹推薦系統(tǒng)的經(jīng)典架構(gòu)、幾個(gè)經(jīng)典的推薦算法、如何從0到1打造一個(gè)離線的推薦系統(tǒng)、如何從0到1搭建一個(gè)實(shí)時(shí)的推薦系統(tǒng)。推薦系統(tǒng)屬于AI應(yīng)用,通過(guò)推薦系統(tǒng)可以讓你更清楚地知道什么是數(shù)據(jù)智能。
最后,我要感謝一下長(zhǎng)期支持我的人。
感謝我的母親賈春南和愛(ài)人黃淑麗,她們一直陪伴和信任我,在我寫(xiě)作的過(guò)程中,給予我極大的肯定和鼓舞。
感謝我在富力集團(tuán)的領(lǐng)導(dǎo)李照瑜。我的成長(zhǎng)和搭建數(shù)據(jù)中臺(tái)的實(shí)踐都是在與領(lǐng)導(dǎo)共事的過(guò)程中一點(diǎn)一滴地積累起來(lái)的,可以說(shuō),沒(méi)有領(lǐng)導(dǎo)的幫助,本書(shū)是不可能完成的。
感謝老曹(曹成明)、BLUES(蘭軍)、蘇杰、唐韌、王偉等圈內(nèi)好友和行業(yè)大咖。各位大咖的作品讓我受益匪淺。在他們的身上,我學(xué)習(xí)到了很多干貨,希望日后可以見(jiàn)面交流,進(jìn)行更深入的討論。
感謝電子工業(yè)出版社博文視點(diǎn)的編輯林瑞和老師,他不厭其煩地修改并提出了很多修改意見(jiàn),使本書(shū)的質(zhì)量變得更好。
數(shù)據(jù)中臺(tái)目前還處于發(fā)展初期,限于我自身的知識(shí)儲(chǔ)備、閱歷和格局,本書(shū)可能存在不足和偏頗之處,希望各位讀者批評(píng)指正。大家可以通過(guò)微信公眾號(hào)“改變世界的產(chǎn)品經(jīng)理”給我留言,和我討論與數(shù)據(jù)中臺(tái)相關(guān)的問(wèn)題,我會(huì)認(rèn)真地思考和回復(fù)每條留言。在這個(gè)微信公眾號(hào)上,大家也可以找到我的個(gè)人微信號(hào),與我直接進(jìn)行交流。
董超華
2020年6月
第1章 數(shù)據(jù)中臺(tái)入門(mén)攻略 1
1.1 什么是中臺(tái) 1
1.1.1 業(yè)務(wù)中臺(tái)與數(shù)據(jù)中臺(tái)有什么關(guān)系 3
1.1.2 什么企業(yè)適合搭建中臺(tái) 3
1.2 雙中臺(tái)實(shí)戰(zhàn)案例 4
1.2.1 業(yè)務(wù)中臺(tái)架構(gòu) 5
1.2.2 數(shù)據(jù)中臺(tái)架構(gòu) 7
1.3 數(shù)據(jù)中臺(tái)人員構(gòu)成 8
1.4 數(shù)據(jù)中臺(tái)開(kāi)發(fā)流程 12
1.5 數(shù)據(jù)中臺(tái)內(nèi)外合作機(jī)制 15
1.5.1 數(shù)據(jù)中臺(tái)如何與其他部門(mén)合作 15
1.5.2 數(shù)據(jù)中臺(tái)內(nèi)部項(xiàng)目管理流程 18
第2章 數(shù)據(jù)采集 20
2.1 數(shù)據(jù)采集的分類(lèi) 20
2.2 用戶行為數(shù)據(jù)采集 21
2.2.1 與第三方移動(dòng)應(yīng)用統(tǒng)計(jì)公司合作的數(shù)據(jù)采集方式 21
2.2.2 前后端埋點(diǎn)結(jié)合的數(shù)據(jù)采集方式 22
2.2.3 可視化埋點(diǎn)與后端埋點(diǎn)結(jié)合的數(shù)據(jù)采集方式 31
2.3 數(shù)據(jù)采集流程 33
2.4 數(shù)據(jù)埋點(diǎn)實(shí)戰(zhàn)案例 34
第3章 數(shù)據(jù)存儲(chǔ)與計(jì)算 38
3.1 數(shù)據(jù)指標(biāo)的定義 39
3.1.1 數(shù)據(jù)指標(biāo)的重要性 39
3.1.2 如何定義數(shù)據(jù)指標(biāo) 39
3.1.3 如何識(shí)別虛榮指標(biāo) 42
3.2 數(shù)據(jù)模型設(shè)計(jì) 43
3.2.1 什么是數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù) 43
3.2.2 數(shù)據(jù)倉(cāng)庫(kù)的分層建模體系 45
3.3 數(shù)據(jù)模型設(shè)計(jì)實(shí)戰(zhàn)案例 48
3.3.1 ODS層模型設(shè)計(jì) 49
3.3.2 DWD層/DWS層模型設(shè)計(jì) 54
3.3.3 ADS層模型設(shè)計(jì) 63
3.4 數(shù)據(jù)計(jì)算實(shí)戰(zhàn)案例 65
3.4.1 從ODS層到DWD層計(jì)算過(guò)程 65
3.4.2 從DWD層到DWS層計(jì)算過(guò)程 68
3.4.3 從DWS層到ADS層計(jì)算過(guò)程 70
第4章 數(shù)據(jù)打通 72
4.1 標(biāo)簽平臺(tái)設(shè)計(jì)思路 72
4.2 標(biāo)簽平臺(tái)快速入門(mén) 75
4.2.1 標(biāo)簽平臺(tái)主流程介紹 75
4.2.2 數(shù)據(jù)寬表 76
4.2.3 標(biāo)簽體系 77
4.2.4 標(biāo)簽工廠 81
4.2.5 人群圈選 83
4.3 用戶畫(huà)像 87
4.3.1 個(gè)人用戶畫(huà)像 88
4.3.2 群體用戶畫(huà)像 89
4.4 標(biāo)簽平臺(tái)實(shí)戰(zhàn)案例 91
第5章 用戶分析 95
5.1 用戶分析的思路 95
5.2 用戶拉新分析 96
5.2.1 用戶拉新渠道注冊(cè)碼管理 96
5.2.2 用戶拉新相關(guān)指標(biāo) 98
5.2.3 用戶拉新頁(yè)面轉(zhuǎn)化率 98
5.2.4 用戶拉新ROI模型 100
5.3 用戶活躍分析 101
5.4 用戶留存分析 102
5.5 用戶轉(zhuǎn)化分析 103
5.6 用戶裂變分析 105
5.7 用戶生命周期分析 106
第6章 商品分析 110
6.1 商品售前分析 111
6.1.1 供應(yīng)商的選擇 112
6.1.2 商品定位 113
6.1.3 商品數(shù)量規(guī)劃 114
6.1.4 商品上架分析 115
6.2 商品售中分析 116
6.3 商品售后分析 121
第7章 流量分析 123
7.1 網(wǎng)頁(yè)分析 124
7.1.1 推廣頁(yè) 125
7.1.2 商品詳情頁(yè) 126
7.2 路徑分析 127
7.3 坑位分析 130
第8章 交易分析 134
8.1 針對(duì)公司領(lǐng)導(dǎo)層的交易分析設(shè)計(jì) 134
8.1.1 領(lǐng)導(dǎo)層移動(dòng)端交易分析設(shè)計(jì) 136
8.1.2 自動(dòng)化短信推送 137
8.1.3 數(shù)據(jù)大屏設(shè)計(jì) 139
8.2 針對(duì)產(chǎn)品/運(yùn)營(yíng)人員的交易分析設(shè)計(jì) 140
8.2.1 交易分析數(shù)據(jù)總覽 141
8.2.2 渠道交易分析 141
8.2.3 交易來(lái)源分析 143
8.2.4 購(gòu)物頻次分析和購(gòu)物間隔分析 145
第9章 自助分析平臺(tái) 148
9.1 自助分析平臺(tái)產(chǎn)品方案 149
9.2 快速入門(mén)三種數(shù)據(jù)自助分析可視化產(chǎn)品 150
9.2.1 帆軟自助看板模塊介紹 151
9.2.2 達(dá)芬奇自助看板模塊介紹 153
9.2.3 Superset自助看板模塊介紹 155
9.3 自助分析平臺(tái)技術(shù)選型 157
9.4 自助分析平臺(tái)實(shí)戰(zhàn)案例 157
9.4.1 數(shù)據(jù)中臺(tái)集成達(dá)芬奇 157
9.4.2 自助分析平臺(tái)實(shí)戰(zhàn)案例 162
第10章 自動(dòng)化營(yíng)銷(xiāo)平臺(tái) 167
10.1 自動(dòng)化營(yíng)銷(xiāo)平臺(tái)的設(shè)計(jì)思路 168
10.2 自動(dòng)化營(yíng)銷(xiāo)平臺(tái)介紹 169
10.2.1 常規(guī)營(yíng)銷(xiāo)活動(dòng)的內(nèi)容制作 170
10.2.2 營(yíng)銷(xiāo)活動(dòng)人群圈選 176
10.2.3 營(yíng)銷(xiāo)活動(dòng)觸達(dá)任務(wù) 176
10.2.4 活動(dòng)效果分析 180
10.3 自動(dòng)化營(yíng)銷(xiāo)平臺(tái)實(shí)戰(zhàn)案例 182
10.3.1 優(yōu)惠券營(yíng)銷(xiāo)活動(dòng)實(shí)戰(zhàn)案例 182
10.3.2 周期性短信觸達(dá)營(yíng)銷(xiāo)活動(dòng)實(shí)戰(zhàn)案例 184
第11章 推薦平臺(tái) 187
11.1 什么是推薦系統(tǒng) 187
11.2 推薦系統(tǒng)架構(gòu) 189
11.2.1 推薦系統(tǒng)功能架構(gòu) 189
11.2.2 推薦系統(tǒng)技術(shù)架構(gòu) 191
11.3 推薦平臺(tái)項(xiàng)目實(shí)施流程 192
11.4 兩種經(jīng)典的推薦算法 193
11.4.1 基于用戶的協(xié)同過(guò)濾算法 194
11.4.2 基于物品的協(xié)同過(guò)濾算法 195
11.5 推薦系統(tǒng)的評(píng)測(cè)指標(biāo) 196
11.6 推薦系統(tǒng)的冷啟動(dòng) 199
11.7 從0到1打造一個(gè)離線推薦系統(tǒng) 201
11.7.1 離線推薦系統(tǒng)設(shè)計(jì)思路 201
11.7.2 離線推薦系統(tǒng)算法選型 201
11.7.3 離線推薦系統(tǒng)開(kāi)發(fā)過(guò)程 204
11.7.4 離線推薦系統(tǒng)測(cè)試 208
11.8 從0到1打造一個(gè)實(shí)時(shí)推薦系統(tǒng) 210