數(shù)字原生
2010年11月，在Greenplum創(chuàng)始人的支持下，我們在北京建立了Greenplum中國研發(fā)體系。2013年4月，隨著Pivotal公司的建立，我們在Greenplum中國研發(fā)的基礎(chǔ)上合并了部分VMWare中國研發(fā)集團(tuán)的P層云資產(chǎn)，建立了Pivotal中國辦公室。截至本書完稿的時(shí)候，我們的中國核心研發(fā)團(tuán)隊(duì)和全球研發(fā)團(tuán)隊(duì)一起奮斗了8年，打造的Cloud Foundry產(chǎn)品和Greenplum產(chǎn)品成為Pivotal公司在紐約證券交易所上市榮登PaaS第一股的基礎(chǔ)。作為Pivotal中國辦公室的創(chuàng)始團(tuán)隊(duì)，我們一直在審視和提升Pivotal中國辦公室的使命和愿景。高尚的使命和愿景是促使一個(gè)機(jī)構(gòu)達(dá)到世界一流水平的必要條件，因?yàn)槭姑�和愿景比�?zhàn)略更高一層。一個(gè)機(jī)構(gòu)在前進(jìn)的過程中，其戰(zhàn)略不可避免地需要調(diào)整。在面對戰(zhàn)略調(diào)整時(shí)，如果組織成員缺乏共同的使命和愿景，就很難在變化中存活下來。以PC行業(yè)為例，蘋果公司由最初的蘋果電腦公司（Apple Computers）發(fā)展到今天蘋果（Apple）公司，業(yè)務(wù)也從以PC為重心遷移到以移動和云服務(wù)為重心。蘋果公司的轉(zhuǎn)型一路顛簸但最終成功，這與它們堅(jiān)持藝術(shù)和科技的融合并提供一流的用戶體驗(yàn)的使命是分不開的。對于不少沒有完成轉(zhuǎn)型的PC企業(yè)，仔細(xì)觀察一下，會發(fā)現(xiàn)它們通常不能清楚地表達(dá)自己的使命。
那么Pivotal中國辦公室的使命是什么？簡單地說，是支持全球Pivotal產(chǎn)品和商業(yè)戰(zhàn)略的成功。但是，這個(gè)回答顯然不能說服和召集一批學(xué)霸把Pivotal中國辦公室變成世界一流的創(chuàng)新機(jī)構(gòu)。作者有幸參與Pivotal公司在EMC和VMWare內(nèi)部的啟動倡議（Pivotal Initiative），聆聽到董事長Paul Maritz先生對Pivotal宣言（Manifesto）的解讀。中國讀者可能還不熟悉Maritz先生，根據(jù)維基百科的介紹，他是微軟Windows平臺的主要執(zhí)行團(tuán)隊(duì)成員，負(fù)責(zé)過Windows 95和Windows NT等關(guān)鍵產(chǎn)品。在創(chuàng)建Pivotal之前，Maritz先生是VMWare公司的CEO，奠定了VMWare在虛擬化和I層云的行業(yè)領(lǐng)導(dǎo)地位。鑒于Maritz先生在業(yè)內(nèi)的聲望，作者仔仔細(xì)細(xì)閱讀了他撰寫的三頁紙篇幅的Pivotal宣言，并且思考了Pivotal中國辦公室如何既能擁抱Pivotal宣言又能在自己專注的領(lǐng)域成為國內(nèi)意見領(lǐng)袖。今天，Pivotal的使命用一句話描述就是The Way The Future Gets Built，用中文直接翻譯過來就是構(gòu)建未來的方式。這句話顯得有些抽象，所以在Pivotal中國辦公室的日常事務(wù)中，我們會針對不同的團(tuán)隊(duì)來細(xì)化這句話：對于面向數(shù)字化轉(zhuǎn)型客戶的Pivotal Lab團(tuán)隊(duì)，這句話被表述為交付一流的數(shù)字化轉(zhuǎn)型體驗(yàn)；對于云研發(fā)團(tuán)隊(duì)，這句話被表達(dá)為通過Cloud Foundry云平臺成為云原生平臺的行業(yè)標(biāo)桿；對于數(shù)據(jù)庫研發(fā)團(tuán)隊(duì)，這句話被闡述為通過Greenplum成為大數(shù)據(jù)平臺和機(jī)器學(xué)習(xí)的意見領(lǐng)袖。這些使命背后的共同愿景就是提供數(shù)字原生世界的新產(chǎn)能，以及企業(yè)建立數(shù)字化所需要的軟件平臺和方法論。
數(shù)字原生就是從由物理世界為重心向數(shù)字世界為中心遷移時(shí)思考問題的方式。數(shù)字計(jì)算機(jī)發(fā)明之前，我們幾乎沒有什么數(shù)字資產(chǎn)和技術(shù)。數(shù)字計(jì)算機(jī)發(fā)明至今，我們對于數(shù)字資產(chǎn)的積累呈指數(shù)級增長，在我國更是呈現(xiàn)出跨越式發(fā)展的態(tài)勢。舉個(gè)例子，今天，如果我們出門不帶手機(jī)，就會感覺寸步難行，本質(zhì)上是因?yàn)槭謾C(jī)已經(jīng)成為我們進(jìn)入數(shù)字世界的入口。通過手機(jī)，我們可以向數(shù)字世界發(fā)出各種請求，調(diào)度物理世界的資源為我們所用。Pivotal公司喜歡以ask 綜合部門@pivotal.io的郵件方式來獲得綜合部門的支持。早期行政部門的同事剛加入Pivotal公司的時(shí)候常問我：為什么不面對面請求，或者打個(gè)電話，又或者開個(gè)單子？我的回答是這幾種方式看似差別不大，但反映了思考問題方式的差別。Pivotal公司作為數(shù)字化的領(lǐng)導(dǎo)者，把軟件和數(shù)據(jù)平臺看作數(shù)字世界的入口。我們獲取資源的方式是向這個(gè)數(shù)字世界發(fā)出請求。數(shù)字世界可能通過它的計(jì)算找到最優(yōu)執(zhí)行路徑。有些工作的執(zhí)行可能還需要轉(zhuǎn)發(fā)給人進(jìn)行人工處理，例如安裝一臺打印機(jī)。但是，有些請求則可以直接通過軟件方式解決，例如申請一臺云服務(wù)器。對于某些請求，雖然我們今天還無法完全以全數(shù)字化、無人干預(yù)的方式完成，但是，我們可以先把數(shù)字原生的框架奠定起來，為以后的進(jìn)一步對接和持續(xù)改進(jìn)做好準(zhǔn)備。在作者看來，數(shù)字原生的持續(xù)改進(jìn)過程分為三個(gè)階段：
1）軟件公司：通過數(shù)字應(yīng)用實(shí)現(xiàn)數(shù)字世界和物理世界的無縫交互。
2）數(shù)據(jù)公司：通過大數(shù)據(jù)平臺實(shí)現(xiàn)數(shù)據(jù)積累和數(shù)學(xué)模型運(yùn)行支撐。
3）數(shù)學(xué)公司：通過數(shù)學(xué)模型的持續(xù)改進(jìn)來最優(yōu)化數(shù)字世界和物理世界資源。
因此，作者和團(tuán)隊(duì)希望能夠以三部對應(yīng)的著作（下面簡稱為數(shù)字化三部曲）在數(shù)字原生的征程上為讀者提供戰(zhàn)略參考和對應(yīng)的軟件平臺及工具指導(dǎo)。
第一部曲：《Cloud Foundry：從數(shù)字化戰(zhàn)略到實(shí)現(xiàn)》這本書的主要目標(biāo)是闡述企業(yè)如何實(shí)現(xiàn)數(shù)字原生第一階段：實(shí)現(xiàn)數(shù)字化應(yīng)用。該書討論了云計(jì)算作為第三代技術(shù)平臺帶來的商業(yè)模式變更。在云計(jì)算的技術(shù)棧中，P層云帶動了企業(yè)數(shù)字化浪潮。傳統(tǒng)企業(yè)通過P層云可以迅速獲得頂級互聯(lián)網(wǎng)公司的軟件迭代和發(fā)布速度，把與客戶的交互通過消費(fèi)級的應(yīng)用數(shù)字化。書中例舉福特公司通過FordPass建立了以汽車實(shí)體產(chǎn)品為核心的一系列用戶數(shù)字化體驗(yàn)：汽車金融、遠(yuǎn)程監(jiān)控車輛、停車位預(yù)留、旅途產(chǎn)品和服務(wù)推薦等。這個(gè)階段也是一個(gè)持續(xù)改進(jìn)的過程。以共享出行為例，今天用戶通過手機(jī)平臺進(jìn)入數(shù)字世界，在打車應(yīng)用中發(fā)送訂單。打車平臺通過選擇最優(yōu)執(zhí)行路徑，把訂單發(fā)送給打車平臺的司機(jī)。然后，司機(jī)在物理世界中驅(qū)車到達(dá)用戶起點(diǎn)。隨著有輔助的無人駕駛技術(shù)的成熟，這個(gè)數(shù)字世界的運(yùn)行鏈條會繼續(xù)延長，數(shù)字平臺可以直接把無人車派送到用戶起點(diǎn)。在其他的行業(yè)，數(shù)字應(yīng)用的鏈條同樣也在持續(xù)延長。
第二部曲：《Greenplum：從大數(shù)據(jù)戰(zhàn)略到實(shí)現(xiàn)》（也就是本書）我們的主要目的是闡述企業(yè)如何實(shí)現(xiàn)數(shù)字原生的第二階段：大數(shù)據(jù)平臺。隨著數(shù)字應(yīng)用的鏈條不斷延長，企業(yè)需要一個(gè)大數(shù)據(jù)平臺來積累應(yīng)用生成的數(shù)據(jù)。這個(gè)工作聽上去很容易，因?yàn)槿藗兒茉缫郧熬褪褂么艓�來存儲�?shù)據(jù)，之后，存儲媒介發(fā)生了巨大的變化，能夠便捷地存儲大量數(shù)據(jù)。那么為何還需要Greenplum這樣一個(gè)大數(shù)據(jù)和機(jī)器學(xué)習(xí)平臺？原因有兩個(gè)：1）量大；2）快速計(jì)算。說到大，當(dāng)數(shù)據(jù)量達(dá)到PB級別（相當(dāng)于16000個(gè)64GB的iPhone中存儲的數(shù)據(jù)）時(shí)，企業(yè)利用廉價(jià)但是可靠的存儲來備份和管理是非常困難的。說到快，想象讓用戶從16000個(gè)iPhone的數(shù)據(jù)中尋找一張5年前的照片就可以感受到大海撈針般的困難；更何況企業(yè)的數(shù)據(jù)平臺要支撐的機(jī)器學(xué)習(xí)和人工智能的數(shù)學(xué)模型的復(fù)雜度要比尋找一張照片的復(fù)雜度高幾十到幾萬倍�？梢�，要想用極快的速度處理如此海量的數(shù)據(jù)是極其困難的。這也是企業(yè)在構(gòu)建大數(shù)據(jù)平臺時(shí)步履維艱的原因。Greenplum團(tuán)隊(duì)的優(yōu)秀專家用企業(yè)積累了15年的知識和創(chuàng)新來解決這些難題：如何利用低價(jià)的存儲設(shè)備來實(shí)現(xiàn)高可靠的數(shù)據(jù)存儲？數(shù)據(jù)的存儲如何為今天模型的計(jì)算做準(zhǔn)備？如何給模型提供簡單但又標(biāo)準(zhǔn)的接口？數(shù)據(jù)管理如何在便于存儲和便于日后查找之間取得平衡？如何利用現(xiàn)在的I層云計(jì)算資源？如何訪問文本和地理位置信息等各種數(shù)據(jù)源？如何訪問和計(jì)算存儲在其他系統(tǒng)（例如Hadoop）的數(shù)據(jù)？如何支撐今天主流的人工智能和機(jī)器學(xué)習(xí)模型？我們在創(chuàng)新過程中觸碰到了很多計(jì)算機(jī)科學(xué)本身的極限。希望這本著作能給讀者呈現(xiàn)一個(gè)解決了上述問題并可以實(shí)操的大數(shù)據(jù)平臺和戰(zhàn)略。
我們還在醞釀的第三部著作希望能幫助讀者更好地實(shí)現(xiàn)數(shù)字原生的第三階段：機(jī)器學(xué)習(xí)和人工智能。企業(yè)通過第一階段和第二階段的努力捕獲和存儲了大量的數(shù)據(jù)。為了更好地理解用戶的需求，不少企業(yè)進(jìn)入了更高階的數(shù)字化戰(zhàn)略：大數(shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)和人工智能。在這個(gè)階段的競爭中，企業(yè)會增設(shè)一個(gè)新的崗位：數(shù)據(jù)科學(xué)家。數(shù)據(jù)科學(xué)家會在大數(shù)據(jù)平臺上創(chuàng)造和優(yōu)化數(shù)學(xué)模型，以期待改進(jìn)數(shù)字世界和物理世界的運(yùn)作來更好地為人服務(wù)。前兩部曲提供了軟件工具和方法論以幫助企業(yè)成為基于大數(shù)據(jù)的人工智能和機(jī)器學(xué)習(xí)戰(zhàn)略的數(shù)學(xué)公司，不少企業(yè)在實(shí)踐過程中希望作者能夠分享實(shí)踐案例并就企業(yè)領(lǐng)導(dǎo)力轉(zhuǎn)變提供咨詢�？紤]到這樣一本著作的出版需要兩年以上的時(shí)間，碰巧出版社和作者看到了頂級大數(shù)據(jù)咨詢公司Booz Allen Hamilton的兩位高管收集了大量實(shí)際案例的著作《The Mathematical Corporation: Where Machine Intelligence and Human Ingenuity Achieve the Impossible》，其中關(guān)于數(shù)學(xué)公司的提法和作者的觀點(diǎn)不謀而合。通過出版社的努力，作者和團(tuán)隊(duì)把這部著作翻譯成中文著作，可以作為第二部曲的伴侶著作來閱讀。
雖然數(shù)字原生第三階段的探討還在創(chuàng)新者和早期用戶者群體中進(jìn)行，但是第二階段大數(shù)據(jù)平臺的建設(shè)已經(jīng)在中國如火如荼地展開。大數(shù)據(jù)平臺在數(shù)字原生三部曲中扮演了承上啟下的關(guān)鍵角色，中大型的公司已經(jīng)將大數(shù)據(jù)納入信息平臺的建設(shè)方案中。Greenplum因?yàn)殚_源生態(tài)和杰出的創(chuàng)新能力被列為方案的候選技術(shù)選項(xiàng)，這也使Pivotal中國辦公室的同事們倍感欣慰。伴隨Greenplum生態(tài)的持續(xù)發(fā)展壯大，希望這部著作能給企業(yè)高層制定戰(zhàn)略提供建議和參考，既幫助工程團(tuán)隊(duì)開發(fā)應(yīng)用，又能指導(dǎo)運(yùn)營團(tuán)隊(duì)運(yùn)維和保障。
本書內(nèi)容組織方式
Greenplum經(jīng)過15年的精心打磨，成為出色的開源MPP數(shù)據(jù)庫和數(shù)據(jù)處理基礎(chǔ)平臺，已應(yīng)用于銀行、保險(xiǎn)、證券、電信、物流、安保、零售、能源和廣告等行業(yè)。我們希望本書能給已經(jīng)建立或者準(zhǔn)備建立大數(shù)據(jù)平臺的企業(yè)決策者、架構(gòu)師、開發(fā)人員、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)庫管理員帶來幫助，也希望從事大數(shù)據(jù)科研工作的教育工作者和學(xué)生能從中受益。
本書分為四個(gè)部分。
第一部分介紹大數(shù)據(jù)戰(zhàn)略。其中，第1章將分享作者對于ABC（人工智能、大數(shù)據(jù)和云計(jì)算）之間關(guān)系的理解以及對人和人工智能的思考。第2章將介紹進(jìn)取型企業(yè)為什么需要大數(shù)據(jù)戰(zhàn)略以及如何建立大數(shù)據(jù)戰(zhàn)略。
第二部分介紹大數(shù)據(jù)平臺。其中，第3章將以數(shù)據(jù)平臺演進(jìn)歷史和未來趨勢為主題，描述三次整合的背景及影響，介紹選擇大數(shù)據(jù)平臺需要考慮的因素，以及為什么Greenplum是理想的大數(shù)據(jù)平臺。第4章為Greenplum數(shù)據(jù)庫快速入門指南。第5章將介紹Greenplum架構(gòu)的主要特點(diǎn)和核心引擎。第6章將介紹數(shù)據(jù)加載、數(shù)據(jù)聯(lián)邦和數(shù)據(jù)虛擬化。第7章將介紹Greenplum的資源管理以及對混合負(fù)載的支持。
第三部分介紹機(jī)器學(xué)習(xí)與數(shù)據(jù)分析。其中，第8章介紹Greenplum的各種過程化編程語言（用戶自定義函數(shù)），用戶可以使用Python、R、Java等語言實(shí)現(xiàn)用戶自定義函數(shù)，還可以通過容器化技術(shù)實(shí)現(xiàn)自定義函數(shù)的安全性和隔離性。第9章將介紹Greenplum內(nèi)建的機(jī)器學(xué)習(xí)庫MADlib，數(shù)據(jù)科學(xué)家可以使用內(nèi)建的50多種機(jī)器學(xué)習(xí)算法基于SQL對數(shù)據(jù)進(jìn)行高級分析，并介紹如何擴(kuò)展MADlib以實(shí)現(xiàn)新算法。第10章和第11章將分別介紹Greenplum如何對文本數(shù)據(jù)和時(shí)空數(shù)據(jù)（GIS）進(jìn)行存儲、計(jì)算和分析。第12章將介紹Greenplum豐富的圖計(jì)算能力。
第四部分介紹運(yùn)維管理和數(shù)據(jù)遷移。其中，第13章將介紹各種監(jiān)控和管理工具及相關(guān)企業(yè)級產(chǎn)品。第14章介紹數(shù)據(jù)庫備份、恢復(fù)和遷移。第15章和第16章將分別介紹如何從Oracle和Teradata遷移到Greenplum。
限于作者學(xué)識，本書難免有疏漏之處，懇請同行和各位讀者批判指正，我們將不勝感激。您可以通過數(shù)字化三部曲的官網(wǎng)（DigitX.cn）或Greenplum中文官方社區(qū)（greenplum.cn）給我們留言并了解Greenplum的技術(shù)信息、獲得著作的相關(guān)學(xué)習(xí)資源。 馮　雷
Pivotal中國常務(wù)董事兼研發(fā)中心總經(jīng)理
姚延棟
Pivotal中國研發(fā)中心副總裁