為什么要寫(xiě)這本書(shū)
2021年，一次從深圳到上海的航班上，我和同事討論到了客戶的需求。同事反饋：客戶抱怨現(xiàn)有的Hive數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)一個(gè)指標(biāo)的周期太長(zhǎng)，客戶提出一個(gè)想法后，需要很久才能得到數(shù)據(jù)，嚴(yán)重降低了客戶的決策效率。我自信地向同事推薦了ClickHouseClickHouse正好可以用來(lái)應(yīng)對(duì)這類數(shù)據(jù)探索的場(chǎng)景。我滿心歡喜地認(rèn)為這個(gè)客戶的需求得到了圓滿的解決，然而墨菲定律再一次發(fā)揮了它強(qiáng)大的威力。
幾周后，這位同事急吼吼地找到了我：峰少，ClickHouse不行啊，查詢速度要20多秒，離客戶的1秒預(yù)期差太多了。我的第一反應(yīng)是不可能，就客戶的數(shù)據(jù)量來(lái)說(shuō)，再差也不會(huì)超過(guò)3秒。隨即我意識(shí)到，一定是優(yōu)化沒(méi)有做到位。于是我開(kāi)始了解同事先前的工作。
通過(guò)調(diào)研，我發(fā)現(xiàn)同事是在做一些加索引、合并ODS表的操作，這些操作的確將ClickHouse的速度提升了幾個(gè)數(shù)量級(jí)，但是依然有著近20秒的差距。這個(gè)差距，通過(guò)索引、分區(qū)等手段是解決不了的。這讓我意識(shí)到，需要從ClickHouse的底層引擎出發(fā)。最終我只是修改了其中一個(gè)數(shù)倉(cāng)表的主鍵順序，就成功地將查詢速度從20秒優(yōu)化到了100毫秒，遠(yuǎn)超客戶的預(yù)期。
這個(gè)事件促使我有了寫(xiě)書(shū)的想法。的確，ClickHouse以速度快聞名，但事實(shí)上這是建立在對(duì)ClickHouse的底層引擎有著深度認(rèn)知的基礎(chǔ)上的。如果還是以傳統(tǒng)數(shù)倉(cāng)的方式對(duì)ClickHouse調(diào)優(yōu)，就無(wú)法充分發(fā)揮ClickHouse的性能優(yōu)勢(shì)。
ClickHouse是數(shù)倉(cāng)中的另類，為了充分發(fā)揮單機(jī)優(yōu)勢(shì)，放棄了很多傳統(tǒng)數(shù)倉(cāng)習(xí)以為常的設(shè)計(jì)。這導(dǎo)致了ClickHouse和當(dāng)前的主流數(shù)倉(cāng)不同的適用場(chǎng)景和調(diào)優(yōu)方式，也給目前的數(shù)倉(cāng)從業(yè)者帶來(lái)了挑戰(zhàn)：傳統(tǒng)的調(diào)優(yōu)方式無(wú)法在ClickHouse上達(dá)到極致的效果，需要對(duì)ClickHouse底層引擎有更全面的了解，并同時(shí)理解一套全新的調(diào)優(yōu)的方法論。
當(dāng)然，對(duì)于大部分大數(shù)據(jù)工程師來(lái)說(shuō)，只需要了解ClickHouse的調(diào)優(yōu)方法論。但我的很多同事在了解了ClickHouse調(diào)優(yōu)的套路之后，對(duì)ClickHouse的神奇特性產(chǎn)生了好奇：為何更換一下位置就能將性能提升這么多？要理解這個(gè)問(wèn)題，就需要對(duì)ClickHouse的底層引擎有深入了解。我寫(xiě)這本書(shū)，就是希望能夠系統(tǒng)地將ClickHouse的底層引擎分析透徹，從而幫助讀者知其然，更能知其所以然。
讀者對(duì)象
我在寫(xiě)作時(shí)盡量避免解讀ClickHouse源碼，更注重分析ClickHouse背后的思想。因?yàn)槲艺J(rèn)為源碼是思想的外在體現(xiàn)，同樣的思想，不同的開(kāi)發(fā)者在實(shí)現(xiàn)時(shí)會(huì)有不同的代碼邏輯，所以核心在于背后的思想而不是代碼的實(shí)現(xiàn)。本書(shū)面向的讀者不僅僅是ClickHouse的C 源碼開(kāi)發(fā)工程師，還包括以下讀者：
ClickHouse初學(xué)者及愛(ài)好者
軟件架構(gòu)師
系統(tǒng)架構(gòu)師
ClickHouse開(kāi)發(fā)者
數(shù)倉(cāng)建模師
大數(shù)據(jù)工程師
ClickHouse運(yùn)維工程師
中高級(jí)開(kāi)發(fā)工程師
本書(shū)特色
本書(shū)從架構(gòu)設(shè)計(jì)的層面揭示了ClickHouse查詢速度快的根本原因。讀者閱讀本書(shū)后，能夠深刻理解ClickHouse的適用場(chǎng)景，能夠客觀地認(rèn)識(shí)ClickHouse并形成自己的認(rèn)知，為今后在實(shí)際業(yè)務(wù)中充分發(fā)揮ClickHouse的性能提供堅(jiān)實(shí)的基礎(chǔ)。
在思想內(nèi)核上，本書(shū)分為明線和暗線。明線是ClickHouse為什么查詢速度快，暗線是在此基礎(chǔ)上向讀者揭示更高維度的架構(gòu)如何影響功能（能力）這個(gè)問(wèn)題，從而幫助讀者在潛移默化中構(gòu)建架構(gòu)世界觀。
如何閱讀本書(shū)
本書(shū)分為兩部分。
第一部分　架構(gòu)篇（第1～7章），介紹ClickHouse的架構(gòu)，并從架構(gòu)的角度分析ClickHouse查詢速度快的底層邏輯。任何架構(gòu)都不可能適用于所有的場(chǎng)景，這部分會(huì)基于這個(gè)邏輯推導(dǎo)出ClickHouse的適用場(chǎng)景。
第二部分　實(shí)戰(zhàn)篇（第8～12章），向讀者展示ClickHouse的使用技巧、真實(shí)場(chǎng)景下ClickHouse如何建模、云計(jì)算時(shí)代ClickHouse的全新架構(gòu)和性能優(yōu)化等內(nèi)容。
勘誤和支持
由于作者的水平有限，書(shū)中難免會(huì)出現(xiàn)一些錯(cuò)誤或者不準(zhǔn)確的地方，懇請(qǐng)讀者批評(píng)指正。為此，我開(kāi)通了一個(gè)微信訂閱號(hào)峰少的技術(shù)空間，讀者關(guān)注后可以直接給我留言，反饋意見(jiàn)和建議，我會(huì)及時(shí)與大家在線交流。
書(shū)中的全部源文件可以通過(guò)以下鏈接下載，我也會(huì)及時(shí)更新相應(yīng)的功能。
前端代碼源文件鏈接為https://github.com/Wen-ace/frontend_project_user_profile_with_high_performance_of_clickhouse。
后端代碼源文件鏈接為https://github.com/chen-ace/project_user_profile_with_hign_performance_of_clickhouse。
如果讀者有更多的寶貴意見(jiàn)，也歡迎發(fā)送郵件至郵箱cfcz48@qq.com。期待能夠得到你們的真摯反饋。
致謝
感謝我的恩師南京大學(xué)胡昊教授。正是胡老師當(dāng)年對(duì)我的教導(dǎo)，才讓我有了求真探索的精神和看透表象的邏輯洞察力，也讓我具備了寫(xiě)出這本書(shū)的能力。感謝我的恩師為本書(shū)作序。
感謝云和恩墨創(chuàng)始人、鯤鵬MVP蓋國(guó)強(qiáng)老師，蓋老師在數(shù)據(jù)庫(kù)行業(yè)的經(jīng)驗(yàn)非常豐富，重視提攜新人，感謝蓋國(guó)強(qiáng)老師為本書(shū)作序。
感謝我的伯樂(lè)楊磊，楊磊先生從微末中發(fā)現(xiàn)了我，帶我進(jìn)入更大的平臺(tái)，給了我一個(gè)可以自由揮灑才華的舞臺(tái)，是楊磊先生提高了我的視野，讓我能夠從不同的角度去分析問(wèn)題。同時(shí)感謝楊磊先生為本書(shū)編寫(xiě)推薦語(yǔ)。
感謝我的公司滴普科技及公司的領(lǐng)導(dǎo)趙杰輝、王兵、吳小前、呂鑫。是公司給我創(chuàng)造了寫(xiě)作的條件，并給我提供了實(shí)踐項(xiàng)目。沒(méi)有公司和領(lǐng)導(dǎo)們的支持，就不會(huì)有這本書(shū)的出版。
感謝京東云數(shù)據(jù)庫(kù)研發(fā)負(fù)責(zé)人高新剛、ClickHouse中國(guó)社區(qū)創(chuàng)始人郭煒、美創(chuàng)科技技術(shù)研究院數(shù)據(jù)庫(kù)內(nèi)核專家呂海波、StarRocks社區(qū)活躍貢獻(xiàn)者徐昱、中國(guó)科學(xué)院軟件研究所工程師溫一川、中亦科技數(shù)據(jù)庫(kù)產(chǎn)品副總經(jīng)理陳宏義（老貓）、南京大學(xué)助理研究員匡宏宇博士。很榮幸本書(shū)能得到這些同行和前輩的認(rèn)可。感謝你們對(duì)我的支持，為本書(shū)寫(xiě)推薦語(yǔ)。我將不斷前行，輸出更多優(yōu)質(zhì)的內(nèi)容。
感謝我的同事：曹源、鄭聰聰、溫榮蛟、徐業(yè)洲、錢(qián)思貝、溫志強(qiáng)、趙宇凱、劉晶、簡(jiǎn)婉晴。感謝你們?yōu)楸緯?shū)的創(chuàng)作提供了支撐。特別感謝溫榮蛟先生，為第9章提供了前端代碼。
感謝我的父親陳志中。他是一個(gè)淳樸的物流司機(jī)，不擅于表達(dá)，只知道一心一意支持我，對(duì)于我求學(xué)路上的要求，從來(lái)都不打折扣地滿足。也正是父親對(duì)我的無(wú)私支持，才讓我能夠?qū)Ｐ那髮W(xué)，最終寫(xiě)出了這本書(shū)。
最后感謝黨和祖國(guó)，讓我這個(gè)農(nóng)村出身的孩子能夠通過(guò)教育改變自己的命運(yùn)。愿祖國(guó)繁榮昌盛。
謹(jǐn)以此書(shū)獻(xiàn)給我的父親和兄弟們，以及眾多熱愛(ài)ClickHouse的朋友們！