換一種方式學(xué)習(xí)存儲系統(tǒng)
你好，我是李玥，很高興在這里遇見你。
我的從業(yè)經(jīng)歷比較豐富，曾在傳統(tǒng)IT行業(yè)做過大量的企業(yè)級toB系統(tǒng)，轉(zhuǎn)戰(zhàn)互聯(lián)網(wǎng)后，又曾帶領(lǐng)創(chuàng)業(yè)團(tuán)隊體驗過從0到1創(chuàng)業(yè)的艱辛，見證過互聯(lián)網(wǎng)高速增長的高光時刻，也經(jīng)歷過數(shù)年電商大促的洗禮。近年來，我主要從事基礎(chǔ)架構(gòu)領(lǐng)域（包括一些存儲系統(tǒng)和中間件等）的技術(shù)工作。簡單地說，我是一個造輪子的程序員。
在工作過程中，我接觸過很多系統(tǒng)。不同系統(tǒng)的業(yè)務(wù)各不相同，有做社交的，有做電商的，還有做內(nèi)容的。規(guī)模也大小不一，有的系統(tǒng)規(guī)模很小，也有像BAT使用的巨無霸系統(tǒng)。在構(gòu)建這些系統(tǒng)時，我遇到過各種各樣的問題。但總結(jié)之后我發(fā)現(xiàn)了一個神奇的規(guī)律：凡是那些特別難解決的、需要付出巨大代價的，或者損失慘重的技術(shù)問題，幾乎都可以歸結(jié)為存儲系統(tǒng)的問題。
其實，這個規(guī)律并不神奇，它也是有原因的。
總體來說，各種業(yè)務(wù)系統(tǒng)幾乎都屬于MIS（管理信息系統(tǒng)，有的大學(xué)還開設(shè)了這個專業(yè)）范疇。顧名思義，管理信息系統(tǒng)就是管理信息的系統(tǒng)。這里的信息其實就是數(shù)據(jù)。不管系統(tǒng)的業(yè)務(wù)是什么，終都要落到對信息的管理上，通俗地說，系統(tǒng)終的業(yè)務(wù)功能都會落到數(shù)據(jù)上。
只要數(shù)據(jù)是正確的，其他的問題基本上都是小問題。數(shù)據(jù)錯了、丟了，以及數(shù)據(jù)處理不及時，才是會造成慘重?fù)p失的大問題。
可見，用于承載數(shù)據(jù)的存儲系統(tǒng)非常重要，如果能夠構(gòu)建一個安全可靠、快速穩(wěn)定的存儲系統(tǒng)，那么在該基礎(chǔ)之上構(gòu)建的業(yè)務(wù)系統(tǒng)，才能讓人更為放心。
綜上所述，存儲是系統(tǒng)中重要、關(guān)鍵的組成部分，沒有之一。
需要關(guān)注存儲系統(tǒng)的哪些特點
我們常用的存儲系統(tǒng)種類非常多，有單機的也有分布式的，有的是數(shù)據(jù)庫，有的是文件系統(tǒng)，還有介于二者之間的。無論是哪種存儲系統(tǒng)（比如，MySQL、Redis、Elasticsearch，等等），它們都具有如下三個特點。
個特點是難用。難用體現(xiàn)在哪些方面呢？對于應(yīng)用程序來說，存儲的作用是安全可靠地保存數(shù)據(jù)，在我們需要的時候能夠快速存取。遺憾的是，目前幾乎沒有一種存儲系統(tǒng)能夠滿足這個簡單的要求。
對于存儲系統(tǒng)難用的特性，業(yè)內(nèi)有一個非常形象的比喻：開著車去商場購物，到了停車場發(fā)現(xiàn)這里不能存車，只能存零件，必須先把車子拆散，然后把這些零件分門別類地打上標(biāo)簽存放到停車場對應(yīng)的貨架上，走的時候再把零件逐一取出來進(jìn)行組裝。
聽起來似乎很可笑，但是仔細(xì)想想我們正在使用的這些存儲系統(tǒng)，其提供的功能就是如此。應(yīng)用程序里管理的數(shù)據(jù)都是對象，但是，大多數(shù)存儲系統(tǒng)不能直接存儲對象。下面就以MySQL為例進(jìn)行說明。存取一個對象時，必須把對象轉(zhuǎn)換成MySQL表中的行，還得編寫SQL語句才能完成存取操作。是不是很難用？不僅難用，而且還必須用好。要想用好，需要學(xué)習(xí)和掌握其中的方法和技巧。
第二個特點是慢。近年來，分布式存儲在業(yè)內(nèi)的發(fā)展非常迅速，每隔一段時間就會誕生一種新的數(shù)據(jù)庫，不管功能如何，它們無一例外都會與MySQL這樣的傳統(tǒng)數(shù)據(jù)庫進(jìn)行性能測試對比，以彰顯自己速度快、性能好。
不過，有句俗話：一個人越炫耀什么，說明內(nèi)心越缺少什么。這句話也同樣適用于技術(shù)圈。不斷有新的存儲系統(tǒng)刷新性能紀(jì)錄，恰恰說明了現(xiàn)有的存儲系統(tǒng)性能不盡如人意。經(jīng)過良好優(yōu)化的業(yè)務(wù)系統(tǒng)，其性能瓶頸一定是存儲。從性能的角度來說，存儲系統(tǒng)就是整個系統(tǒng)中短的那塊板，存儲系統(tǒng)有多慢，整個系統(tǒng)就會有多慢。如何優(yōu)化存儲性能，從而讓整個系統(tǒng)運轉(zhuǎn)如飛，這其中包含了很多方法、技巧和經(jīng)驗，需要我們學(xué)習(xí)和掌握。
第三個特點是雜。存儲與其他成熟的技術(shù)領(lǐng)域不同，后者基本上都是以一兩種方案為主，比如，Java開發(fā)基本上是以Spring為主，再比如，開發(fā)中使用的Web容器，存放靜態(tài)頁面以Nginx為主，存放動態(tài)頁面以Tomcat為主。但存儲大不相同，目前已有的廣泛應(yīng)用于生產(chǎn)系統(tǒng)中的存儲系統(tǒng)的種類非常多。
MySQL、Redis、Elasticsearch、HBase、Hive、MongoDB、CockroachDB和S3等，這些存儲系統(tǒng)誰都替代不了誰，每一種都有其所擅長的地方和適用的場景，當(dāng)然也有其突出的短板。因此，我們需要學(xué)習(xí)和掌握如何根據(jù)業(yè)務(wù)系統(tǒng)的特點選擇合適的存儲系統(tǒng)來構(gòu)建我們的系統(tǒng)。
學(xué)習(xí)存儲系統(tǒng)的實踐
由于存儲系統(tǒng)具有難用、慢、雜這幾大特點，因此我們學(xué)習(xí)起來更需要注重方法。如何學(xué)習(xí)才能更為高效呢？答案是實踐，從問題入手。
存儲涉及大量的理論知識和概念，比如，構(gòu)成存儲引擎的哈希表、樹等數(shù)據(jù)結(jié)構(gòu)，以及這些數(shù)據(jù)結(jié)構(gòu)的時間復(fù)雜度，這些往往都是偏理論范疇的知識，學(xué)習(xí)起來不容易理解和記憶。并且，理論和實踐之間往往存在非常大的差距，懂了一堆道理，卻還是寫不好代碼是一個很普遍的現(xiàn)象。
我撰寫的這本書將會為大家講解實踐中經(jīng)常會遇到的各種問題，以及對應(yīng)的解決方法，同時還會穿插相應(yīng)的知識和原理解說。希望這種學(xué)習(xí)方式，既可以幫讀者快速解決實際問題，又能幫讀者提升相應(yīng)的技能，進(jìn)而在存儲系統(tǒng)的技術(shù)領(lǐng)域構(gòu)建自己的知識框架。
本書將以電商應(yīng)用場景為例，從0到1講解應(yīng)該如何構(gòu)建不同規(guī)模的存儲系統(tǒng)。
書中每章都會解決一兩個實戰(zhàn)問題，比如：為什么在數(shù)據(jù)量和訪問量都不大的情況下，MySQL還是很慢？數(shù)據(jù)庫宕機了應(yīng)該怎么辦？等等。
為什么本書要以電商系統(tǒng)為例進(jìn)行講解呢？因為電商系統(tǒng)具有很強的代表性，特別適合作為研究和學(xué)習(xí)的案例。不僅是本書，很多培訓(xùn)學(xué)校、技術(shù)論壇也都特別喜歡討論電商系統(tǒng)。
首先，電商系統(tǒng)的覆蓋面足夠廣。特別是在互聯(lián)網(wǎng)行業(yè)，幾乎所有的公司都在做兩件事情：電商和社交。
其次，以電商系統(tǒng)作為案例，直接就能學(xué)以致用。因為電商系統(tǒng)具有很高的復(fù)雜性，所以你在其他業(yè)務(wù)中可能遇到的技術(shù)問題，在電商系統(tǒng)中基本上都會遇到，即使你面對的業(yè)務(wù)與電商關(guān)系不大，也一樣具有借鑒意義。
后，所有人都很熟悉電商業(yè)務(wù)領(lǐng)域。以電商系統(tǒng)作為案例，基本上不需要再講解相關(guān)的業(yè)務(wù)知識，我們可以快速專注于技術(shù)問題本身。
即使是同一個電商系統(tǒng)，不同的規(guī)模所需要解決的問題也不一樣。不少技術(shù)人員崇尚海量數(shù)據(jù)和高并發(fā)，認(rèn)為只有大企業(yè)的高并發(fā)、海量數(shù)據(jù)的核心系統(tǒng)或者底層存儲系統(tǒng)，才是真正有技術(shù)含量的系統(tǒng)，能勝任這種系統(tǒng)的開發(fā)者，才是真正的技術(shù)能人。這其實是一種對技術(shù)認(rèn)知的誤解。為什么這么說呢？因為并不是規(guī)模小的系統(tǒng)就簡單，規(guī)模大的系統(tǒng)才有難度。
創(chuàng)業(yè)團(tuán)隊需要快速、低成本地實現(xiàn)完整的系統(tǒng)，以便快速驗證其商業(yè)模式。處于高速增長期的團(tuán)隊，所面臨的問題主要是業(yè)務(wù)的高速增長和不斷變化，相應(yīng)地，團(tuán)隊也要對系統(tǒng)不停地進(jìn)行升級改造來適應(yīng)變化，并且在變化的過程中要確保系統(tǒng)的穩(wěn)定性。至于業(yè)務(wù)規(guī)模足夠大的企業(yè)，它們需要解決的問題是如何應(yīng)對高并發(fā)的海量數(shù)據(jù)。
所以說，不同規(guī)模的系統(tǒng)，在技術(shù)上并沒有難易之說，更沒有高低貴賤之分，它們的建設(shè)目標(biāo)不一樣，所面臨的挑戰(zhàn)不一樣，需要解決的問題也不一樣，對于存儲系統(tǒng)的選擇和架構(gòu)設(shè)計自然也是不一樣的。
本書的章節(jié)設(shè)計就是按照系統(tǒng)的發(fā)展過程，分成設(shè)計、高速增長、海量數(shù)據(jù)和技術(shù)展望四篇。
在設(shè)計篇中，我們將重點解決從0到1的問題。例如，如何低成本、高質(zhì)量地快速構(gòu)建一個小規(guī)模的訂單存儲系統(tǒng)。
在高速增長篇中，我們將重點關(guān)注在快速變化的過程中系統(tǒng)所遇到的共通問題，以及應(yīng)對這些問題的方法。例如，如何從單機存儲系統(tǒng)逐步演進(jìn)為分布式存儲系統(tǒng)，如何在線平滑地擴(kuò)容存儲系統(tǒng)。
在海量數(shù)據(jù)篇中，我們將重點解決在高并發(fā)、海量數(shù)據(jù)的情況下應(yīng)該如何設(shè)計存儲系統(tǒng)的問題。例如，如何存儲海量的埋點數(shù)據(jù)，如何在各種數(shù)據(jù)庫之間實時地遷移和同步海量數(shù)據(jù)，等等。
在技術(shù)展望篇中，我們將重點探討在存儲技術(shù)領(lǐng)域，有哪些新技術(shù)值得關(guān)注，哪些技術(shù)可能會成為未來的發(fā)展趨勢，等等。畢竟，不斷創(chuàng)新是技術(shù)發(fā)展的原動力。
讀完本書后，你不僅可以學(xué)習(xí)到案例中那些解決具體問題的方法，而且在電商系統(tǒng)架構(gòu)、存儲系統(tǒng)的設(shè)計等方面，也會有所收獲。
更重要的是，通過案例來學(xué)習(xí)常用的數(shù)據(jù)庫和存儲系統(tǒng)的實現(xiàn)與使用方法，有助于我們更好地總結(jié)存儲系統(tǒng)通用、本質(zhì)的技術(shù)原理。了解了存儲系統(tǒng)的本質(zhì)，我們不僅會在應(yīng)對問題時更加從容，而且會對存儲的理解上升一個層次，從知道怎么用升級為知道為什么這樣用，終做到活學(xué)活用。
一段新旅程即將開始，在開始正式學(xué)習(xí)之前，我還想再說一下我的想法：技術(shù)的發(fā)展使技術(shù)的使用變得越來越簡單，但是作為有理想、有情懷的開發(fā)者，不能讓技術(shù)把我們變得越來越簡單。很開心能與大家一起開始這段旅程，持續(xù)地豐富自己，也希望我們都能不負(fù)時光，認(rèn)真對待這段學(xué)習(xí)之旅。