第1章　金融數(shù)據(jù)庫
【學習要點及目標】
* 掌握金融數(shù)據(jù)庫的概念。
* 了解金融數(shù)據(jù)庫的起源、作用及分類。
* 了解國外金融數(shù)據(jù)庫的概況和國內(nèi)金融數(shù)據(jù)庫的概況。
* 了解金融數(shù)據(jù)庫的選擇標準，會選擇合適的金融數(shù)據(jù)庫。
　　【核心概念】
　　數(shù)據(jù) 數(shù)據(jù)庫 金融數(shù)據(jù) 金融數(shù)據(jù)庫 金融數(shù)據(jù)庫應用系統(tǒng) 金融數(shù)據(jù)服務產(chǎn)業(yè)
1.1　金融數(shù)據(jù)庫的概念
　　隨著我國金融信息化的不斷推進和金融市場的快速發(fā)展，銀行、證券交易所、證券公司、基金公司、期貨交易所、黃金交易所、金融期貨交易所等各類金融機構每天都產(chǎn)生大量的金融數(shù)據(jù)，最近幾年，我國互聯(lián)網(wǎng)金融蓬勃發(fā)展，第三方支付、P2P網(wǎng)貸、眾籌融資、大數(shù)據(jù)金融服務等互聯(lián)網(wǎng)金融企業(yè)每天也產(chǎn)生大量的金融數(shù)據(jù)，這些金融數(shù)據(jù)如同一座含有豐富信息和知識寶藏的礦山，等待我們?nèi)グl(fā)掘。隨著大數(shù)據(jù)、云計算、移動支付、數(shù)據(jù)科學、智慧金融等概念和技術的普及，使得人們越來越重視金融數(shù)據(jù)及其價值。
1.1.1　金融數(shù)據(jù)庫的定義
　　金融數(shù)據(jù)庫就是運用金融理論和計算機數(shù)據(jù)庫技術，將金融機構運營過程、金融市場交易過程和互聯(lián)網(wǎng)金融企業(yè)中產(chǎn)生的各種金融數(shù)據(jù)進行采集、加工整理，并按一定格式存儲便于共享的金融數(shù)據(jù)集合。它常常與基于該數(shù)據(jù)庫的查詢檢索、統(tǒng)計分析、模型建立、計算處理等信息技術支持和服務一起，構成金融數(shù)據(jù)庫應用系統(tǒng)，形成金融數(shù)據(jù)(信息)服務平臺，為金融投資、金融研究、金融教學等提供金融數(shù)據(jù)和相關服務。
1.1.2　金融數(shù)據(jù)庫的起源
　　隨著現(xiàn)代金融學和金融市場的發(fā)展，無論是進行金融投資，還是進行金融學研究和教學，都離不開金融數(shù)據(jù)。對于金融機構和互聯(lián)網(wǎng)金融企業(yè)的從業(yè)人員來說，金融數(shù)據(jù)是他們進行金融投資活動和開展研究的必要基礎。對于金融數(shù)學、金融統(tǒng)計學、金融工程學、金融信息學、計算金融學、實驗金融學等學科領域，金融數(shù)據(jù)是一個重要的基礎，研究者只有收集到全面、準確和完整的數(shù)據(jù)，才能進行有意義的經(jīng)濟與金融研究。
　　早期的實證研究者需要花費大量的時間自己進行數(shù)據(jù)收集整理，不僅影響了研究進度，而且常常因收集的數(shù)據(jù)不全面、也不一定準確，還會影響研究的結果。另一種情況是，有很多金融數(shù)據(jù)，普通研究者和普通研究機構難以搜集到，甚至根本無法搜集到，使相關研究無法進行。由于對金融數(shù)據(jù)的需求越來越迫切，人們越來越注重對金融數(shù)據(jù)的收集、整理和共享，以便減少重復勞動，降低金融數(shù)據(jù)收集的成本。于是，專門提供金融數(shù)據(jù)庫的公司出現(xiàn)了，這是社會分工的結果。金融數(shù)據(jù)庫和金融信息服務平臺作為一種產(chǎn)品和一種服務，逐漸被人們所接受，并且誕生了一個新興行業(yè)--金融數(shù)據(jù)服務業(yè)。
　　金融數(shù)據(jù)服務業(yè)是現(xiàn)代金融服務行業(yè)的基礎和金融創(chuàng)新的源泉。在金融市場比較發(fā)達的國家，金融數(shù)據(jù)服務業(yè)的從業(yè)人數(shù)和資本投入規(guī)模都占整個金融服務業(yè)很大的一部分。金融數(shù)據(jù)服務行業(yè)在經(jīng)營范圍、安全性、保密性、可靠性和其他監(jiān)管等方面都有嚴格的要求，其兼具金融和技術行業(yè)特點的性質(zhì)，決定了其與其他信息服務和技術服務業(yè)的區(qū)別。由于金融數(shù)據(jù)和金融技術平臺會同時用于銀行、證券、保險和基金等不同的金融服務業(yè)，在中國金融行業(yè)分業(yè)經(jīng)營分業(yè)監(jiān)管的環(huán)境下，更顯示出第三方獨立的金融數(shù)據(jù)服務行業(yè)的必要性。按照目前互聯(lián)網(wǎng)金融的分類，金融信息服務屬于互聯(lián)網(wǎng)金融六大主要類型之一，金融信息服務主要包括金融數(shù)據(jù)服務、信用信息服務、金融信息門戶網(wǎng)等。我國的金融數(shù)據(jù)服務是互聯(lián)網(wǎng)金融中發(fā)展最早且最成熟的類型，已有20多年的發(fā)展歷史，不少金融數(shù)據(jù)服務企業(yè)已經(jīng)是上市公司。
　　金融數(shù)據(jù)服務行業(yè)的主要業(yè)務范圍是：對包括個人和企業(yè)數(shù)據(jù)在內(nèi)的各種金融數(shù)據(jù)(包括一些用于評估企業(yè)和個人信用的非傳統(tǒng)金融數(shù)據(jù)，如企業(yè)電子商務網(wǎng)站的瀏覽量、商品的關注時間、收藏率、交易量等數(shù)據(jù)，還有財經(jīng)論壇、博客、微博、微信等文本數(shù)據(jù))進行收集、匯總、標準化和發(fā)布；提供各種專業(yè)的數(shù)據(jù)定制服務；在原生金融數(shù)據(jù)的基礎上發(fā)布相關指數(shù)和市場公共基礎數(shù)據(jù)；搭建適用于金融及相關行業(yè)的信息技術平臺，提供解決方案(包括金融交易系統(tǒng)、清算結算系統(tǒng)、風險控制系統(tǒng)、信息管理系統(tǒng)、數(shù)據(jù)整合/分析和報告平臺、數(shù)據(jù)挖掘/處理和分析平臺、建立和維護投資監(jiān)控平臺等)；利用金融數(shù)據(jù)開展金融分析、資產(chǎn)定價和風險評估；在金融數(shù)據(jù)基礎上設計金融產(chǎn)品和搭建金融模型；研究資產(chǎn)定量管理方法和金融產(chǎn)品量化交易策略；提供與金融數(shù)據(jù)相關的咨詢和外包服務等。
1.1.3　金融數(shù)據(jù)庫的作用
　　金融數(shù)據(jù)庫是為金融投資者、金融研究者提供的金融信息服務的基礎，在金融投資活動和研究、金融實證研究和金融教學中都有十分重要的作用。
1．有效節(jié)約研究者搜集數(shù)據(jù)、整理數(shù)據(jù)的時間以提高研究效率
　　通過金融(研究)數(shù)據(jù)庫提取所需數(shù)據(jù)可節(jié)省金融研究者收集數(shù)據(jù)、驗證數(shù)據(jù)與計算數(shù)據(jù)的寶貴時間，提高研究效率。據(jù)統(tǒng)計，在沒有完整、準確的金融數(shù)據(jù)庫情況下，研究者一半以上的時間都花在收集、整理數(shù)據(jù)上，有時甚至會花費80%的時間用于金融數(shù)據(jù)的收集、整理，不僅效率低且易出錯。并且，有很多金融數(shù)據(jù)，普通研究者和普通研究機構難以搜集到。有了金融數(shù)據(jù)庫后，研究人員可以直接得到研究所需的金融數(shù)據(jù)，無需花費大量的時間進行相關金融數(shù)據(jù)的搜集整理，而且專門的金融數(shù)據(jù)庫提供商，能夠提供更為全面、更為完整和更為準確的高質(zhì)量的金融數(shù)據(jù)，使學術研究尤其是實證研究的效率顯著提高，成果明顯增加。
2．降低研究者和研究機構的數(shù)據(jù)獲取成本
　　與分別從不同的金融數(shù)據(jù)源機構購買數(shù)據(jù)比較而言，直接購買金融數(shù)據(jù)庫，可大幅節(jié)省研究者，特別是研究機構的數(shù)據(jù)獲取的資金成本，而且并不是所有的金融數(shù)據(jù)源機構都愿意出售零星小批量的數(shù)據(jù)。
3．可以為研究者提供各種專業(yè)的數(shù)據(jù)定制服務
　　金融研究者不僅需要原始的金融數(shù)據(jù)，有時也進行數(shù)據(jù)合并、變換、計算衍生指標等，甚至需要一些特別定制的金融數(shù)據(jù)，大量數(shù)據(jù)的整理計算的難度往往很大，需要一些技術含量高的信息處理技術，這些信息處理技術的學習也需要大量的時間投入，而提供金融數(shù)據(jù)庫的專業(yè)的金融信息服務企業(yè)也提供各種專業(yè)的數(shù)據(jù)定制服務，包括特殊需求的數(shù)據(jù)整理、模型建立和計算程序體設計等服務，支持研究者的研究，讓研究者可以專注于金融問題本身的研究。
4．采用同一金融數(shù)據(jù)庫有利于研究結果的比較
　　如果每個研究者都使用自己搜集的數(shù)據(jù)，相關指標的計算處理標準不統(tǒng)一，其研究結果很難進行比較。而采用同一金融數(shù)據(jù)庫，可使標準統(tǒng)一，有利于研究結果的比較。
5．為金融學教學提供輔助工具并幫助培養(yǎng)急需的相關人才
　　金融數(shù)據(jù)庫為金融學教學提供了很好的輔助工具，教師可運用金融數(shù)據(jù)庫的數(shù)據(jù)對各種理論、模型進行演示，使學生能夠比較直觀地掌握深奧的理論知識和分析方法，從而提高教學效率與質(zhì)量。運用金融數(shù)據(jù)庫的專業(yè)數(shù)據(jù)，還可以對經(jīng)典文獻、經(jīng)典模型進行方便的檢驗，在檢驗的過程中發(fā)現(xiàn)"偏差"和不同市場的特色，從而構建自己的模型，在前人研究的基礎上進行新的嘗試，拓展研究思路，培養(yǎng)學生的創(chuàng)新能力。
　　最近幾年，大數(shù)據(jù)已成為大家耳熟能詳?shù)拿�詞，金融大數(shù)據(jù)如同一座含有豐富信息和知識寶藏的礦山，有待去發(fā)掘。隨著大數(shù)據(jù)、云計算、移動支付、數(shù)據(jù)科學、智慧金融等概念和技術的普及，使得人們越來越重視金融數(shù)據(jù)及其價值。如何從海量的數(shù)據(jù)中挖掘出有價值的新信息，并發(fā)現(xiàn)幫助企業(yè)創(chuàng)造價值的新知識，是我國金融行業(yè)中信息技術與金融業(yè)務深度融合發(fā)展面臨的主要課題，也是我國金融行業(yè)提高國際競爭力的關鍵。金融數(shù)據(jù)庫有助于培養(yǎng)我國的金融企業(yè)和互聯(lián)網(wǎng)金融企業(yè)都急需的能夠綜合運用數(shù)學理論、信息技術并精通金融業(yè)務的金融數(shù)據(jù)分析人才和金融數(shù)據(jù)挖掘人才。
　　


1.1.4　金融數(shù)據(jù)庫的分類
　　目前，金融數(shù)據(jù)庫已經(jīng)發(fā)展到比較成熟的階段，國內(nèi)外市場上已有各種金融數(shù)據(jù)庫。按照不同的標準，可將其劃分為多種類型。
　　(1) 按金融數(shù)據(jù)庫的內(nèi)容和用途的不同，分為行情咨詢數(shù)據(jù)庫和研究型數(shù)據(jù)庫。
　　行情咨詢數(shù)據(jù)庫主要提供金融市場實時交易行情等咨詢類數(shù)據(jù)，重點在保證金融市場數(shù)據(jù)的實時性、直接性、準確性，不需要對數(shù)據(jù)進行加工整理。數(shù)據(jù)庫主要為投資者服務，使用對象以各類投資者為主。
　　研究型數(shù)據(jù)庫是為研究人員提供服務，它不僅提供原始數(shù)據(jù)，還為研究者提供一系列對原始數(shù)據(jù)按專業(yè)標準進行深層加工整理得到的各類常用數(shù)據(jù)指標，包含研究人員需要的更為全面的數(shù)據(jù)，很多研究性金融數(shù)據(jù)庫提供商還同時提供宏觀經(jīng)濟數(shù)據(jù)，方便研究人員使用。
　　有的金融數(shù)據(jù)庫提供商同時提供金融市場實時交易行情(包括高頻數(shù)據(jù))等咨詢類數(shù)據(jù)和研究型數(shù)據(jù)，形成完整的數(shù)據(jù)服務平臺。
　　(2) 按金融數(shù)據(jù)的種類不同，分為單一金融數(shù)據(jù)庫和綜合金融數(shù)據(jù)庫。
　　單一金融數(shù)據(jù)庫主要提供單一種類的金融市場的相關數(shù)據(jù)，如股票數(shù)據(jù)庫、外匯數(shù)據(jù)庫、債券數(shù)據(jù)庫等，甚至還可以是專門的鋼鐵交易數(shù)據(jù)庫等。這類數(shù)據(jù)庫雖然數(shù)據(jù)范圍相對狹窄，但是通常更加專業(yè)和精細，可以提供更為多樣的衍生指標和專題數(shù)據(jù)。
　　綜合金融數(shù)據(jù)庫通常提供多個金融市場的相關數(shù)據(jù)。很多投資者特別是機構投資者都在多個金融市場進行投資，研究者也要進行跨市場研究，綜合金融數(shù)據(jù)庫正適合了他們的需求。
　　金融數(shù)據(jù)庫的綜合化已經(jīng)成為一種趨勢，越來越多的金融數(shù)據(jù)庫提供商在不斷擴大數(shù)據(jù)范圍，同時提供利率、匯率、通貨膨脹率等宏觀數(shù)據(jù)，以及各類行業(yè)數(shù)據(jù)，甚至法律信息和與金融有關的政治、社會和科技信息。
1.1.5　金融數(shù)據(jù)庫的選擇標準
　　評價和選擇金融數(shù)據(jù)庫的標準主要有以下幾個。
　　(1) 設計體系科學、合理。
　　(2) 數(shù)據(jù)內(nèi)容完整、準確。
　　(3) 相關衍生指標計算正確。
　　(4) 使用方便，服務完善。
　　(5) 數(shù)據(jù)庫的結構穩(wěn)定。
　　(6) 數(shù)據(jù)更新及時。
　　選擇金融數(shù)據(jù)庫時，還要考慮數(shù)據(jù)的下載方式、對二次開發(fā)的支持、與研究和教學的適合度等，選擇一個適合自己用途的金融數(shù)據(jù)庫。
1.2　國內(nèi)外常用金融數(shù)據(jù)庫簡介
1.2.1　國外金融數(shù)據(jù)庫的概況
　　國際著名的金融數(shù)據(jù)庫有美國芝加哥大學商研所金融研究中心的CRSP數(shù)據(jù)庫(The Center for Research in Security Prices)、美國著名的信用評級公司標準普爾(Standard & Poor's)的Compustat數(shù)據(jù)庫以及紐約交易所TAQ數(shù)據(jù)庫等。