本教材的基本內(nèi)容是將人工智能領(lǐng)域中的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等智能技術(shù)應(yīng)用于人文和社科領(lǐng)域。本教材共分為9章。

第一章討論了大數(shù)據(jù)技術(shù)的一些基本概念，同時(shí)還對計(jì)算機(jī)語言Python進(jìn)行了簡要介紹，它們是學(xué)習(xí)智能技術(shù)的基礎(chǔ)。第二章討論了基于Python的計(jì)算機(jī)爬蟲與網(wǎng)頁交互的基本原理和爬蟲技術(shù)的應(yīng)用。第三章介紹了爬蟲框架，為了節(jié)約開發(fā)成本和避免重復(fù)工作，利用爬蟲框架可以設(shè)計(jì)滿足應(yīng)用要求的數(shù)據(jù)爬蟲。第四章介紹了數(shù)據(jù)存儲的相關(guān)概念和各種具體的存儲方法，主要包括文件格式的數(shù)據(jù)存儲，如純文本格式、CSV格式、Excel格式和基于數(shù)據(jù)庫的存儲，包括MySQL數(shù)據(jù)庫、Mongo數(shù)據(jù)庫和Redis數(shù)據(jù)庫。第五章討論了數(shù)據(jù)挖掘的基本概念。近些年來隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，數(shù)據(jù)模型方法也在不斷發(fā)展，內(nèi)容非常豐富。傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)和分析方法正在向數(shù)據(jù)挖掘模型領(lǐng)域過渡。大數(shù)據(jù)模型的分析結(jié)果為決策者提供了更加豐富的決策依據(jù)。這章介紹了貝葉斯決策模型的基本原理，并將這個(gè)模型應(yīng)用到一個(gè)信用卡申請數(shù)據(jù)集上。第六、七章分別介紹了Python的數(shù)據(jù)處理工具——Numpy庫和Pandas庫。雖然它們都是Python的第三方庫，但它們在數(shù)據(jù)分析和數(shù)據(jù)挖掘領(lǐng)域中具有非常重要的地位。數(shù)據(jù)挖掘算法中大部分的數(shù)據(jù)處理是調(diào)用Numpy庫來完成基礎(chǔ)數(shù)據(jù)計(jì)算的。這是由于Numpy比Python語言中的列表更具有優(yōu)勢，其中一個(gè)優(yōu)勢就是運(yùn)算速度。一般來說對大型數(shù)組進(jìn)行運(yùn)算時(shí)，Numpy庫的運(yùn)算速度比Python列表的運(yùn)算速度快了好幾百倍。另一方面，Pandas又是基于Numpy開發(fā)出來的第三方庫，其特點(diǎn)為數(shù)據(jù)面板和數(shù)據(jù)分析二者的集成。它提供靈活的數(shù)據(jù)結(jié)構(gòu)，并提供一些標(biāo)準(zhǔn)的數(shù)據(jù)模型，能夠高效地操作大型數(shù)據(jù)集。Pandas提供了大量能使我們快速高效地處理數(shù)據(jù)的函數(shù)和方法。第八章討論了如何對數(shù)據(jù)進(jìn)行清洗以方便數(shù)據(jù)挖掘模型的使用。數(shù)據(jù)需要清洗的原因是在原始數(shù)據(jù)集中存在數(shù)據(jù)重復(fù)現(xiàn)象、數(shù)據(jù)缺失情況，或數(shù)據(jù)存在不一致性。所以數(shù)據(jù)清洗的目的就是為了刪除重復(fù)數(shù)據(jù)，補(bǔ)齊缺失的數(shù)據(jù)，消除數(shù)據(jù)的不一致性。這樣才能保證數(shù)據(jù)質(zhì)量來支撐數(shù)據(jù)挖掘模型。第九章介紹了數(shù)據(jù)可視化的概念和實(shí)現(xiàn)的技術(shù)。通常在進(jìn)行大數(shù)據(jù)分析時(shí)，往往需要在運(yùn)行模型之前進(jìn)行探索性的數(shù)據(jù)分析，這樣方便我們對數(shù)據(jù)特性的了解。這時(shí)最直觀的方法是采用數(shù)據(jù)可視化技術(shù)達(dá)到解讀數(shù)據(jù)的目的。同樣在數(shù)據(jù)挖掘模型輸出結(jié)果之后，我們也可以利用可視化技術(shù)把最終的結(jié)果以各種表格或各種圖形呈現(xiàn)出來。

所以，這本教材的基本主線是，首先通過討論智能爬蟲來達(dá)到收集數(shù)據(jù)并根據(jù)類型進(jìn)行處理后再存儲到數(shù)據(jù)文件或數(shù)據(jù)庫中。利用Numpy庫或Pandas庫進(jìn)行數(shù)據(jù)基本處理后，再利用數(shù)據(jù)挖掘模型對數(shù)據(jù)進(jìn)行訓(xùn)練并獲得模型輸出的結(jié)果，最后利用可視化技術(shù)展現(xiàn)結(jié)果供決策使用。

我們知道，近些年來，隨著各種數(shù)據(jù)量的快速增長，傳統(tǒng)數(shù)據(jù)處理和分析方法顯得比較落后。而在財(cái)經(jīng)和人文學(xué)科中，傳統(tǒng)數(shù)據(jù)處理課程仍是主流，我們編寫這本教材的主要意圖是為工商管理、會計(jì)、金融、人力資源和社會保障專業(yè)的大專、本科和研究生提供基于大數(shù)據(jù)下的智能分析工具。通過學(xué)習(xí)，這些專業(yè)的學(xué)生將能夠掌握如何從網(wǎng)絡(luò)中獲取、存儲、分析數(shù)據(jù)并顯現(xiàn)分析結(jié)果。比如，金融專業(yè)學(xué)生可以從網(wǎng)上快速獲取股票交易的實(shí)時(shí)或歷史數(shù)據(jù)來進(jìn)行分析，會計(jì)專業(yè)學(xué)生可從網(wǎng)上獲取上市公司年報(bào)數(shù)據(jù)進(jìn)行分析。

文科學(xué)生害怕計(jì)算機(jī)編程，在這本書中，我們使用Python語言的文本特性來實(shí)現(xiàn)數(shù)據(jù)提取、數(shù)據(jù)存儲、數(shù)據(jù)分析和數(shù)據(jù)的可視化應(yīng)用，目的在于降低文科學(xué)生的學(xué)習(xí)門檻并為解決問題提供詳細(xì)的方法。本書中的所有Python源代碼都可用文本格式直接打開，具有非常好的可讀性，代碼可以在Python的人機(jī)對話環(huán)境中運(yùn)行，也可以在Jupyter或其他環(huán)境中運(yùn)行。

在本教材的寫作過程中，筆者獲得了首都經(jīng)濟(jì)貿(mào)易大學(xué)管理工程學(xué)院量化金融中心教師和研究生的支持，筆者在此對他們表示感謝。本書中的大部分例子和Python機(jī)器學(xué)習(xí)算法案例來自中心的研發(fā)結(jié)果。