前 言


搜索引擎本身作為一門綜合性的互聯(lián)網(wǎng)技術(shù)，在行業(yè)中一直具備較高的關(guān)注度。隨著最近幾年大數(shù)據(jù)的發(fā)展，搜索引擎的關(guān)注度越來越高，原因在于搜索引擎技術(shù)是大數(shù)據(jù)應(yīng)用最前線的領(lǐng)域，也是最容易產(chǎn)生價(jià)值的大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算都是從搜索引擎中衍生出的新領(lǐng)域。目前搜索引擎技術(shù)的發(fā)展不僅以大數(shù)據(jù)為基礎(chǔ)，還利用分布式實(shí)時(shí)計(jì)算對(duì)數(shù)據(jù)進(jìn)行高性能處理，以及利用機(jī)器學(xué)習(xí)將數(shù)據(jù)變得更具價(jià)值。在行業(yè)中吸引了包括搜索研發(fā)工程師、算法研發(fā)工程師、大數(shù)據(jù)分析工程師、自然語言處理工程師、計(jì)算平臺(tái)架構(gòu)師、數(shù)據(jù)挖掘工程師等行業(yè)各類精英的關(guān)注，這些工程師占據(jù)了整個(gè)互聯(lián)網(wǎng)研發(fā)體系的50%～60%，在BAT中，甚至超過60%的是研發(fā)人員。


這類群體薪資水平處于互聯(lián)網(wǎng)研發(fā)人員中較高水平，以獵聘網(wǎng)公布的數(shù)據(jù)顯示，北京地區(qū)搜索引擎研發(fā)工程師年薪為35萬～60萬元，大數(shù)據(jù)工程師年薪為20萬～25萬元，大數(shù)據(jù)架構(gòu)師年薪為40萬～70萬元，等等。也正是由于薪資水平處于較高位，很多互聯(lián)網(wǎng)相關(guān)從業(yè)者也積極關(guān)注大數(shù)據(jù)搜索引擎領(lǐng)域動(dòng)態(tài)。


本書通過介紹大數(shù)據(jù)下的自然語言處理框架、大數(shù)據(jù)存儲(chǔ)引擎、搜索引擎的分布式實(shí)時(shí)計(jì)算、高性能可擴(kuò)展爬蟲，以及利用大數(shù)據(jù)構(gòu)建知識(shí)圖譜、基于大數(shù)據(jù)日志的搜索引擎反饋學(xué)習(xí)等相關(guān)信息，不僅使讀者對(duì)當(dāng)代搜索引擎研發(fā)體系有一定的認(rèn)識(shí)，還可以使讀者在搜索引擎領(lǐng)域及大數(shù)據(jù)領(lǐng)域進(jìn)行深入思考。


本書特色


本書以當(dāng)前搜索引擎主流技術(shù)為基礎(chǔ)，密切結(jié)合前沿技術(shù)發(fā)展趨勢，行文通俗易懂，由初步的原理性了解到各模塊應(yīng)用示例，并結(jié)合分布式存儲(chǔ)、實(shí)時(shí)計(jì)算等，向讀者提供了一套完整的大數(shù)據(jù)時(shí)代背景下人工智能搜索引擎的解決方案。


（1）內(nèi)容循序漸進(jìn)、行文有條有序地介紹搜索引擎知識(shí)。


本書充分考慮了不同層次的讀者對(duì)搜索引擎的理解程度，因此本書由簡入深、獨(dú)特的技術(shù)寫作視角符合廣大讀者對(duì)于技術(shù)類讀物的理解需求，使得讀者能夠在掌握搜索引擎基礎(chǔ)的情況下，不斷按照搜索引擎的設(shè)計(jì)深入理解。


（2）技術(shù)前瞻性強(qiáng)，注重最新主流技術(shù)在現(xiàn)代搜索引擎中的應(yīng)用。


本書充分利用了最新技術(shù)發(fā)展的應(yīng)用成果，在自然語言處理的基礎(chǔ)上不僅結(jié)合大數(shù)據(jù)分析，還包括分布式計(jì)算、機(jī)器學(xué)習(xí)、知識(shí)圖譜等當(dāng)前大數(shù)據(jù)應(yīng)用與分析處理的主流技術(shù)，摒棄了傳統(tǒng)過時(shí)的研發(fā)體系及算法。本書中相關(guān)研發(fā)成果在當(dāng)前甚至在未來3～5年，都具有實(shí)際意義。


（3）將技術(shù)理論與應(yīng)用范例結(jié)合，具備較高的商業(yè)實(shí)用價(jià)值。


本書內(nèi)容緊密結(jié)合當(dāng)前一線工程師工作研究成果，將眾多的技術(shù)理論以實(shí)際工作經(jīng)驗(yàn)的方式展示應(yīng)用效果。本書介紹的內(nèi)容也廣泛結(jié)合工作中的應(yīng)用示例，并以搜索引擎工程實(shí)踐的脈絡(luò)流程介紹技術(shù)要點(diǎn)，使讀者在短時(shí)間內(nèi)能夠掌握當(dāng)前搜索引擎研發(fā)的技術(shù)理論。


本書結(jié)構(gòu)


本書按照由淺入深、循序漸進(jìn)的順序?qū)ΜF(xiàn)代搜索引擎原理和實(shí)現(xiàn)進(jìn)行介紹。全書分為10章，各章的主要內(nèi)容如下。


第1章針對(duì)搜索引擎發(fā)展的過去、現(xiàn)在、未來的相關(guān)概要介紹，以及現(xiàn)代搜索引擎與大數(shù)據(jù)、人工智能的相互關(guān)系，使廣大讀者能夠在了解現(xiàn)代搜索引擎的背景之下，去了解本書的后續(xù)內(nèi)容。


第2章是對(duì)搜索引擎原理與技術(shù)的初步分析，從模塊方面大致介紹爬蟲、索引、緩存等；從技術(shù)方面大致介紹自然語言處理、知識(shí)圖譜技術(shù)、海量數(shù)據(jù)存儲(chǔ)、分布式計(jì)算等。目的是使得讀者對(duì)搜索引擎的體系結(jié)構(gòu)、部分技術(shù)有一定認(rèn)識(shí)，便于讀者深入了解后續(xù)章節(jié)。


第3章從自然語言角度開始深入分析原理和實(shí)現(xiàn)，自然語言是搜索引擎進(jìn)行文本處理的基礎(chǔ)，其中包括分詞、詞性分析、語義分析、關(guān)鍵詞抽取、核心句抽取、聚類分類等。讀者將會(huì)從本章中獲得當(dāng)前主流的自然語言處理技術(shù)相關(guān)知識(shí)。


第4章主要是針對(duì)大數(shù)據(jù)存儲(chǔ)引擎的介紹。大數(shù)據(jù)存儲(chǔ)是搜索引擎最先遇到的問題，解決數(shù)據(jù)存儲(chǔ)問題可以使搜索引擎在數(shù)據(jù)分析、索引構(gòu)建、知識(shí)圖譜等工作持續(xù)進(jìn)行。讀者在本章會(huì)了解到大數(shù)據(jù)存儲(chǔ)引擎的架構(gòu)體系、數(shù)據(jù)模型、數(shù)據(jù)壓縮、負(fù)載均衡等。


第5章介紹了分布式實(shí)時(shí)計(jì)算。由于搜索引擎處理的是海量數(shù)據(jù)，數(shù)據(jù)分析必須依靠具有較強(qiáng)數(shù)據(jù)處理能力的計(jì)算平臺(tái)，因此搜索引擎通過分布式實(shí)時(shí)計(jì)算去處理大數(shù)據(jù)并在盡可能短的時(shí)間內(nèi)返回處理結(jié)果。本章中，讀者會(huì)了解到分布式實(shí)時(shí)計(jì)算設(shè)計(jì)架構(gòu)、負(fù)載均衡及通信設(shè)計(jì)等相關(guān)知識(shí)。


第6章對(duì)爬蟲進(jìn)行了深入分析。讀者在本章中將會(huì)深入理解分布式可擴(kuò)展爬蟲的體系架構(gòu)，以及對(duì)網(wǎng)頁如何進(jìn)行解析，并抽取出結(jié)構(gòu)化的數(shù)據(jù)信息。本章還涉及鏈接去重、網(wǎng)頁去重、廣告識(shí)別等相關(guān)算法原理。


第7章詳細(xì)介紹了知識(shí)圖譜構(gòu)建。知識(shí)圖譜是智能化搜索引擎重要的組成部分，利用大數(shù)據(jù)分析構(gòu)建出較為合理的知識(shí)圖譜信息是當(dāng)前主流的方式。讀者將會(huì)從本章中深入了解到知識(shí)圖譜的詳細(xì)構(gòu)建過程，以及利用機(jī)器學(xué)習(xí)原理對(duì)知識(shí)圖譜中的實(shí)體抽取、關(guān)系抽取等相關(guān)技術(shù)進(jìn)行。


第8章詳細(xì)分析了索引構(gòu)建機(jī)制。索引的設(shè)計(jì)與構(gòu)造是搜索引擎能夠進(jìn)行快速檢索的核心要件，主要針對(duì)文件檢索的倒排索引與用于智能提示的字典樹索引。本章不僅對(duì)倒排索引做了深入分析，對(duì)倒排索引的壓縮、分布式存儲(chǔ)等也做了詳細(xì)介紹。


第9章深入分析了搜索引擎的整個(gè)對(duì)外服務(wù)工作流程。包括大數(shù)據(jù)分布式緩存、搜索智能提示、個(gè)性化搜索、圖片搜索、搜索與廣告等。讀者通過本章可以詳細(xì)了解到文本糾錯(cuò)算法、動(dòng)態(tài)摘要算法、網(wǎng)頁排序算法及搜索引擎的評(píng)價(jià)


體系。


第10章探討和分析了搜索引擎日志與搜索引擎本身的關(guān)系。搜索引擎日志記錄了用戶與搜索系統(tǒng)交互的整個(gè)流程。通過日志挖掘，不僅可以發(fā)現(xiàn)用戶的自有特征和行為規(guī)律，還可以有效地幫助搜索引擎提升性能和效果。日志作為搜索引擎的核心數(shù)據(jù)之一，一直使搜索引擎技術(shù)中的各類算法不斷向前發(fā)展。讀者通過本章將學(xué)會(huì)通過搜索引擎日志分析用戶特征、用戶的部分搜索意圖等相關(guān)知識(shí)。


讀者對(duì)象


適合對(duì)自然語言處理及機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域有興趣的讀者。


適合對(duì)現(xiàn)代搜索引擎相關(guān)算法有興趣的讀者。


適合對(duì)大數(shù)據(jù)分析、數(shù)據(jù)挖掘應(yīng)用有興趣的讀者。


適合互聯(lián)網(wǎng)行業(yè)的不同層次從業(yè)者。


適合從事搜索引擎優(yōu)化的網(wǎng)絡(luò)營銷讀者。


適合高校中學(xué)習(xí)計(jì)算機(jī)、軟件工程等相關(guān)專業(yè)的讀者。






收起全部↑