在線視頻技術(shù)可以算作較為專業(yè)的領(lǐng)域，本書重在給出技術(shù)的線索、問題背景、認(rèn)知脈絡(luò)以及技術(shù)之間的聯(lián)系，而非描述每一技術(shù)的細(xì)節(jié)，旨在幫助視頻公司的技術(shù)人員構(gòu)建包括音視頻技術(shù)和各類通用技術(shù)在內(nèi)的，較為完整的技術(shù)圖景。
本書前半部分著重介紹在線視頻行業(yè)的基礎(chǔ)——音視頻技術(shù)，從行業(yè)的歷史、文件格式、標(biāo)準(zhǔn)組織開始，依次介紹了音視頻技術(shù)的框架、編碼、流媒體、播放等知識(shí)，并討論了最近幾年一流視頻公司所關(guān)注的許多前沿技術(shù)。后半部分逐一談及技術(shù)體系中的其他重要環(huán)節(jié)和它們?cè)谝曨l服務(wù)中的應(yīng)用，包括服務(wù)與數(shù)據(jù)、算法、推薦與廣告、整體架構(gòu)，乃至技術(shù)團(tuán)隊(duì)建設(shè)等話題。
本書適合已具備基本研發(fā)技能的工程師、項(xiàng)目經(jīng)理等讀者閱讀。希望通過本書可以幫助讀者快速建立在線視頻領(lǐng)域內(nèi)所需的知識(shí)體系，進(jìn)一步拓展眼界，上升到新的高度。
1.作者是Hulu資深工程師。Hulu是一家全面算法化的視頻網(wǎng)站，在編碼、流媒體、數(shù)據(jù)中心、大數(shù)據(jù)、推薦以及廣告等方面都走在業(yè)界前列。
2.系統(tǒng)全面。全面了解在線視頻技術(shù)，解讀最新技術(shù)，搭建技術(shù)體系架構(gòu)。
曉成，先后供職于摩托羅拉、微軟、RealNetworks等知名企業(yè)，現(xiàn)任Hulu首席架構(gòu)師，負(fù)責(zé)音視頻相關(guān)的鏈路設(shè)計(jì)、數(shù)據(jù)服務(wù)設(shè)計(jì)、人工智能算法與平臺(tái)設(shè)計(jì)等工作。
作者在工程研發(fā)上有近二十年經(jīng)歷，其中超過十三年的音視頻經(jīng)驗(yàn)，在職業(yè)生涯中參與并主導(dǎo)過多個(gè)具有世界級(jí)影響的音視頻產(chǎn)品或服務(wù)，亦曾領(lǐng)導(dǎo)過服務(wù)數(shù)億用戶的開源軟件社區(qū)，近年來注重與人工智能相關(guān)的設(shè)計(jì)與應(yīng)用，于理念上追求技術(shù)深度和梯隊(duì)培養(yǎng)，所帶出的工程師中當(dāng)前已有多人在一二線互聯(lián)網(wǎng)公司，軟件公司擔(dān)任音視頻或人工智能等團(tuán)隊(duì)核心甚至負(fù)責(zé)人。
第 1章 在線視頻行業(yè) 1
1.1 概述 1
1.2 視頻技術(shù)：歷史 6
技術(shù)與產(chǎn)品驅(qū)動(dòng) 6
服務(wù)構(gòu)建生活 12
中國(guó)引領(lǐng)創(chuàng)新 19
形形色色的玩家 23
1.3 常見文件與編碼格式 27
上古時(shí)代 28
“現(xiàn)代”格式 33
獨(dú)樹一幟 41
1.4 “幕后黑手”：標(biāo)準(zhǔn)組織 43
ISO/IEC MPEG 43
ITU-T VCEG 44
IETF和RFC 45
DASH-IF 46
小結(jié) 47
第 2章 音視頻技術(shù)：框架 50
2.1 太祖長(zhǎng)拳和岳家散手：DIRECTSHOW和MEDIAFOUNDATION 50
GraphEdit，DirectShow架構(gòu)和常見應(yīng)用的流程 52
應(yīng)用和組件開發(fā) 56
MediaFoundation 58
2.2 全真武功：HELIX 60
產(chǎn)品系列 60
設(shè)計(jì)架構(gòu) 63
特色技術(shù) 64
2.3 九陰真經(jīng)：FFMPEG 67
編譯與安裝 68
FFMpeg工具使用 69
運(yùn)用FFMpeg進(jìn)行開發(fā) 73
2.4 小無相功：GSTREAMER 74
Gstreamer架構(gòu)體系 75
Gstreamer的安裝與工具使用 78
應(yīng)用開發(fā) 81
插件開發(fā) 82
2.5 圓月彎刀：VIDEOLAN 84
附：x264和x265 87
2.6 倚天劍、屠龍刀：ANDROID MEDIA和AVFOUNDATION 88
Android Media 89
AVFoundation 93
第3章 音視頻技術(shù)：編碼 95
3.1 編碼技術(shù)概述 95
視頻編碼面臨的問題 95
視頻編碼的思路 99
視頻編碼的發(fā)展 105
音頻編碼 107
3.2 從圖像壓縮開始 108
如何表征圖像 109
那種格式更好？ 111
直接應(yīng)用 116
3.3 一統(tǒng)江湖：H.264/AVC 117
編碼架構(gòu)和主要技術(shù) 118
網(wǎng)絡(luò)封裝 122
出色的實(shí)現(xiàn)：x264 124
3.4 全面進(jìn)化：HEVC/H.265 127
3.5 更高、更快與更強(qiáng)：VP9、AV1與H.266 134
另辟蹊徑：VP9 134
最強(qiáng)編碼：AV1 136
暢想未來：H.266 140
3.6 賞善罰惡：編碼質(zhì)量評(píng)估 142
3.7 難尋敵手：AAC/HE-AAC 149
層層遞進(jìn)的編碼配置 149
多樣化的封裝 151
競(jìng)爭(zhēng)對(duì)手 154
第4章 音視頻技術(shù)：流媒體 156
4.1 流媒體技術(shù)綜述 156
4.2 不停歇的列車：MPEG2-TS 165
MPEG-TS協(xié)議 165
MPEG-TS的應(yīng)用 169
4.3 雙向多車道：RTSP協(xié)議 171
RTSP協(xié)議 171
RTP、RTCP與SDP 174
4.4 高速鐵路：RTMP協(xié)議 177
RTMP協(xié)議 178
RTMP的應(yīng)用 181
4.5 快遞物流：HLS、HDS與SMOOTH STREAMING協(xié)議 183
HLS協(xié)議 183
HDS與Smooth Streaming 189
4.6 菜鳥網(wǎng)絡(luò)：MPEG-DASH 192
MPEG-DASH協(xié)議 194
協(xié)議應(yīng)用 202
4.7 物流中心：流媒體服務(wù)器 205
流媒體服務(wù)器的功能與挑戰(zhàn) 206
高性能服務(wù)器技術(shù) 212
4.8 物流服務(wù)：CDN 220
CDN的基本技術(shù) 221
發(fā)展趨勢(shì) 227
4.9 P2P：小農(nóng)經(jīng)濟(jì)還是共享經(jīng)濟(jì)？ 228
P2P的基本技術(shù) 228
流媒體服務(wù)的P2P需求與挑戰(zhàn) 230
第5章 音視頻技術(shù)：播放 235
5.1 視頻領(lǐng)域的大保鏢：DRM 235
加密技術(shù) 236
DRM原理與應(yīng)用 238
5.2 新世界的窗口：字幕 245
字幕的格式 246
字幕服務(wù)的設(shè)計(jì) 252
5.3 播放器技術(shù)：鳴鑼、開戲！ 253
播放器開發(fā) 253
廣泛使用的播放器技術(shù) 258
5.4 播放的關(guān)鍵指標(biāo)：QOS 260
QOS的常用指標(biāo) 261
如何提升QOS 265
第6章 音視頻技術(shù)：前沿 268
6.1 新標(biāo)準(zhǔn)、新技術(shù)——見兔而顧犬，未為晚也 268
10Bit視頻 268
HDR 269
全景視頻 273
點(diǎn)云與光場(chǎng) 277
6.2 編碼技術(shù)評(píng)價(jià)——工以利器為助，人以賢友為助 278
PSNR和SSIM的優(yōu)劣 279
VMAF 281
碼率控制、編解碼速度與測(cè)量技術(shù) 283
6.3 編碼技術(shù)優(yōu)化——志以成學(xué)，學(xué)以廣才 288
編碼器的優(yōu)化使用 288
編碼器改進(jìn) 293
并行轉(zhuǎn)碼 295
6.4 流媒體技術(shù)優(yōu)化——千人千面 297
下載策略優(yōu)化 297
協(xié)議與架構(gòu)優(yōu)化 301
6.5 編碼與分發(fā)，QOS與QOE——不謀全局者，不足謀一城 305
編碼與分發(fā) 306
從QOS到QOE 312
6.6 使用圖像處理技術(shù)——君子善假于物 314
圖像處理 314
QC與內(nèi)容審查 320
第7章 通用技術(shù)：服務(wù)與數(shù)據(jù) 324
7.1 服務(wù)器、虛擬化和云服務(wù)：用鳥槍還是排炮？ 324
服務(wù)器與數(shù)據(jù)中心 324
虛擬化、容器化 328
使用公有云服務(wù) 333
7.2 數(shù)據(jù)庫與緩存技術(shù)：巧婦須為有米之炊 336
追本溯源：什么是數(shù)據(jù)庫 336
數(shù)據(jù)庫的常規(guī)使用 339
一個(gè)打十個(gè)的秘笈：使用緩存 342
7.3 大數(shù)據(jù)技術(shù)：征途是星辰大海 347
大數(shù)據(jù)的緣起 347
大數(shù)據(jù)體系的常見方案 352
大數(shù)據(jù)領(lǐng)域的發(fā)展和應(yīng)用 360
7.4 搜索技術(shù)：空氣和水 363
搜索引擎原理 364
在線視頻服務(wù)中的搜索 368
7.5 用戶畫像：知己知彼，百戰(zhàn)不殆 372
概念與來源 373
表達(dá)與生成 377
如何搭建用戶畫像體系 380
7.6 數(shù)據(jù)分析：我思故我在 383
什么是數(shù)據(jù)分析 384
數(shù)據(jù)分析方法 385
數(shù)據(jù)分析的應(yīng)用 390
第8章 通用技術(shù)：算法 392
8.1 降維攻擊：機(jī)器學(xué)習(xí) 392
常見的算法和研究分支 393
機(jī)器學(xué)習(xí)應(yīng)用 401
8.2 點(diǎn)石成金：深度學(xué)習(xí) 405
常見的算法和研究分支 406
深度學(xué)習(xí)應(yīng)用 414
8.3 搭建溝通的橋梁：自然語言處理 416
常見的問題和算法 416
自然語言處理的應(yīng)用 421
8.4 百聞不如一見：計(jì)算機(jī)視覺技術(shù) 428
常見的問題和算法 428
計(jì)算機(jī)視覺的應(yīng)用 435
8.5 壘土為臺(tái)：視頻理解 436
面臨的問題和解法 437
視頻理解應(yīng)用 440
視頻理解系統(tǒng)設(shè)計(jì) 444
第9章 通用技術(shù)：推薦與廣告 449
9.1 推薦技術(shù)：天眼窺紅塵 449
傳統(tǒng)推薦技術(shù)：協(xié)同過濾 450
第二代技術(shù)：矩陣分解 454
推薦效果評(píng)估 457
第三代技術(shù)：基于深度學(xué)習(xí)的推薦 460
不同的推薦場(chǎng)景 462
構(gòu)建推薦系統(tǒng) 468
9.2 在線視頻服務(wù)中的推薦 471
在線視頻服務(wù)的推薦體系 471
Netflix和Youtube的推薦系統(tǒng) 476
他山之石，可以攻玉 482
9.3 在線廣告技術(shù)：身是眼中人 484
在線廣告的分類和指標(biāo) 485
在線廣告的價(jià)值鏈條 488
在線廣告的關(guān)鍵技術(shù) 493
9.4 在線視頻廣告 497
視頻廣告的常見形式 498
視頻廣告的相關(guān)技術(shù)和標(biāo)準(zhǔn) 499
視頻廣告的后臺(tái)架構(gòu) 504
第 10章 視頻公司技術(shù)體系 508
10.1 音視頻方案設(shè)計(jì)：確立建隊(duì)基石 508
選擇方案的原則 508
服務(wù)設(shè)計(jì)的挑戰(zhàn) 511
直播架構(gòu)設(shè)計(jì) 514
CDN方案選擇 516
10.2 人工智能體系：打造明星箭頭 519
人工智能平臺(tái) 520
平臺(tái)的主要服務(wù)組件 523
大規(guī)模人工智能的挑戰(zhàn) 527
10.3 社交網(wǎng)絡(luò)與內(nèi)容獲�。鹤笥易o(hù)法 531
社交網(wǎng)絡(luò) 531
內(nèi)容獲取 537
10.4 視頻服務(wù)設(shè)計(jì)：廟算而勝 540
點(diǎn)播服務(wù)流程 541
高水平服務(wù) 543
微服務(wù) 546
完整的服務(wù)體系視圖 552
10.5 研發(fā)體系：一切歸因到“人” 554
服務(wù)設(shè)計(jì)與研發(fā)體系 555
技術(shù)規(guī)范 557
服務(wù)質(zhì)量體系 558
安全體系 562
創(chuàng)新 563
第 11章 在線視頻的未來 565
在線視頻的未來 565
書單推薦
