總序
前言
主要符號(hào)表
第一部分　馬氏決策過(guò)程與攝動(dòng)
第1章　緒論
1.1　序列決策模型
1.2　馬氏決策過(guò)程的例子
1.3　馬氏決策過(guò)程的定義與記號(hào)
1.3.1　決策時(shí)刻與周期
1.3.2　狀態(tài)與行動(dòng)集
1.3.3　轉(zhuǎn)移概率和報(bào)酬
1.3.4　歷史、決策規(guī)則與策略
1.3.5　誘導(dǎo)過(guò)程、效用準(zhǔn)則與馬氏策略優(yōu)勢(shì)
1.4　馬氏決策過(guò)程的起源和發(fā)展
第2章　有限階段模型
2.1　最優(yōu)準(zhǔn)則
2.2　有限階段的策略迭代和最優(yōu)方程
2.3　最優(yōu)策略的存在性和算法
2.4　最優(yōu)策略的結(jié)構(gòu)
2.5　單調(diào)策略的最優(yōu)性
第3章　無(wú)限階段折扣模型
3.1　最優(yōu)準(zhǔn)則
3.2　最優(yōu)方程
3.3　最優(yōu)策略的存在性
3.4　策略迭代算法
3.5　值迭代算法
3.6　改進(jìn)的策略迭代算法
3.7　線性規(guī)劃算法
3.8　最優(yōu)單調(diào)策略
3.9　最優(yōu)策略的結(jié)構(gòu)
第4章　無(wú)限階段平均模型
4.1　最優(yōu)準(zhǔn)則
4.2　最優(yōu)平穩(wěn)策略的存在性
4.3　平穩(wěn)策略的一些特征
4.4　最優(yōu)方程與策略迭代算法
4.5　單鏈的線性規(guī)劃與相關(guān)問(wèn)題
4.5.1　極限平均頻率
4.5.2　帶約束模型問(wèn)題
4.5.3　方差問(wèn)題
4.6　多鏈的線性規(guī)劃與相關(guān)問(wèn)題
4.6.1　對(duì)偶可行解與隨機(jī)平穩(wěn)策略
4.6.2　基本可行解與確定性決策規(guī)則
4.6.3　最優(yōu)解與最優(yōu)策略
4.7　平均準(zhǔn)則下的Bellman最優(yōu)原則
第5章　攝動(dòng)MDP
5.1　預(yù)備知識(shí)
5.2　一些基本記號(hào)和定義
5.3　攝動(dòng)平均問(wèn)題的漸進(jìn)性和極限控制原則
5.4　折扣準(zhǔn)則的攝動(dòng)問(wèn)題
5.5　一般的攝動(dòng)
5.6　單攝動(dòng)極限平均MDP的算法
5.6.1　假設(shè)與漸進(jìn)性質(zhì)
5.6.2　數(shù)學(xué)規(guī)劃和極限馬爾可夫決策問(wèn)題
5.6.3　聚合一分解算法
5.7　進(jìn)一步的研究進(jìn)展
5.7.1　折扣權(quán)重?cái)z動(dòng)模型
5.7.2　折扣平均權(quán)重?cái)z動(dòng)問(wèn)題
第二部分　攝動(dòng)MDP與哈密爾頓圈
第6章　HC與MDP
6.1　哈密爾頓圈問(wèn)題
6.2　有向圖到MDP的嵌入
6.3　平穩(wěn)策略的分類
6.4　約束折扣MDP與HC
6.5　約束折扣MDP的求解
6.6　HC與TSP
第7章　HCP嵌入MDP的攝動(dòng)
7.1　轉(zhuǎn)移概率的攝動(dòng)
7.1.1　轉(zhuǎn)移概率的對(duì)稱線性攝動(dòng)
7.1.2　轉(zhuǎn)移概率的非對(duì)稱線性攝動(dòng)
7.1.3　轉(zhuǎn)移概率的非對(duì)稱二次攝動(dòng)
7.2　攝動(dòng)下子圖的穩(wěn)態(tài)分布
7.3　非對(duì)稱線性攝動(dòng)下的幾個(gè)例子
7.4　非對(duì)稱線性攝動(dòng)下HC的性質(zhì)
7.5　更為精細(xì)的分析
7.6　開(kāi)問(wèn)題和有關(guān)猜想
第8章　頻率空間上的分析
8.1　長(zhǎng)期平均MDP頻率空間中的HCP
8.2　二次非對(duì)稱攝動(dòng)與新目標(biāo)函數(shù)
8.3　啟發(fā)式內(nèi)點(diǎn)算法
8.3.1　內(nèi)點(diǎn)算法簡(jiǎn)介
8.3.2　關(guān)于（QP）求解的啟發(fā)式算法
8.3.3　數(shù)值計(jì)算例子
8.4　一些開(kāi)問(wèn)題及其他
第9章　雙隨機(jī)攝動(dòng)與HC
9.1　基本矩陣
9.2　再談雙隨機(jī)攝動(dòng)
9.3　漸進(jìn)表達(dá)式
9.4　優(yōu)化問(wèn)題與HC的全局最優(yōu)性
9.4.1　非線性規(guī)劃問(wèn)題
9.4.2　方向?qū)��?shù)
9.4.3　HC既是局部也是全局最小
9.5　哈密爾頓間隙
9.6　對(duì)稱雙隨機(jī)矩陣的探討
9.7　混合時(shí)間及其變化的最小化
9.7.1　從不可約鏈到一般的情形
9.7.2　跡與對(duì)角線上的元素
9.7.3　攝動(dòng)帶來(lái)的好處
9.7.4　帶有對(duì)稱線性攝動(dòng)的雙隨機(jī)矩陣
第10章　將來(lái)的研究方向和結(jié)束語(yǔ)
10.1　將來(lái)的研究方向
10.2　結(jié)束語(yǔ)
參考文獻(xiàn)
索引