《普通高等教育"十二五"規(guī)劃教材:線性代數(shù)(理工類)》主要討論了矩陣理論相關知識、特征值與奇異值分析、主成分分析及神經網絡分析方法、次成分分析及神經網絡分析方法、子空間跟蹤及神經網絡分析方法、總體最小二乘方法、特征提取方法應用等。全書內容新穎，不但包含信息特征提取與優(yōu)化的若干方法，而且對這些迭代方法的神經網絡算法的性能分析方法也進行了較為詳細的分析，反映了國內外信息處理和神經網絡領域在該方向上研究和應用的最新進展。
《普通高等教育"十二五"規(guī)劃教材:線性代數(shù)(理工類)》適合作為電子、通信、自動控制、計算機、系統(tǒng)工程、模式識別和信號處理等信息科學與技術學科高年級本科生和研究生教材，也可供相關專業(yè)研究人員和工程技術人員參考。
更多科學出版社服務，請掃碼獲取。
張曙翔主編的《線性代數(shù)(理工類)》是為綜合性大學及師范院校理工類非數(shù)學各專業(yè)編寫的。全書內容精煉，重點突出、講解詳實、例題豐富，敘述注重直觀、通俗易懂，在注重強化基礎知識及其訓練的基礎上，適當降低理論推導，盡可能地突出數(shù)學的思想方法，做到了深入淺出。教材內容包括：矩陣、可逆矩陣及矩陣的秩、線性方程組與向量組的線性相關性、特征值與特征向量、線性空間與線性變換、二次型。
目錄
序言
前言
第1章 矩陣 1
1.1 矩陣的概念 1
1.2 矩陣的運算 3
1.3 幾種特殊矩陣 9
1.4 分塊矩陣 11
1.5 方陣的行列式 17
習題 34
第1章自檢題(A) 35
第1章自檢題(B) 36
第2章 可逆矩陣及矩陣的秩 38
2.1 矩陣的初等變換 38
2.2 可逆矩陣的概念與性質 46
2.3 方陣可逆的充要條件與逆矩陣的計算 49
2.4 矩陣的秩 56
習題二 62
第2章白檢題(A) 63
第2章自檢題(B) 64
第3章 線性方程組與向量組的線性相關性 66
3.1 線性方程組的概念與克拉默法則 66
3.2 矩陣消元法與線性方程解的判別定理 71
3.3 粗維向量及其線性運算 80
3.4 向量組的線性相關性 83
3.5 向量組的秩矩陣的行秩和列秩 91
3.6 線性方程組解的結構 97
習題三 104
第3章自檢題(A) 106
第3章自檢題(B) 109
第4章 特征值與特征向量 111
4.1 方陣的特征值與特征向量 111
4.2 相似矩陣與方陣的對角化 119
4.3 正交矩陣 125
4.4 實對稱矩陣的對角化 130
習題四 133
第4章自檢題(A) 134
第4章白檢題(B) 136
第5章 線性空間與線性變換 137
5.1 線性空間及其子空間 137
5.2 基、維數(shù)與坐標 141
5.3 基變換與坐標變換 147
5.4 線性變換與其對應的矩陣 151
習題五 162
第5章白檢題(A) 163
第5章自檢題(B) 164
第6章 二次型 165
6.1 二次型與線性變換 165
6.2 二次型的標準形 168
6.3 二次型的規(guī)范形與慣性定理 173
6.4 正定二次型 176
習題六 181
第6章自檢題(A) 182
第6章白檢題(B) 183
習題參考答案 185
第1章習題答案 185
第2章習題答案 187
第3章習題答案 189
第4章習題答案 194
第5章習題答案 197
第6章習題答案 200
參考文獻 204
第一章 緒論
1.1 特征信息提取
復雜系統(tǒng)輸出信號中包含著豐富的反映系統(tǒng)本質屬性的特征信息，如何描述并提取這些特征信息，進一步如何應用這些特征信息？這些問題引起了信息領域學者的廣泛關注，新技術、新算法不斷出現(xiàn)，形成了信號處理、數(shù)據(jù)分析和神經網絡領域非�；钴S的研究熱點。經過這些年的發(fā)展，特征信息提取技術形成了主成分分析、次成分分析、子空間跟蹤和獨立成分分析等不同的研究方向，這幾個研究方向之間既有聯(lián)系，又有相對的獨立性。
1.1.1 主/次成分分析與子空間跟蹤
主成分（principalcomponent，PC）是指信號有最大偏差的方向，只利用數(shù)據(jù)向量的K個主分量進行的數(shù)據(jù)或者信號分析稱為主成分分析（principalcomponentanalysis，PCA）。次成分（minorcomponent，MC）是指信號有最小偏差的方向，基于次成分的信號分析、系統(tǒng)分析或者模式分析則統(tǒng)稱為次成分分析（minorcomponentanalysis，MCA）。主成分分析在數(shù)據(jù)或圖像壓縮、多重信號分類、波達方向估計、通信技術等領域得到廣泛應用，而次成分分析也已經應用在總體最小二乘（totalleastsquare，TLS）、運動目標識別、曲線與曲面匹配、數(shù)字成形束、頻域估計和故障診斷等領域。通常主/次成分分析都是單維的，而實際中主成分或次成分以多維為主。與數(shù)據(jù)向量的自相關矩陣r個最小特征值對應的特征向量被稱為次成分。與數(shù)據(jù)向量的自相關矩陣的r個最大特征值對應的特征向量被稱為主成分，這里r是主成分或次成分的個數(shù)。在一些實際應用中，有時并非要得到多個主成分或者次成分，而只要求跟蹤由特征成分張成的子空間。這里將主成分張成的子空間稱為主子空間（principalsubspace，PS），而將由次成分張成的子空間稱為次子空間（minorsubspace，MS）。一個對稱矩陣的主成分和次成分分析器可以分別收斂到主成分和次成分。類似地，一個對稱矩陣的主子空間和次子空間分析器可以分別收斂到一個主子空間和次子空間。主子空間是由一個高維向量序列的自相關矩陣的主特征值相關的所有特征向量張成的一個子空間，而與該高維向量序列的自相關矩陣的次特征值相關的所有特征向量所張成而形成的子空間被稱為次子空間。主子空間有時也稱為信號子空間，而次子空間也稱為噪聲子空間。主子空間分析（principalsubspaceanalysis，PSA）為許多信息處理領域，如特征提取和數(shù)據(jù)壓縮等提供了有效的方法。在許多實時信號處理領域，如自適應方向波達方向估計、自適應信號處理中的總體最小二乘的自適應解、曲線與曲面匹配等應用中，次子空間分析（minorsubspaceanalysis，MSA）是一個主要的需求。
通過數(shù)學分析，可以得出結論：所謂數(shù)據(jù)的主成分就是數(shù)據(jù)向量自相關矩陣的最大特征值所對應的特征向量，而數(shù)據(jù)的次成分是數(shù)據(jù)向量自相關矩陣的最小特征值所對應的特征向量。這樣通過數(shù)學上相關矩陣特征值處理或數(shù)據(jù)矩陣奇異值處理可以得到主成分或次成分。相關矩陣特征值或數(shù)據(jù)矩陣奇異值處理的方法是基于數(shù)據(jù)的集中處理，本質上是一種批處理算法，無法實時應用，而且對于維數(shù)大的數(shù)據(jù)來說，其計算復雜度是相當大的，也容易出現(xiàn)數(shù)據(jù)不穩(wěn)定的情況。這樣尋求可以實時處理、迭代運算、數(shù)值穩(wěn)定、算法簡單的主成分分析、次成分分析方法或者子空間跟蹤是近20年來國際上自動控制、信號處理和神經網絡領域的一個研究熱點，受到廣泛關注。
1.1.2 主/次成分神經網絡分析算法
為了實現(xiàn)特征信息的在線迭代與自適應提取，大量的迭代及自適應算法被提出，主/次成分分析或者主/次子空間跟蹤迭代求取算法包括逆迭代、常規(guī)的和逆Chebyshev迭代、Rayleigh商迭代、神經網絡等方法。其中神經網絡方法是一種有效的迭代求取算法，尤其是求取主/次成分的單層神經網絡及其Hebbian型算法由于其算法的簡單性和有效性受到人們的高度重視，得到迅速發(fā)展，成為自適應主/次成分分析的主流算法。在該類神經網絡算法的研究中，新算法不斷出現(xiàn)，算法的性能也得到深入透徹的研究。芬蘭學者Oja［1］和華裔學者Xu［2］等是該領域的開創(chuàng)者，他們的工作為該領域的發(fā)展奠定了良好的基礎。
早在1979年，Thompson［3］就提出了估計與樣本協(xié)方差矩陣最小特征值對應的特征向量的最小均方（LMS）型自適應方法，并結合Pisarenko譜估計子提供了角度/頻率的自適應跟蹤算法。其后，許多學者開展了特征向量及其子空間跟蹤算法的研究［4］更多的是跟蹤信號子空間算法的研究，有的同時更新特征值和特征向量，有的是采用，矩陣理論計算如經典的特征值分解/奇異值分解的批處理方法，有的采用優(yōu)化理論來解決子空間跟蹤問題［5］。
在主子空間神經網絡跟蹤研究領域，基于啟發(fā)式推理的算法，如Oja算法［6］、對稱誤差修正算法［7］和對稱后向傳播算法［8］等相繼被提出。分析表明，這幾個算法本質上是相同的，被通稱為Oja算法。后來，最小均方誤差重構算法（LMSER）被提出［9］，在該算法中著名的梯度搜索概念用來最小化一個均方誤差。不像Oja算法，該算法是全局收斂的，因為只有主子空間實現(xiàn)均方誤差的全局最小而均方誤差的其他平穩(wěn)點都是鞍點�；谠摼秸`差，投影近似子空間跟蹤算法（PAST）［10］、共軛梯度算法［11］、高斯牛頓方法［12］等算法被提出。近來，一個新穎的信息準則（NIC）被提出，基于該準則，一種新穎的梯度算法和遞歸類主子空間跟蹤算法被提出［13］。后來，基于NIC準則和加權矩陣，一個快速提取多個主成分的梯度算法和遞歸類算法被提出［14］。
20世紀90年代以來，基于反饋神經網絡模型進行次子空間跟蹤受到高度關注，相繼有多個次子空間神經網絡跟蹤算法被提出來［15～22］。使用膨脹方法，Luo等［15］提出了一個次子空間分析算法，該算法在運行過程中不需要任何標準化操作；Douglas等［16］提出了一個自穩(wěn)定的次子空間分析算法，該算法不需要周期性的標準化操作，也沒有矩陣的逆運算；Chiang等［17］顯示出一個學習算法采用合適的初始化而不是膨脹方法，就可以并行抽取多個次成分�；谝粋�信息準則，Ouyang等［4］提出了一個自適應次成分跟蹤器，該算法可以自動發(fā)現(xiàn)次子空間而不需要采用膨脹方法。近年來，F(xiàn)eng等［19］提出了一個OJAm算法，將該算法推廣到用來跟蹤多個次成分或次子空間，使相應的狀態(tài)矩陣收斂到次子空間的列正交基。最近，性能更為優(yōu)良的次成分及子空間跟蹤算法［23～25］被提出來，該領域新算法仍然在不斷發(fā)展中。
1.1.3 該領域目前的研究熱點
1.神經網絡主/次成分分析算法的收斂性與穩(wěn)定性分析
對迭代或神經網絡算法進行收斂性和穩(wěn)定性分析是主/次成分分析領域十多年來的研究熱點。算法收斂性與穩(wěn)定性的直接研究和分析是一個非常難的課題，傳統(tǒng)上這些算法的收斂性是通過某種確定性的連續(xù)時間系統(tǒng)（deterministiccontinuoustime，DCT）來間接分析的。由隨機系統(tǒng)描述的特征提取神經網絡算法可以由相應的確定性連續(xù)時間系統(tǒng)來表示，這種表示需要許多假設性條件，其中之一是要求學習因子收斂到零，這在很多實際應用是一個強加的不合理的要求。通過DCT系統(tǒng)證明已經收斂的算法，是否存在發(fā)散或不穩(wěn)定的可能？2002年意大利學者Cirrincione等對一些次成分分析神經網絡學習算法進行了研究［20］，首次根據(jù)黎曼度量來分類次成分分析線性核，并通過誤差損失退化的分析證明了在接近收斂的時候算法的不同行為。同時，對算法進行了直接的隨機離散時間系統(tǒng)（stochasticdiscretetime，SDT）分析，發(fā)現(xiàn)了突然發(fā)散、動態(tài)發(fā)散和數(shù)值發(fā)散，這一發(fā)現(xiàn)推動了該領域的研究。然而，DCT和SDT雖然可以分析得出算法是否收斂與穩(wěn)定，卻不能求出具體收斂與穩(wěn)定的充分條件或邊界條件。西班牙學者Zufiria［26］提出一種確定性的離散時間系統(tǒng)（deterministicdiscretetime，DDT）來間接解釋由隨機離散時間系統(tǒng)描述的神經網絡學習算法的動力學系統(tǒng)，DDT刻畫的是核節(jié)點的平均進化行為，保持了原網絡的離散時間形式，要求學習因子保持常數(shù)，得到的是該類學習算法的更真實的動態(tài)行為。在此基礎上，近年來我國學者Yi等［27］研究團隊對DDT方法進行了深入研究和推廣，研究了幾乎所有現(xiàn)有的主/次成分分析神經網絡學習算法，推導了一系列算法各自收斂和穩(wěn)定的成分條件及邊界條件，大大推進了次成分分析神經網絡學習算法性能的研究，形成了從2005～2009年國際上神經網絡領域的一個學術研究熱點。
2.神經網絡主/次成分分析自穩(wěn)定算法
一個神經網絡主/次成分分析方法以及主/次子空間跟蹤算法如果在算法迭代更新過程中，神經網絡的權向量或權矩陣的模值隨著時間的進行發(fā)散到無窮，則不利于算法的實際應用。解決的途徑有兩個，一是在迭代更新過程中每步或者定期將權向量或權矩陣的模值實行規(guī)范化處理，使其模值長度等于1；另一種探索權向量模值自穩(wěn)定的算法［16，19，21］，無論初始權向量模值大小，使算法在更新過程中權向量或權矩陣的模值自動收斂于某一固定值或者為1。為了克服神經網絡算法在迭代過程中權向量模值發(fā)散問題，尋求權向量模值自穩(wěn)定的主/次成分神經網絡算法是該領域一個研究熱點，在這些自穩(wěn)定的學習算法中，神經網絡核的權向量保證收斂到一個規(guī)范化的主/次成分或者神經網絡核的權矩陣保證收斂到一個規(guī)范化的主/次子空間。當前，自穩(wěn)定特性已經成為神經網絡主/次成分分析方法及主/次子空間跟蹤算法的一個必備的特性。
3.統(tǒng)一或雙目的主/次成分分析自穩(wěn)定算法
最初的主/次成分分析算法以及主/次子空間分析是各自獨立發(fā)展的，大量的算法被提出來，并得到廣泛的應用。主成分與次成分算法之間存在怎樣的關系？一個自然的想法是在一個主成分分析（或者主子空間跟蹤）算法中，通過改變相關矩陣的符號或者取原矩陣的逆矩陣，或者僅僅改變學習因子的符號便可以實現(xiàn)次成分分析（或者次子空間跟蹤），反過來也一樣。實踐證明這樣的變換常常不成立，要么不能實現(xiàn)另一種成分分析或者子空間跟蹤，要么雖然可以實現(xiàn)預期的功能但是算法更新過程中，神經網絡的權向量或者權矩陣由收斂變成發(fā)散。在文獻［28］，［29］中，Chen等提出了主成分分析/主子空間分析和次成分分析/次子空間分析之間的一種轉換機制，分析顯示通過這種轉換機制，每一個主成分分析算法都配有一個次成分分析算法，反過來也一樣。這樣基本解決了上述問題，通過這一轉換機制，導出的雙目算法具有不同的算法結構形式。那么，是否有一個統(tǒng)一的神經網絡算法，該算法僅僅通過改變同一學習規(guī)則中的符號就能夠進行主成分分析與次成分分析或者主/次子空間跟蹤，無疑這樣的算法更具有現(xiàn)實意義，可以減少硬件設施的復雜性和成本。近十多年來，尋求統(tǒng)一或雙目的主/次成分分析（或者主/次子空間分析）算法是該領域的一個研究熱點［29～31］。
1.2 特征提取與子空間跟蹤基礎
由次成分張成的子空間稱為次子空間，而由主成分張成的子空間稱為主子空間，單維主成分分析或單維次成分分析可以認為是主子空間跟蹤或次子空間跟蹤的特殊形式。在主成分或次成分神經網絡領域，芬蘭學者Oja等作出了開創(chuàng)性的工作。為了對次成分、主成分、次子空間以及主子空間及其應用有一個清晰的理解，下面從子空間的角度對這些概念及其數(shù)學描述與物理意義進行介紹［5］。
書單推薦
