關(guān)于深度學(xué)習(xí)的導(dǎo)論性著作,也是了解深度學(xué)習(xí)的入門之書。
詳述了深度學(xué)習(xí)的9大重要模型及其學(xué)習(xí)算法、變種模型和混雜模型,內(nèi)容翔實(shí),具有提綱挈領(lǐng)的指導(dǎo)意義。
基于Matlab、Python和C++相關(guān)的程序案例介紹深度學(xué)習(xí)模型,有助于讀者全面了解深度學(xué)習(xí)模型和算法的實(shí)現(xiàn)途徑
這是一部關(guān)于深度學(xué)習(xí)的導(dǎo)論性著作,也是了解深度學(xué)習(xí)的入門書籍。全書涵蓋了深度學(xué)習(xí)的發(fā)展歷史、特點(diǎn)優(yōu)勢(shì),包括各種重要的模型、算法及應(yīng)用,對(duì)讀者把握深度學(xué)習(xí)的基本脈絡(luò)和未來(lái)趨勢(shì),具有提綱挈領(lǐng)的指導(dǎo)意義。
深度學(xué)習(xí)是近年來(lái)在神經(jīng)網(wǎng)絡(luò)發(fā)展史上掀起的一波新浪潮,是機(jī)器學(xué)習(xí)的一大熱點(diǎn)方向,是實(shí)現(xiàn)人工智能的一種強(qiáng)大技術(shù),有關(guān)成果早已震撼了學(xué)術(shù)界和工業(yè)界。隨著AlphaGo戰(zhàn)勝人類的圍棋冠軍,深度學(xué)習(xí)又受到了空前絕*的爆炸性關(guān)注。
有興趣的讀者可以從本書開(kāi)始,逐步揭開(kāi)深度學(xué)習(xí)的神秘面紗,窺探其中的奧妙所在。
本書具有如下特色
內(nèi)容布局注重深入淺出、引用文獻(xiàn)豐富,方便讀者學(xué)習(xí)和鉆研。
試圖糾正許多讀者對(duì)深度學(xué)習(xí)的一些錯(cuò)誤理解,比如認(rèn)為多層感知器不是深度學(xué)習(xí)模型,認(rèn)為自編碼器能夠直接用來(lái)進(jìn)行手寫字符識(shí)別,認(rèn)為受限玻耳茲曼機(jī)也是嚴(yán)格意義上的深度學(xué)習(xí)模型,等等。
提供了許多深度學(xué)習(xí)的基本案例,涉及Matlab、Python和C++常用語(yǔ)言,以及Theano和Caffe等開(kāi)源庫(kù),有助于讀者通過(guò)不同語(yǔ)言的分析案例,全面了解深度學(xué)習(xí)模型和算法的實(shí)現(xiàn)途徑。
深度學(xué)習(xí)是近年來(lái)在神經(jīng)網(wǎng)絡(luò)發(fā)展史上掀起的一波新浪潮,是機(jī)器學(xué)習(xí)的一大熱點(diǎn)方向,因在手寫字符識(shí)別、維數(shù)約簡(jiǎn)、圖像理解和語(yǔ)音處理等方面取得巨大進(jìn)展,所以很快受到了學(xué)術(shù)界和工業(yè)界的高度關(guān)注。在本質(zhì)上,深度學(xué)習(xí)就是對(duì)具有深層結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行有效學(xué)習(xí)的各種方法。
本書不僅介紹了深度學(xué)習(xí)的起源和發(fā)展、強(qiáng)調(diào)了深層網(wǎng)絡(luò)的特點(diǎn)和優(yōu)勢(shì),說(shuō)明了判別模型和生成模型的相關(guān)概念,還詳述了深度學(xué)習(xí)的9種重要模型及其學(xué)習(xí)算法、變種模型和混雜模型,包括受限玻耳茲曼機(jī)、自編碼器、深層信念網(wǎng)絡(luò)、深層玻耳茲曼機(jī)、和積網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、深層堆疊網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò),以及它們?cè)趫D像處理、語(yǔ)音處理和自然語(yǔ)言處理等領(lǐng)域的廣泛應(yīng)用。同時(shí)分析了一系列深度學(xué)習(xí)的基本案例。
本書每個(gè)案例包括模塊簡(jiǎn)介、運(yùn)行過(guò)程、代碼分析和使用技巧4個(gè)部分,層次結(jié)構(gòu)清晰,利于讀者的選擇和學(xué)習(xí)并在應(yīng)用中拓展思路。涉及的編程語(yǔ)言有3種:Matlab、Python和C++。其中,很多深度學(xué)習(xí)程序是用Matlab編寫的,可以直接運(yùn)行;如果使用Python語(yǔ)言編寫深度學(xué)習(xí)程序,則可以調(diào)用Theano開(kāi)源庫(kù);若使用C++語(yǔ)言,則可以調(diào)用Caffe開(kāi)源庫(kù)。
李玉鑑( 鑒 ) 北京工業(yè)大學(xué)教授,博士生導(dǎo)師。華中科技大學(xué)本科畢業(yè),中國(guó)科學(xué)院數(shù)學(xué)研究所碩士畢業(yè),中國(guó)科學(xué)院半導(dǎo)體研究所博士畢業(yè),北京郵電大學(xué)博士后出站。曾在中國(guó)科學(xué)院生物物理所工作,對(duì)意識(shí)的本質(zhì)問(wèn)題關(guān)注過(guò)多年,并在《21世紀(jì)100個(gè)交叉科學(xué)難題》上發(fā)表《揭開(kāi)意識(shí)的奧秘》一文,提出了解決意識(shí)問(wèn)題的認(rèn)知相對(duì)論綱領(lǐng),對(duì)腦計(jì)劃和類腦研究具有宏觀指導(dǎo)意義。長(zhǎng)期圍繞人工智能的核心目標(biāo),在神經(jīng)網(wǎng)絡(luò)、自然語(yǔ)言處理、模式識(shí)別和機(jī)器學(xué)習(xí)等領(lǐng)域開(kāi)展教學(xué)、科研工作,發(fā)表國(guó)內(nèi)外期刊、會(huì)議論文數(shù)十篇,是本書的*一作者。
前言
第一部分 基礎(chǔ)理論
目 錄
第1章概述 2
1.1深度學(xué)習(xí)的起源和發(fā)展 2
1.2深層網(wǎng)絡(luò)的特點(diǎn)和優(yōu)勢(shì) 4
1.3深度學(xué)習(xí)的模型和算法 7
第2章預(yù)備知識(shí) 9
2.1矩陣運(yùn)算 9
2.2概率論的基本概念 11
2.2.1概率的定義和性質(zhì) l1
2.2.2 隨機(jī)變量和概率密度
函數(shù) l2
2.2.3期望和方差. 13
2.3信息論的基本概念. 14
2.4概率圖模型的基本概念 15
2.5概率有向圖模型 16
2.6概率無(wú)向圖模型 20
2.7部分有向無(wú)圈圖模型 22
2.8條件隨機(jī)場(chǎng) 24
2.9馬爾可夫鏈 26
2.10概率圖模型的學(xué)習(xí) 28
2.11概率圖模型的推理 29
2.12馬爾可夫鏈蒙特卡羅方法 31
2.13玻耳茲曼機(jī)的學(xué)習(xí) 32
2.14通用反向傳播算法 35
2.15通用逼近定理 37
第3章受限玻耳茲曼機(jī) 38
3.1 受限玻耳茲曼機(jī)的標(biāo)準(zhǔn)
模型 38
3.2受限玻耳茲曼機(jī)的學(xué)習(xí)算法 40
3.3 受限玻耳茲曼機(jī)的變種模型 44
第4章 自編碼器 48
4.1 自編碼器的標(biāo)準(zhǔn)模型 48
4.2 自編碼器的學(xué)習(xí)算法 50
4.3 自編碼器的變種模型 53
第5章深層信念網(wǎng)絡(luò) 57
5.1 深層信念網(wǎng)絡(luò)的標(biāo)準(zhǔn)模型 57
5.2深層信念網(wǎng)絡(luò)的生成學(xué)習(xí)
算法 60
5.3深層信念網(wǎng)絡(luò)的判別學(xué)習(xí)算法 62
5.4深層信念網(wǎng)絡(luò)的變種模型 63
第6章深層玻耳茲曼機(jī) 64
6.1 深層玻耳茲曼機(jī)的標(biāo)準(zhǔn)模型 64
6.2深層玻耳茲曼機(jī)的生成學(xué)習(xí)
算法 65
6.3 深層玻耳茲曼機(jī)的判別學(xué)習(xí)
算法 69
6.4深層玻耳茲曼機(jī)的變種模型 69
第7章和積網(wǎng)絡(luò) 72
7.1 和積網(wǎng)絡(luò)的標(biāo)準(zhǔn)模型 72
7.2和積網(wǎng)絡(luò)的學(xué)習(xí)算法 74
7.3和積網(wǎng)絡(luò)的變種模型 77
第8章卷積神經(jīng)網(wǎng)絡(luò) 78
8.1卷積神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)模型 78
8.2卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 81
8.3卷積神經(jīng)網(wǎng)絡(luò)的變種模型 83
第9章深層堆疊網(wǎng)絡(luò) 一86
9.1 深層堆疊網(wǎng)絡(luò)的標(biāo)準(zhǔn)模型 86
9.2深層堆疊網(wǎng)絡(luò)的學(xué)習(xí)算法 87
9.3深層堆疊網(wǎng)絡(luò)的變種模型 88
第1 0章循環(huán)神經(jīng)網(wǎng)絡(luò) 89
10.1循環(huán)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)模型 89
10.2循環(huán)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 91
10.3循環(huán)神經(jīng)網(wǎng)絡(luò)的變種模型 92
第1 1章長(zhǎng)短時(shí)記憶網(wǎng)絡(luò) 94
11.1長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的標(biāo)準(zhǔn)模型 94
11.2長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的學(xué)習(xí)算法 96
11.3長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的變種模型 98
第12章深度學(xué)習(xí)的混合模型、
廣泛應(yīng)用和開(kāi)發(fā)工具 102
12.1深度學(xué)習(xí)的}昆合模型 102
12.2深度學(xué)習(xí)的廣泛應(yīng)用 104
12.2.1 圖像和視頻處理 104
12.2.2語(yǔ)音和音頻處理 106
12.2.3 自然語(yǔ)言處理 108
12.2.4其他應(yīng)用 109
12.3深度學(xué)習(xí)的開(kāi)發(fā)工具 110
第1 3章深度學(xué)習(xí)的總結(jié)、
批評(píng)和展望 114
第二部分案例分析
第14章實(shí)驗(yàn)背景 一118
14.1運(yùn)行環(huán)境 118
14.2實(shí)驗(yàn)數(shù)據(jù) 118
14.3代碼工具 120
第1 5章 自編碼器降維案例 一121
15.1 自編碼器降維程序的模塊
簡(jiǎn)介 121
15.2 自編碼器降維程序的運(yùn)行
過(guò)程 122
15.3 自編碼器降維程序的代碼
分析 127
15.3.1 關(guān)鍵模塊或函數(shù)的主要
功能 127
15.3.2主要代碼分析及注釋 128
15.4 自編碼器降維程序的使用
技巧 138
第1 6章深層感知器識(shí)別案例 139
16.1 深層感知器識(shí)別程序的模塊
簡(jiǎn)介 139
16.2深層感知器識(shí)別程序的運(yùn)行
過(guò)程 140
16.3深層感知器識(shí)別程序的代碼
分析 143
16.3.1 關(guān)鍵模塊或函數(shù)的主要
功能 143
16.3.2主要代碼分析及注釋 l43
16.4深層感知器識(shí)別程序的使用
技巧 148
第1 7章深層信念網(wǎng)絡(luò)生成
案例 149
17.1 深層信念網(wǎng)絡(luò)生成程序的模塊
簡(jiǎn)介 149
17.2深層信念網(wǎng)絡(luò)生成程序的運(yùn)行
過(guò)程 150
17.3深層信念網(wǎng)絡(luò)生成程序的代碼
分析 153
第18章深層信念網(wǎng)絡(luò)分類案例163
第19章深層玻耳茲曼機(jī)識(shí)別案例202
第20章卷積神經(jīng)網(wǎng)絡(luò)識(shí)別案例221
第21章循環(huán)神經(jīng)網(wǎng)絡(luò)填充案例236
第22章長(zhǎng)短時(shí)憶網(wǎng)絡(luò)分類案例245
附錄263
參考文獻(xiàn)269