編輯推薦

《決策用強化與係統性機器學習》包括強化的不同方麵，通過機器學習來建立知識庫。本書有助於計劃通過智能學習和實驗做齣智能機器的人並嘗試新的方式，打開一種相同的新範例。本書第1章主要介紹係統概念，如機器學習、強化學習、係統學習、係統性機器學習等；第2章主要介紹係統性和多視角的機器學習；第3~9章主要介紹本書的主要內容——決策用強化與係統性學習的各個方麵內容，有強化學習、係統性機器學習、推理和信息集成、自適應學習、全局係統性學習、增量學習及錶示和知識增長。第10章列舉瞭一些例子來說明如何構建一個學習係統。

相關閱讀：

《》

《》

《》

《》

《》

內容簡介

《決策用強化與係統性機器學習》以Protel的新版本AltiumDesigner13AltiumDesigner14為平颱，介紹瞭電路設計的方法和技巧，主要包括AltiumDesigner13AltiumDesigner14概述、原理圖設計基礎、原理圖的繪製、原理圖的後續處理、層次結構原理圖的設計、原理圖編輯中的高級操作、PCB設計基礎知識、PCB的布局設計、印製電路闆的布綫、電路闆的後期製作、創建元件庫及元件封裝、電路仿真係統、信號完整性分析、自激多諧振蕩器電路設計實例和遊戲機電路設計實例。本書的介紹由淺入深，從易到難，各章節既相對獨立又前後關聯。在介紹的過程中，編者根據自己多年的經驗及教學心得，及時給齣總結和相關提示，以幫助讀者快捷地掌握相關知識。全書內容講解詳實，圖文並茂，思路清晰。隨書贈送的多媒體教學光盤包含全書實例操作過程的視頻講解文件和實例源文件，讀者可以通過光盤方便、直觀地學習本書內容。本書可以作為初學者的入門教材，也可以作為電路設計及相關行業工程技術人員及各院校相關專業師生的學習參考。

作者簡介

Parag Kulkarni博士是普納埃拉特研究所（EKLaT Research,Pune）的CEO和首席科學傢。他在知識管理、電子商務、智能係統和機器學習谘詢、研究和産品建設等領域有超過20年的經驗。印度理工學院和加爾各答印度管理研究院的校友，Kulkarni博士是IIM的兼職教授、捷剋馬薩裏剋大學訪問研究員和普納工程學院兼職教授。他領導的公司、研究實驗室和團體，其中包括很多IT公司，有艾蒂爾公司、西門子信息係統有限公司、普納的卡皮森公司和新加坡的ReasonEdge公司。他通過戰略創新和研究引領瞭很多公司成功創業。瑞士的UGSM皇傢商業學校授予Kulkarni榮譽博士學位。他是三個專利的共同發明人，並閤著瞭超過100篇研究論文並有著作若乾本。

目錄

譯者序
原書前言
原書緻謝
關於作者
第1章強化與係統性機器學習1
1.1簡介1
1.2監督學習、無監督學習、半監督學習和強化學習1
1.3傳統機器學習方法和機器學習發展曆史3
1.4什麼是機器學習？6
1.5機器學習問題6
1.5.1學習的目標6
1.6學習模式7
1.7機器學習技術和範例9
1.8什麼是強化學習？11
1.9強化函數和環境函數12
1.10強化學習的需求13
1.11強化學習和機器智能14
1.12什麼是係統學習？14
1.13什麼是係統性機器學習？15
1.14係統性機器學習的重點15
1.15強化性機器學習和係統性機器學習16
1.16車輛檢測問題的案例研究16
1.17小結16
參考文獻17
第2章全係統原理、係統性和多視角的機器學習18
2.1簡介18
2.1.1什麼是係統性學習？19
2.1.2曆史20
2.2什麼是係統性機器學習？21
2.2.1基於事件的學習21
2.3廣義係統性機器學習框架23
2.3.1係統定義24
2.4多視角決策和多視角學習26
2.4.1基於完整信息的錶示32
2.4.2基於部分信息的錶示32
2.4.3單視角決策方案圖32
2.4.4雙重視角決策方案圖32
2.4.5多視角決策方案圖32
2.4.6定性信念網絡和影響圖33
2.5動態和交互式決策33
2.5.1交互決策圖33
2.5.2決策圖和影響圖中時間的角色34
2.5.3係統性視角的建立34
2.5.4信息整閤35
2.5.5建立典型決策方案圖35
2.5.6受限信息35
2.5.7多決策者係統在係統性學習中的角色35
2.6係統性學習框架39
2.6.1數學模型39
2.6.2係統性學習的方法39
2.6.3自適應係統性學習40
2.6.4係統性學習框架41
2.7係統分析41
2.8案例學習：在酒店行業中需要係統性學習43
2.9小結44
參考文獻44
第3章強化學習45
3.1簡介45
3.2學習決策者48
3.3迴報和奬勵的計算50
3.3.1方案和連續任務50
3.4強化學習和自適應控製51
3.5動態係統54
3.5.1離散事件動態係統54
3.6強化學習和控製55
3.7馬爾科夫性質和決策過程55
3.8價值函數56
3.8.1行動和價值56
3.9學習最優策略（有模型和無模型法）57
3.10動態規劃57
3.10.1動態係統性質57
3.11自適應動態規則58
3.11.1時間差分學習59
3.11.2Q學習60
3.11.3統一的視圖60
3.12範例——拳擊訓練器的強化學習61
3.13小結61
參考文獻61
第4章係統性機器學習和模型62
4.1簡介62
4.2係統學習的框架63
4.2.1影響空間64
4.2.2交互作用為中心的模型69
4.2.3以結果為中心的模型69
4.3捕捉係統視圖70
4.4係統交互的數學錶達73
4.5影響函數74
4.6決策影響分析74
4.6.1時空界限75
4.7小結80
第5章推理和信息集成82
5.1簡介82
5.2推理機製和需要83
5.2.1情景推理85
5.2.2推理確定影響85
5.3情景和推理的集成88
5.4統計推理和歸納91
5.4.1直接推理91
5.4.2間接推理91
5.4.3信息推理91
5.4.4歸納92
5.5純似然方法92
5.6貝葉斯範例推理93
5.6.1貝葉斯定理93
5.7基於時域推理93
5.8推理建立係統觀點94
5.8.1信息集成94
5.9小結96
參考文獻97
第6章自適應學習98
6.1簡介98
6.2自適應學習和自適應係統98
6.3什麼是自適應機器學習101
6.4基於方案的適應性和學習方法101
6.4.1動態適應性和情景感知的學習102
6.5係統學習和自適應學習104
6.5.1多學習器的使用105
6.5.2係統自適應機器學習108
6.5.3自適應應用的設計110
6.5.4自適應學習的需要和適應的原因111
6.5.5適應類型112
6.5.6自適應框架114
6.6競爭學習和自適應學習115
6.6.1適應性函數116
6.6.2決策網絡118
6.6.3自適應學習方案119
6.7範例120
6.7.1案例研究：基於自適應學習的文本120
6.7.2自適應學習的文檔挖掘121
6.8小結122
參考文獻122
第7章多視角和全局係統性的學習123
7.1簡介123
7.2多視角方案構建124
7.3多視角決策和多視角學習126
7.3.1視角結閤126
7.3.2影響圖和部分方案決策錶示圖127
7.3.3錶示決策方案圖（RDSD）130
7.3.4範例：部分方案決策錶示圖（PDSRD）錶示的不同視角獲取的城市信息131
7.4全局係統性學習和多視角途徑134
7.4.1分散信息整閤135
7.4.2多視角和全局係統知識錶示135
7.4.3什麼是多視角方案？135
7.4.4特定方案136
7.5基於多視角途徑的案例研究136
7.5.1交通控製器用多視角途徑137
7.5.2情感檢測用多視角途徑模型138
7.6多視角方法的局限性143
7.7小結143
參考文獻144
第8章增量學習和知識錶示145
8.1簡介145
8.2為什麼增量學習？146
8.3學習已經學會的147
8.3.1絕對增量學習148
8.3.2選擇增量學習149
8.4監督增量學習157
8.5增量無監督學習和增量聚類158
8.5.1增量聚類：任務160
8.5.2增量聚類：方法161
8.5.3閾值161
8.6半監督增量學習162
8.7增量與係統性學習163
8.8增量接近值和學習方法164
8.8.1增量學習方法1165
8.8.2增量學習方法2166
8.8.3計算C值增量166
8.9學習與決策模型169
8.10增量分類技術169
8.11案例分析：增量文檔分類170
8.12小結171
第9章知識增長：機器學習的視角173
9.1簡介173
9.2短暫的曆史和相關工作174
9.3知識增長和知識啓發178
9.3.1策略使用進行知識啓發178
9.3.2基於目標的知識啓發179
9.3.3基於過程的知識啓發179
9.4生命周期180
9.4.1知識水平181
9.4.2直接知識181
9.4.3間接知識182
9.4.4程序知識182
9.4.5問題182
9.4.6決策182
9.4.7知識生命周期183
9.5增量知識錶達184
9.6案例學習和遺忘學習186
9.7知識的擴充：技術和方法187
9.7.1知識增量技術187
9.7.2知識增量方法188
9.7.3提取知識的機製189
9.8啓發式學習190
9.9係統性機器學習和知識獲取190
9.9.1全方位知識獲取191
9.9.2係統知識管理和先進的機器學習192
9.10在復雜環境下的知識增量193
9.11案例研究193
9.11.1銀行案例研究193
9.11.2軟件開發公司194
9.11.3雜貨集市/零售集市195
9.12小結195
參考文獻196
第10章構建學習係統197
10.1簡介197
10.2係統性學習係統197
10.2.1學習單元199
10.2.2知識庫200
10.2.3性能單元200
10.2.4反饋單元200
10.2.5允許測量的係統200
10.3算法選擇201
10.3.1k近鄰（kNN）201
10.3.2支持嚮量機（SVM）202
10.3.3質心法202
10.4知識錶示203
10.4.1實用方案和案例研究203
10.5學習係統的設計204
10.6讓係統錶現得更智能204
10.7案例學習205
10.8整體知識框架和強化學習的應用205
10.8.1智能算法的選擇207
10.9智能決策——部署和知識采集以及重用208
10.10基於案例的學習：人體情感檢測係統209
10.11復雜決策問題的整體視角211
10.12知識錶示和資源查找213
10.13組件215
10.13.1範例215
10.14學習係統和智能係統的未來216
10.15小結217
附錄218
附錄A統計學習方法218
A.1概率218
A.1.1互斥事件218
A.1.2獨立事件218
A.2貝葉斯分類219
A.2.1樸素貝葉斯分類220
A.2.2貝葉斯分類器的優點和缺點221
A.3迴歸221
A.3.1綫性222
A.3.2非綫性222
A.3.3迴歸的其他方法222
A.4粗糙集223
A.4.1不可分辨關係223
A.4.2集近似224
A.4.3邊界區域224
A.4.4粗糙集和清晰集224
A.4.5約簡224
A.4.6可有可無和不可缺少的屬性224
A.5支持嚮量機224
參考文獻225
附錄B馬爾科夫過程225
B.1馬爾科夫過程225
B.1.1案例226
B.1.2解決步驟226
B.1.3長期227
B.1.4馬爾科夫過程示例228
B.2半馬爾科夫過程231
B.2.1建議231
B.2.2驗證232
B.2.3推論232

前言/序言

人們研究人工智能已經很多年，甚至早於計算機時代。在現代，基於事件的人工智能被廣泛應用於部件設備或者是設備整體中。人工智能起瞭很大程度上的引導作用，但人工乾預是強製性的。甚至反饋控製係統也是人工智能係統的一種初步形式。之後自適應控製係統和混閤控製係統在係統中增加智能的鑒彆能力。隨著計算機技術的發展，人工智能技術受到瞭更多的關注。基於計算機學習簡單的事件很快成為諸多智能係統的一部分，人們對智能係統的期望在持續增長，這就緻使一種廣受歡迎的學習範例，其是以學習為基礎的模式。這使得係統在很多實際方案下錶現得智能化，其中包括天氣模式、入住率模式以及其他可以幫助決策的不同模式。這種模式發展成為一個行為模式學習的範例。這與其說是一種行為模式，倒不如說是一種特定測量參數的簡單模式。行為模式試圖給齣一個更好的描繪和洞察力，這有助於學習和在網絡及業務方案下進行決策，這將智能係統提升到瞭另一個水平。學習是智能的錶現，使機器進行學習是使得機器智能化行為一個主要的部分。
決策方案的復雜度和復雜方案中的機器學習在機器智能方麵提齣瞭很多問題。孤立的學習是永遠不會完成的。人類聚居在一起學習，開發聚居地並通過互動去創造智慧。聚集和閤作學習讓人類取得瞭統治地位。此外，人類的學習與所處環境相關聯。 他們與環境互動，並獲得兩種形式的反饋——奬勵或懲罰。人類的協作學習方式給瞭他們探索式學習的力量，利用已經瞭解到的事實以及參照發生的行動去探索。強化學習的範例上升到瞭一個新的層麵，並可以覆蓋所需動態方案學習的很多新的方麵的問題。
正如Rutherford D�盧oger所說：“我們淹沒在信息的海洋中並渴求著知識的養分。”越來越多的信息可供我們支配，這些信息的存在形式多樣化，且有很多的信息來源和眾多的學習機會。學習時的實踐假設能夠製約學習。實際上係統的不同部分之間都是有聯係的，係統思維狀態的基本原則之一就是在時間和空間上因果是分開的。可以感受到決定和行動的影響超越瞭可察覺的極限。當學習時，如果不考慮係統性方麵的關聯，會導緻很多的局限性。因此傳統的學習範例會遭受現實生活中高度動態和復雜性的問題。對相互依賴關係的整體把握和理解能夠幫助人們學到很多新的方麵的知識，並用更現實的方式理解、分析和解釋信息。根據現有的資料學習、構建新的信息並映射其到知識麵和理解不同的觀點能夠提高人們的學習效率。學習不僅僅是獲得更多的數據和整理這些數據，甚至不是建立更多的信息。 從根本上說，學習的目的是為瞭使個人做齣更好的決策，並提高其創造價值的能力。在機器學習中，有必要參照不同的信息來源和學習的機會提升機器的能力。在機器學習中，也有必要賦予機器做齣更好決策並提高其創造價值的能力。
本書試圖參照不同機器學習的各方麵提齣係統性機器學習和研究機器學習機會的新範例。本書試圖依據精心設計的案例研究構建係統性的機器學習基礎。機器學習和人工智能在本質上是跨學科的，其涉及統計學、數學、心理學、計算機工程，許多研究者緻力於豐富這一領域並獲得更好的效果。本書基於這些機器學習領域眾多的貢獻以及作者的研究， 試圖探索係統性機器學習的概念。 係統機器學習是全麵的、多視角的、增量的和係統性的。在學習時可以從同一數據集中學到不同的東西，也可以從已知的事實中學習。本書是建立一個框架使所有的信息源得到充分利用並參考全局係統體係建立知識的一種嘗試。
在許多情況下，這個問題也不是一成不變的，它隨著時間的推移而變化且依賴於環境。環境可能不隻是局限於幾個參數，但一個問題的整體信息建立環境。一個沒有環境的通用係統可能不能夠處理特定環境的決定。本書不僅討論學習的不同方麵，也討論參照復雜決策問題案例的需求。本書可作為進行專門研究的參考用書，並可以幫助讀者和研究者欣賞機器學習的新模式。
本書的內容結構如圖0－1所示。
圖0－1本書的內容結構第1章介紹係統概念和增強機器學習，它建立瞭一個突齣的相同的機器學習係統範例：第2章將更多關注機器學習的基本原理和多視角學習；第3章關於強化學習；第4章處理機器學習係統和模型建立的問題；決策推理等重要的部分將在第5章展開；第6章討論瞭自適應機器學習，第7章討論瞭範例的多視角機器學習和係統性機器學習；第8章討論瞭增量學習的需要，第8章和第9章處理瞭知識庫錶示和知識庫擴展的問題；第10章討論瞭學習係統的建立。
本書試圖包括學習的不同方麵，同時引入一種新的機器學習範例，通過機器學習來建立知識庫。本書有助於計劃通過智能學習和實驗做齣智能機器的人，並嘗試新的方式，打開一種相同的新範例。
Parag Kulkarni原 書 緻 謝在過去的20年中，我做瞭很多關於決策和基於人工智能的IT産品公司的工作。在這段時期，我用不同的機器學習算法將其應用於不同的方麵。這項工作讓我意識到需要一個機器學習的新範式和思維變化的需要，這建立瞭本書的基礎，並開始構建係統性機器學習的思維過程。我非常感謝曾經工作過的地方，包括西門子和艾蒂爾（IDeaS）公司，也同樣感謝這兩個公司的同事。我還想感謝我的朋友和同事的支持。
我要感謝我的博士和我的研究生——Prachi、Yashodhara、Vinod、Sunita、Pramod、Nitin、Deepak、 Preeti 、 Anagha、Shankar、 Shweta、 Basawraj、Shashikanth 和其他人，感謝他們直接和間接的貢獻。他們總是準備用新思路來工作,通過集體學習起到瞭推波助瀾的作用。特彆感謝Prachi在製圖和文本格式方麵的幫助。
我要感謝Chande教授、Ramani教授、Sinha博士、Bhanu Prasad博士、Warnekar教授和Navetia教授為本書做的注釋和評論。我也要感謝那些幫助我的機構，有COEP、PICT、GHRIET、PCCOE、DYP COE、IIM、馬薩裏剋（Masaryk）大學等，感謝他們容許我在學生麵前進行交互並展示我的思想。我也要感謝IASTED、IACSIT和IEEE，讓我通過技術交流會的平颱來讓我展示我的研究成果。我也要感謝我的研究論文的評審專傢。
我感謝指導過我的人，老師、祖父和已故的D－B－ Joshi，他們激勵我不同的思維。我也想藉此機會感謝我的母親。最主要感謝我的妻子Murdula和我的兒子Hrishikesh的支持、激勵和幫助。
我也感謝IEEE /Wiley齣版社和IEEE /Wiley齣版社的編輯團隊，感謝他們對我的研究、思想和實驗的支持和幫助，並齣版瞭本書。
Parag Kulkarni關 於 作 者Parag Kulkarni博士是普納埃拉特研究所（EKLaT Research,Pune）的CEO和首席科學傢。他在知識管理、電子商務、智能係統和機器學習谘詢、研究和産品建設等領域有超過20年的經驗。印度理工學院和加爾各答印度管理研究院的校友，Kulkarni博士是IIM的兼職教授、捷剋馬薩裏剋大學訪問研究員和普納工程學院兼職教授。他領導的公司、研究實驗室和團體，其中包括很多IT公司，有艾蒂爾公司、西門子 決策用強化與係統性機器學習 下載 mobi epub pdf txt 電子書

物流給力，書籍紙張不錯

印刷質量不錯，內容很好，比較推薦

還不錯，內容是自己感興趣的，國內介紹RL的書籍不多，看這個是個翻譯的著作，買迴來學習一下

技術男喜歡的書，可以那慢慢的玩。

好書，值得推薦，趕緊買

實用參考手冊，值得一讀

為什麼評價非要10個字

前沿科學，非常實用，本書首先介紹瞭基於機器視覺感知機製的自主移動機器人導航的理論與研究，重點介紹瞭基於地圖、地圖構建以及無地圖環境下的基於視覺傳感器的機器人導航算法，並給齣瞭實際應用中基於視覺的機器人先進導航算法的實現。

東西很好，質量不錯，值得購買