課程描述INTRODUCTION
強化學習是當前最熱門的研究方向之一,廣泛應用于機器人學、電子競技等領域。本課程系統性的介紹了強化學習(深度強化學習)的基本理論和關鍵算法,包括:馬爾科夫決策過程、動態(tài)規(guī)劃法、蒙特卡羅法、時間差分法、值函數逼近法,策略梯度法等;以及該領域的*前沿發(fā)展,包括:DQN及其變種、信賴域系方法、Actor-Critic類方法、多Agent深度強化學習等;同時也介紹大量的實際案例,包括深度強化學習中最*的工程應用:Alpha Go。
· IT人士· 技術總監(jiān)· 軟件工程師· 技術主管· 研發(fā)經理
日程安排SCHEDULE
課程大綱Syllabus
強化學習課程
第一天 強化學習
第一課 強化學習綜述
1.強化學習要解決的問題
2.強化學習方法的分類
3.強化學習方法的發(fā)展趨勢
4.環(huán)境搭建實驗(Gym,TensorFlow等)
5.Gym環(huán)境的基本使用方法
第二課 馬爾科夫決策過程
1.基本概念:馬爾科夫性、馬爾科夫過程、馬爾科夫決策過程
2.MDP基本元素:策略、回報、值函數、狀態(tài)行為值函數
3.貝爾曼方程
4.最優(yōu)策略
案例:構建機器人找金幣和迷宮的環(huán)境
第三課 基于模型的動態(tài)規(guī)劃方法
1.動態(tài)規(guī)劃概念介紹
2.策略評估過程介紹
3.策略改進方法介紹
4.策略迭代和值迭代
案例:實現基于模型的強化學習算法
第四課 蒙特卡羅方法
1.蒙特卡羅策略評估
2.蒙特卡羅策略改進
3.基于蒙特卡羅的強化學習
4.同策略和異策略
案例:利用蒙特卡羅方法實現機器人找金幣和迷宮
第五課 時序差分方法
1.DP,MC和TD方法比較
2.MC和TD方法偏差與方差平衡
3.同策略TD方法:Sarsa 方法
4.異策略TD方法:Q-learning 方法
案例:Q-learning和Sarsa的實現
第二天 從強化學習到深度強化學習
第一課 基于值函數逼近方法(強化學習)
1.維數災難與表格型強化學習
2.值函數的參數化表示
3.值函數的估計過程
4.常用的基函數
第二課 基于值函數逼近方法(深度學習與強化學習的結合)
1.簡單提一下深度學習
2.深度學習與強化學習的結合
3.DQN 方法介紹
4.DQN變種:Double DQN, Prioritized Replay, Dueling Network
案例:用DQN玩游戲——flappy bird
第三課 策略梯度方法(強化學習)
1.策略梯度方法介紹
2.常見的策略表示
3.常見的減小方差的方法:引入基函數法,修改估計值函數法
案例:利用gym和tensorflow實現小車倒立擺系統等
第四課 Alpha Go(深度學習與強化學習的結合)
1.MCTS
2.策略網絡與價值網絡
3.Alpha Go的完整架構
第五課 GAN(深度學習)
1.VAE與基本GAN
2.DCGAN
3.WGAN
案例:生成手寫數字的GAN
第三天 深度強化學習進階
第一課 AC類方法-1
1. PG的問題與AC的思路
2. AC類方法的發(fā)展歷程
3. Actor-Critic基本原理
第二課 AC類方法-2
1. DPG方法
2. DDPG方法
3. A3C方法
案例:AC類方法的案例
第三課 信賴域系方法-1
1.信賴域系方法背景
2.信賴域系方法發(fā)展路線圖
3.TRPO方法
案例:TRPO方法的案例
第四課 信賴域系方法-2
1.PPO方法
2.DPPO方法簡介
3.ACER方法
案例:PPO方法的案例
第五課 多Agent強化學習
1.矩陣博弈
2.納什均衡
3.多人隨機博弈學習
4.完全合作、完全競爭與混合任務
5.MADDPG
案例:MADDPG的案例等
強化學習課程
轉載:http://www.nywlwx.com/gkk_detail/65029.html
已開課時間Have start time
- 葉梓
其它課程內訓
- 《妙“手”偶得,相“機”而 賈蓓
- 紅酒品鑒與奢侈品鑒賞 羅惠依
- 新任管理者全面管理技能提升 羅建華
- 《對酒當歌—中國酒文化專家 粟長風
- 文字推動業(yè)績—營銷人員的軟 鐘理勇
- 個人移動金融業(yè)務 劉暉
- 新能源(光伏、風電)資源評 鄭文強
- AI大模型賦能行業(yè)數字化轉 劉暉
- 商場服裝陳列、色彩搭配 羅惠依
- 《企業(yè)讀書分享會》 李泉峰
- 著裝品位提升---中西服裝 羅惠依
- 《練就久說不累的好聲音—— 陳靜