關鍵詞：優先經驗回放 深度q網絡 累積回報 

摘要：實現深度Q學習的一種方式是深度Q網絡(Deep Q-networks,DQN).經驗回放方法利用經驗池中的樣本訓練深度Q網絡,構造經驗池需要智能體與環境進行大量交互,這樣會增加成本和風險.一種減少智能體與環境交互次數的有效方式是高效利用樣本.樣本所在序列的累積回報對深度Q網絡訓練有影響.累積回報大的序列中的樣本相對于累積回報小的序列中的樣本更能加速深度Q網絡的收斂速度,并提升策略的質量.本文提出深度Q學習的二次主動采樣方法.首先,根據序列累積回報的分布構造優先級對經驗池中的序列進行采樣.然后,在已采樣的序列中根據樣本的TD-error(Temporal-difference error)分布構造優先級對樣本采樣.隨后用兩次采樣得到的樣本訓練深度Q網絡.該方法從序列累積回報和TD-error兩個方面選擇樣本,以達到加速深度Q網絡收斂,提升策略質量的目的.在Atari平臺上進行了驗證.實驗結果表明,用經過二次主動采樣得到的樣本訓練深度Q網絡取得了良好的效果.

自動化學報雜志要求:

{1}關鍵詞選擇貼近文義的規范性單詞或組合詞（3—5個）。

{2}來稿應標明第一作者的工作單位、通信地址、電話等。

{3}文稿題目及各級標題要求簡短醒目,各級標題采用阿拉伯數字分級編號，即按照1；1.1；1.1.1……統一編號。

{4}參考文獻應引用所有公開發表的，并與本文有關的，近年主要中外文獻（以本學科或相關學科期刊為主）。

{5}多位作者的署名之間用空格隔開。英文摘要中，作者姓名的中文拼音，姓前名后，中間為空格，姓氏的全部字母均大寫，名字的首字母大寫。

注：因版權方要求，不能公開全文，如需全文，請咨詢雜志社