計算機論文：基于深度強化學(xué)習(xí)的量化投資策略計算機研究

計算機論文：基于深度強化學(xué)習(xí)的量化投資策略計算機研究agent與環(huán)境交互進(jìn)行學(xué)習(xí)的方式使agent具備完全自主學(xué)習(xí)解決任務(wù)的能力，基于深度強化學(xué)習(xí)構(gòu)建的量化投資策略可以隨時根據(jù)金融市場的變化第一章緒論研究工作的背景與意義數(shù)據(jù)是最寶貴的財富。歷史行情、金融交易、投資理財、風(fēng)險控制、量化投資運用數(shù)學(xué)、計算機技術(shù)制定策略，能夠有效利用金融數(shù)據(jù)。強化學(xué)習(xí)實現(xiàn)“感知—認(rèn)知—自主決策—自我學(xué)習(xí)”的循環(huán)，呈現(xiàn)出自我學(xué)習(xí)的特征。量化投資作為高度數(shù)據(jù)化、數(shù)學(xué)化、程序化的行業(yè)，是強化學(xué)習(xí)很好的應(yīng)用場景。金融行業(yè)需要便捷、有效、精確的量化投資豐富投資工具。隨著大數(shù)據(jù)、人工智能的蓬勃發(fā)展，量化投資具對將強化學(xué)習(xí)應(yīng)用于金融領(lǐng)域具有參考價值。量化投資運用計算機對交易市場的數(shù)據(jù)進(jìn)行處理并在適當(dāng)時機發(fā)出期貨、股票等，目前我國可被交易的金融產(chǎn)品也比較豐富。.......................國內(nèi)外研究歷史與現(xiàn)狀I(lǐng)rwin[4]（1986）等學(xué)者編寫自動化交易程序在期貨市場進(jìn)行自動化交易，對期貨市場的交易產(chǎn)生了一定變革作用。Neftci[5]（1991）等學(xué)者在道瓊斯工業(yè)指數(shù)預(yù)測的研究中編寫程序?qū)r格均線產(chǎn)生的交易信號進(jìn)行篩選，提高了收益穩(wěn)定性。Ritter[6]（1992）等學(xué)者在量化投資中引入行為金融學(xué)理論，他們發(fā)現(xiàn)：在過去一段時間表現(xiàn)不好的股票在接下來的時間很有可能上漲。買入收益率最低的股票并且持倉一個月后再平倉。Jegadeesh[7]（1993）等人在對投資收益進(jìn)行研究時發(fā)現(xiàn)，過去收益高的資產(chǎn)，并且持倉時間要超過反轉(zhuǎn)策略的持倉時間。Moody[8]RRLRRL(SharpRRLQ-learning的策略。Kimk[9]（2003）等學(xué)者將SVM運用于金融時間序列預(yù)測中，在研究中將基于SVM的策略與基于神經(jīng)網(wǎng)絡(luò)的策略進(jìn)行對比，實驗結(jié)果顯示基于SVM的策略收益率更穩(wěn)定。J.W.Lee[10]（2004）基于Q-Learning提出Q-trader股票交易系統(tǒng)，Q-trader通過Q-Learning矩陣和每個周期的利潤決定持有股票的時間，完成股票買入、賣出。Khan[11]（2008）等學(xué)者將遺傳算法融入基于神經(jīng)網(wǎng)絡(luò)的量化投夠提高準(zhǔn)確率。.......................第二章量化投資和深度強化學(xué)習(xí)量化投資有效市場假說有效市場假說[38](EfficientMarketHypothesis，EMH)是傳統(tǒng)金融理論的基礎(chǔ)認(rèn)為金融市場是健全和有效的傳統(tǒng)金融理論圍繞產(chǎn)定價和投資組合對個體的投資行為進(jìn)行研究在20世紀(jì)80年代的金融研究領(lǐng)域占據(jù)主導(dǎo)地位。 20 世紀(jì)初，法國數(shù)學(xué)家 LouisBachelier應(yīng)用統(tǒng)計分析方法分析證券收益率，從隨機過程角度對布朗運動以及股價變化的隨機性進(jìn)行研究發(fā)現(xiàn)市場在信息方面的有性，有效市場假說開始萌芽1970年，EugeneFama在總結(jié)前人的理論和實證的基礎(chǔ)上正式提出有效市場假說。有效市場假說認(rèn)為金融市場是健全和有效的，資產(chǎn)的價格完全（一技術(shù)分析方法無效，投資者使用基本分析方法有可能獲得超額收益。（二）（三）..........................強化學(xué)習(xí)環(huán)境構(gòu)建強化學(xué)習(xí)算法分類標(biāo)準(zhǔn)之一是agent能否完全訪問（或?qū)W習(xí)）MDP過程中的狀態(tài)轉(zhuǎn)移函數(shù)和獎勵函數(shù)。使用模型的算法為基于模型學(xué)習(xí)l，沒有基于模型的算法為免模型學(xué)習(xí)（-e。有模型學(xué)習(xí)最大的優(yōu)勢在于agent。基于模型的任務(wù)中使用基于模型的算法，那么agent必須完全從軌跡中學(xué)習(xí)探索出來的模型和真實模型之間存在誤差，而這種誤差會導(dǎo)致agent在學(xué)習(xí)到的終的結(jié)果也可能達(dá)不到預(yù)期的效果。在算法交易問題中，不存在環(huán)境的真實模型，若agent想學(xué)由于市場預(yù)測可行性很低（甚至不可預(yù)測，因此，本文使用無模型............................第三章基于深度強化學(xué)習(xí)的量化投資策略設(shè)計 20問題定義 19強化學(xué)習(xí)環(huán)境構(gòu)建 20第四章基于深度強化學(xué)習(xí)的量化投資策略改進(jìn) 31動作塑造 31優(yōu)勢塑造 31第五章基于深度強化學(xué)習(xí)的量化投資策略實證.............................44算法改進(jìn)驗證 44裁剪PPO改進(jìn)驗證 46動作塑造改進(jìn)驗證 47第五章基于深度強化學(xué)習(xí)的量化投資策略實證5.1 算法改進(jìn)驗證本文中策略的訓(xùn)練、回測在外匯市場進(jìn)行，外匯交易市場是最具價格上升（下降）時，做多（做空）獲利。...........................第六章全文總結(jié)與展望6.1 全文總結(jié)本文以深度強化學(xué)習(xí)為基礎(chǔ)對量化投資策略進(jìn)行了研究。金融活agentagent本文主要完成了以下工作：針對策略輸出動作的有效性與持倉狀態(tài)有關(guān)的問題提出動作agent輸策略獲利能力。針對將策略獲得的收益分配給不同交易動作的難題提出了優(yōu)通過實驗驗證