尝试理解强化学习

强化学习就是评价学习,这个和深度学习有啥区别?

我个人理解就是深度学习需要对一个一组特征设置标签, 然后反复训练模型,是这个模型尽量接近  一坨特征数据等于标签。

而强化学习是对一坨特征,模型刚开始不知道标签是具体是啥,随便输出一个值y就行,然后我们实现一个奖励函数,对这个输出值打一个分, 分数越高,说明这个随便输出的值可以认为是临时的标签数据。 相当于在训练过程中动态设置标签数据。

也就是说强化学习核心是需要一个打分系统,不需要预先设置标签。 

深度学习模型刚开始可以认为是随机生成一个值的,然后这个值和标签进行比较,这个值越小表示模型越好

强化学习模型刚开始可以认为是随机生成一个值的,然后对这个值进行打分, 这个分值越大表示模型越好。 

 

===============================

深度学习应用在买基金上:

比如给前30天的涨幅作为特征,今天的涨幅作为标签。 让模型去训练,训练好后去预测每日涨幅。

这里预测的准不准,其实和特征有很大关系,光涨幅这维度的特征去训练,计算训练完也很难达到好的预测效果, 因为基金涨幅的影响因素太多了

 

强化学习应用在买基金上:

首先得设计一个基金交易环境, 这个环境的输出是近30天的涨幅。输入是买入,卖出,观望。假定本金1万, 打分系统就设计成收益率

然后给前30天的涨幅作为特征, 输出值定义域y[-1, 0, 1],    0表示观望, 

我们人为的可以设计一个输出值y的含义:

y>0 表示买入, y=0.2    表示买入2000.     

y=0. 表示观望,不买也不卖

y<0 表示卖出, y=-0.5  表示卖出持有份额的一半。

在买基金的问题上,强化学习和深度学习是一样的,都不太准确,好处就是比较理性。还有一个缺点训练数据集太小,因为一支基金10年才2500条左右的数据。

很简单的例子,一个疫情的出现,会让医疗相关基金保障,而人工智能预测不了疫情会出现。 

但是这并不意味这个不能应用在买基金这件事上, 因为它会有一个策略, 什么时候止盈, 什么时候买入,什么时候加仓。这个策略不是简单的定投。

 

强化学习应用在游戏上

强化学习在非常擅长应用在游戏领域,因为游戏本身就是环境, 游戏画面就是输出, 基本上所有的游戏基本都有一个分数或者胜利的东西,即打分系统。

比如说玩消灭星星

消灭星星游戏本身就是一个环境,这个环境的输入就是点击位置, 输出就是游戏画面。 消灭的分数就是打分系统。

gym 里有很多基于物理引擎的游戏, 非常适合来练手,学习。

 

posted @ 2022-05-15 01:35  Please Call me 小强  阅读(17)  评论(0编辑  收藏  举报