关于对《Reinforcement Learning: An Introduction》的理解?

关于对《Reinforcement Learning: An Introduction》的理解?

谢邀。我2015年开始学的RL,那本书反反复复看了几遍。我导师上两届没有招RL方向的博士生,所以我一个人在实验室看书,没有讨论,没有资源,知乎那时候RL的东西也不多。一开始很痛苦,不得要领,后面才慢慢搞懂的。 给出两个我的转折点。

我的经验是,看不懂书和论文,说明有一些依赖的基础知识没有掌握到一定强度。需要用别的材料降低学习曲线,而不是死磕一本书。

1. online course CS188x_1 Course Info 中的RL章节,有Qlearning的算例,跟着一步一步手算。2. UCL silver的课程。 那个课程很长,我主要是看ppt。ppt对应这本书的内容,终点被突出了。3. 自己动手写。 我一直找开源的包,用来用去都不满意,自己用java从零写了一个通用的 RL框架。 这个过程很漫长,我写过3个版本都扔掉了,最近一个才比较好用。在这个过程你能自己思考RL的本质,很多事书上没有的东西。

现在才慢慢感觉入门。 你的心情我能理解,加油,多看看其他材料,时间到了会豁然开朗的。我写的通用RL框架 GitHub - mannerslee/GeneralReinfocementLearningFramwork: General Reinforcement Learning Frame implement by Java

一些我学过的辅助材料强化学习(reinforcement learning)有什么好的开源项目、网站、文章推荐一下?也多看看知乎其他人的回答,启发特别大。DQN 从入门到放弃1 DQN与增强学习 这个系列对我启发就特别大。

另外英语, 概率统计,线性代数,最优化 能力加强对理解RL是非常大的好处的。

这一年我花过不少时间重新学校 MIT线性代数的视频, 台大林轩田《基石》《技法》

补充:

大家关注一下 RLChina强化学习夏令营。这里都是RL圈最活跃的老师。关注一下他们很有帮助

RLChina 强化学习夏令营

2021年备注,

我博士毕业后,没有最近没有继续RL的研究。 目前在业绩做Data Scientist的工作。私信我问RL问题,前沿的RL我开始脱节了。 很高兴这个博士二年级写的答案有一些同学有帮助。