OpenAI开课了！深度强化学习最全课程包，教程、代码、一网打尽

头条共创 2024-06-12

大数据文摘出品

作者：魏子敏、蒋宝尚

继谷歌和微软的人工智能实践课程后，Elon Musk和Sam Altman主导创立的OpenAI刚刚也发布了一门教学+练手的全能课程“Spinning Up in Deep RL”，希望将他们最擅长的技术——深度强化学习能力分享出来，让更多技术人掌握。

先上课程地址

OpenAI地址：

https://spinningup.openai.com/en/latest/index.html

GitHub地址：

https://github.com/openai/spinningup/blob/master/docs/user/running.rst

由OpenAI来上强化学习这门课再合适不过了。今年8月份，OpenAI率领的AI战队，就是凭借这一核心技术能力，在与人类高手对决的DOTA2比赛中，赢得了个人赛，并且在团战中表现不俗。

强化学习是目前最流行的教机器人玩游戏的方法之一，也是在复杂场景下，人工智能进行决策的重要技术。

简单来解释下强化学习，假设你交给机器人一个任务，比如拾取金币，强化学习会在机器人完成任务时给予适当的奖励。这样机器人下一次执行任务时，就更愿意采取“正确”行动。在经历数百次、数千次，甚至数百万次的尝试之后，机器就能逐渐学习到完成任务时所需的策略。

OpenAI人工智能研究实验室一直通过强化学习技术训练机器人玩游戏，也一直是这一技术的全球引领者。昨天，OpenAI发博客宣布了深度强化学习教学资源集的正式发布。“Spinning Up in Deep RL”项目内含教程、清晰的RL代码示例、课程习题、文档等同步学习资料，称旨在让任何人学习成为深度强化学习的熟练实践者。

在DEEP RL中迈出第一步

在博客中，OpenAI强调了深度强化学习的重要性，虽然市面上有非常多的资源帮助人们快速学习这些知识。但是深入下去还是会遇到非常多的困难。OpenAI发布的Spinning Up能够帮助人们学习使用这些人工智能技术并培养对人工智能的直觉。

据悉，这个项目的设计灵感，来自于和OpenAI学者和研究员计划的合作。OpenAI观察到，机器学习非常小白的玩家，如果在一开始能够获得正确的指导和资源，就会在短时间大幅度提升他的专业能力。

Spinning Up in Deep RL 还能够为一些跨学科的领域提供帮助，例如人工智能安全，不光需要强化学习，还需要其他学科技能的辅助。

OpenAI认为，了解RL算法最好的方法是在代码中运行一遍，通过借助Spinning Up，代码编写变得会更加简单：

代码示例：python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world

Spinning Up实现了与Classic Control，Box2D或MuJoCo任务套件中的Gym环境兼容。OpenAI还为新手设计了Spinning Up的代码。简洁，友好，易于学习的设计使得小白更容易上手。OpenAI目标是避免通常存在于深度RL库中的抽象和混淆层。并且对代码进行了注释，以便编程者更加了解所使用的代码。

Spinning Up in Deep RL项目主要由以下几部分组成：

RL术语，各种算法和基本理论的简短介绍。一篇关于如何成长为RL研究员的文章。按主题分类的重要论文的精选清单。详细记录了关键算法的文档、使用其可以独立实现代码，包括： Vanilla Policy Gradient (VPG), Trust Region Policy Optimization (TRPO), Proximal Policy Optimization (PPO), Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3), and Soft Actor-Critic (SAC).当然，为了实践需要，还有一些必不可少的练习。

OpenAI开启全球教育计划

OpenAI也通过这一项目宣告了一个全球教育计划的开启，“Spinning Up in Deep RL只是OpenAI新教育计划的一部分，在一定程度上是对OpenAI愿景的延伸：创建一个全球的社区，共同应对AGI的挑战。OpenAI希望利用这个项目帮助迅速推进安全且广泛有益的人工智能。