美国陆军研发了一种高效的地面机器人学习模型

美国陆军面向未来多域作战概念研发了一种高效的地面机器人学习模型，该模型提出基于强化学习的策略，可有效减少当前训练强化学习策略的不可预测性，使自主智能体能够推理并适应不断变化的战场条件。

强化学习是智能体（Agent）以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。强化学习技术具备解决复杂问题的能力，近年来在如围棋、象棋和电子游戏等领域有较为长足的发展。美国陆军将这种强化学习技术应用在地面机器人面临着两个巨大挑战。首先是算法的限制。在强化学习中，策略梯度方法（Policy Gradient Methods）是连续空间可伸缩算法的基础，但是现有技术无法支持更广泛的决策目标，例如风险敏感性、安全约束、对先验知识的探索和发散。其次就是数据量的问题。强化学习需要大量的样本复杂性，而美国陆军多域作战概念和下一代战斗车辆（NGCV）项目目前数据匮乏并不支持现有训练机制。

在陆军多域作战概念和NGCV项目中应用强化学习，训练机制必须提高连续空间中的样本效率和可靠性，ARL通过将现有的策略搜索方案推广到通用工具，取得了重要突破。研究人员为通用程序开发了新的策略搜索方案，并且还确定了其样本复杂度。由此产生的策略搜索方案减少了奖励积累的波动性，形成了对未知领域的有效探索和先验的机制。值得注意的是，地面机器人获取数据的成本很高。减少奖励积累的波动性，确保以有效的方式探索未知领域，或者吸收以前的经验，都将有助于打破强化学习中现行实践的样本效率壁垒。通过减少随机抽样的数量，可以实现策略优化。

这项研究为强化学习中的经典策略梯度定理做出了贡献。装备有强化学习功能的自主机器人将能够协助战士在未来战场上进行侦察探索和风险评估。研究人员下一步计划在强化学习中将更广泛的决策目标纳入多主体设置，并研究强化学习主体之间的交互设置如何在团队之间产生协同和对抗性推理。
责任编辑：YYX

模型研发学习强化学习

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。