研究揭示了人工代理和大脑活动模式的相似之处

人工智能 (AI) 从人类大脑的现有知识中汲取灵感，人工复制其某些学习过程和功能。然而，人工代理成功模拟大脑活动的程度尚不完全清楚。

新加坡南洋理工大学李光前医学院的研究员 Hiroshi Makino 最近开展了一项研究，探索大脑和人工智能体如何学习解决新的复合任务的可能相似之处。他的发现发表在Nature Neuroscience上，可能对 AI 和神经科学研究产生有趣的影响。

“以前的心理学研究表明，人类和非人类动物结合了预先学习的技能来扩展他们的行为库，”进行这项研究的研究员 Hiroshi Makino 告诉 Medical Xpress。“然而，大脑如何实现这一点仍然知之甚少。我受到深度强化学习(人工智能研究的一个子领域)研究同一问题的启发，并通过记录小鼠大脑中的神经活动对从中得出的理论预测进行了实证检验。 “

在解决新任务时，AI 代理会提取在预训练期间获得的技能，并以分层方式重新组合这些技能。牧野想探索大脑以类似方式行事的可能性。

为此，他首先研究了深度强化学习代理如何学会解决新任务。随后，他将此与小鼠处理相同新任务的方式进行了比较。

“当老鼠通过结合预先获得的技能/知识解决了一个新问题时，他们大脑中单个神经元的活动被记录下来，”Makino 解释道。“将由此产生的神经活动与源自深度强化学习的 理论模型进行了比较，在深度强化学习中，使用简单的算术运算来组合预先学习的行为的值。”

使用一种称为双光子钙成像的技术，牧野探索了小鼠皮层(与执行功能和学习相关的大脑区域)中发生的事情，因为他们使用以前获得的技能处理了一项新任务。有趣的是，他观察到动作价值的神经表征类似于在处理新的复合任务时由深度强化学习算法创建的神经表征。

“我发现用深度强化学习算法训练的人工智能体和大脑之间有相似的活动模式，”牧野说。“我认为这项研究的主要贡献之一是神经科学和深度强化学习的整合，以确定大脑如何构成新行为的潜在机制。”

总的来说，Makino 的研究结果表明，在处理新任务时，哺乳动物的大脑会通过对先前获得的具有随机策略的动作值表示进行简单的算术运算来构成新的行为。这些想法源于深度强化学习的理论框架。

将来，这项最近的研究可以为将神经科学观察与深度强化学习研究联系起来的新研究铺平道路。这些工作可以共同促进人工智能系统的持续改进，同时也有可能增强目前对哺乳动物大脑的理解。

“我现在计划通过将深度强化学习 的理论概念应用于神经科学来研究自然智能各个领域的神经机制，”牧野补充道。