AI 半场时刻

多客科技

作者：微信文章
注： 本文系由AI技术辅助创作完成，旨在探讨人工智能领域的前沿问题与发展方向。圖片由midjourney ，DALL·E，comful ui，即梦，GPT-4o等生成

当我们正站在 AI 发展的关键路口——半场时刻。过去的辉煌成就，皆源于训练方法与模型的不断创新，但当下强化学习（RL）的突破，为 AI 带来了新的生机。从早期的预训练（pre - training）到如今的 RL，AI 的发展路径愈发清晰。今天，让我们一同深入探讨 AI 的发展之路，剖析 RL 与预训练的异同，以及 AI 下半场的新方向。



从预训练到 RL：AI 发展的转折点

早在 OpenAI o1 模型发布前，我们便预见到大型语言模型（LLM）将迈入 RL 新范式，AGI 路线也随之进入下半场。早期，LLM 的预训练是对已有知识的压缩学习，模型通过海量数据汲取知识，构建基础的认知框架。如今，RL 的兴起，要求模型与环境交互以产生新知识，这无疑是 AI 能力的进阶考验。

相比预训练，RL 的算法和环境搭建更为复杂，头部实验室的探索尚未收敛。但 RL 的意义重大，它促使我们重新思考 AI 的发展路径。在 AI 训练中，定义问题比解决问题更重要，评估（evaluation）比训练（training）更重要，而环境（environment）与先验知识（priors）的重要性亟待重估。



AI 上半场：训练方法的黄金时代

回顾 AI 上半场，训练方法的创新是绝对的主角。DeepBlue 击败国际象棋冠军，AlphaGo 在围棋领域夺冠，GPT - 4 等模型在语言等领域大放异彩，这些里程碑成就，无不源于底层训练方法的突破。

然而，AI 上半场的评估方法存在局限。评估多基于自动运行的假设，任务独立同分布（i.i.d.）。这种评估方式虽推动了 AI 智能水平的提升，但在现实世界中，任务往往需要持续交互与顺序执行，评估与现实存在脱节。

AI 下半场：定义问题与评估的新时代

AI 下半场的大幕已拉开，游戏规则悄然改变。有效的 RL recipe 将攻克 benchmark 的过程标准化、流程化，新的训练方法不再是必需品。AI 下半场的核心，是从解决问题转向定义问题，从关注训练转向重视评估。

在 AI 下半场，我们需要开发面向现实世界效用的全新评估设定或任务。让 agent 在与人类的真实交互中接受评估，在长期任务中展现记忆与学习能力。我们要用这套通用 recipe 攻克新评估设定，或用新组件增强 recipe，循环往复，在未知中探索，在挑战中前行。



RL 与预训练：AI 学习的两大基石

RL 与预训练是 AI 学习的两大基石。预训练阶段，AI 通过对海量数据的学习，积累基础知识，构建起对世界的初步认知框架。而 RL 阶段，AI 则开始与环境进行深度交互，通过不断试错来优化自身策略，从而实现对复杂任务的高效解决。

RL 的核心在于算法、环境与先验知识的协同作用。过去，RL 研究者主要关注算法，如 REINFORCE、DQN、TD - learning、actor - critic、PPO、TRPO 等，而对环境和先验知识的关注不足。但在深度强化学习时代，环境的重要性凸显，一个算法的效果往往高度依赖于它所开发和测试的环境。直到 GPT - 2 或 GPT - 3 出现，我们才发现先验知识的重要性。大规模预训练能够将常识和语言知识提炼到模型中，为对话类任务提供良好的先验知识，但这种先验知识在控制计算机或玩电子游戏方面则不够理想。

AI 与脑科学：未来发展的新契机

AI 与脑科学的融合，为未来发展提供了新的契机。对大脑神经网络的研究，揭示了人类学习的高效性与复杂性，为改进 AI 的学习算法提供了灵感。同时，AI 的发展也为脑科学研究提供了新的工具与方法。通过模拟 AI 的学习过程，我们可以更好地理解人类大脑的学习机制。这种跨学科的融合，有望推动 AI 与脑科学的共同发展，为揭示智能的本质提供新的视角。

我们正处于 AI 的半场时刻，这是一个充满机遇与挑战的新时代。RL 与预训练作为 AI 学习的两大基石，为我们提供了全新的视角与工具。让我们共同关注 AI 的未来发展，积极参与到 AI 的研究与实践中，为推动 AI 从半场走向全场，为创造更加智能、更加美好的未来而努力。