AI用序列理解时间

我爱免费

作者：微信文章


扩散模型通过加噪或去噪，学习了数据的在图像空间中的概率流。它隐式地学习了数据在时间（扩散序列）中的演化，将噪声空间推导出语义结构的空间。

LLM通过预测下一个词，学习语言词汇的概率分布，生成的过程也是序列。不过Transformer的注意力机制不依赖线性时间，建立了全局的关联。

有点像波函数。其本身确定性地演化，但可观测的预测是概率性的。

包括热力学的时间箭头源于统计力学，是完全对称的，但是在宏观的概率统计上显示出了方向性。

因此，这些系统是否依赖于一种共同的架构？

相对论启将时间单向流动作为前提假设，而统计学理论从事件的顺序，也就是因果，构建出时间的方向。

同样地，如果我们要创造某种智能，也需要构建一个内部时间维度，在其中进行概率演化。

这是一种在时间维度上的熵减，而时间恰好是概率的展开。

我们可以通过构造时间维度来学习概率演化，而概率本身是时间的本质，一个优雅的闭环。

因此，llm只是高维空间中的一个点，整个生成过程就是在这个空间中，沿着一条路径移动。

这意味着所有的位置平等存在，生成或阅读的时候，我们只能占据一个位置。

同时，我把智能理解为基于历史的预测机：通过历史的学习，是将过去投射为未来的一种方式。

如果这样看，如果AI的一切输出都隐含在初始条件中，那么我们的思想和行为是否也隐含在宇宙的初始状态中？

比如这篇文章从我写开始就是确定的，我只是活在写作的那个时间截面里面。

生成的过程只是在遍历这个“可能性块宇宙”的一条路径，而生成的过程就像跟随时间轴移动的光锥。