＂苹果全新发布:八款迷你AI语言模型,专为设备端革新而生!＂

我爱免费

作者：智能融点
<div itemprop="articleBody">


在人工智能领域，所谓“小型语言模型”近年来越来越受欢迎，因为它们可以在本地设备上运行，而无需在云端使用数据中心级计算机。本周三，苹果推出了一组名为 OpenELM 的小型开源人工智能语言模型，其规模小到可以直接在智能手机上运行。这些模型目前主要是概念验证型研究模型，但它们可能构成苹果未来在设备上提供人工智能产品的基础。

“Apple的新AI模型，统称为OpenELM（开源高效语言模型），目前可在Hugging Face上以Apple Sample Code License的形式获得。尽管许可证中存在一些限制，可能不符合通常意义上的“开源”定义，但OpenELM的源代码是公开的。”

周二，我们探讨了微软的Phi-3模型，其目标在于实现类似的东西：在小型的本地运行人工智能模型中达到有用的语言理解和处理性能水平。Phi-3-mini具备38亿个参数，而苹果公司的OpenELM模型则小得多，八个不同的模型参数范围从2.7亿到30亿。

相比之下，Meta公司迄今发布的Llama 3系列最大模型拥有700亿个参数（4000亿个版本的模型即将问世），而OpenAI公司在2020年发布的GPT-3模型拥有1750亿个参数。参数数量是粗略衡量AI模型功能和复杂性的标准，但最近的研究侧重于开发的小型AI语言模型具备与数年前的大型模型相同的功能。

OpenELM的八种模型有两种风格：四种作为“预训练”（基本上是模型的原始、下一个令牌版本）和四种作为指令调整（为指令跟踪进行微调，这对于开发AI助手和聊天机器人更为理想）：

OpenELM-270MOpenELM-450MOpenELM-1_1BOpenELM-3BOpenELM-270M-InstructOpenELM-450M-InstructOpenELM-1_1B-InstructOpenELM-3B-Instruct

OpenELM具有2048个令牌的最大上下文窗口。这些模型是在公开可用的数据集RefinedWeb上训练的，这是一种没有重复项的PILE版本，是RedPajama的一个子集，以及Dolma v1.6的一个子集，据苹果公司称，这些数据集总计约1.8万亿个令牌的数据。令牌是AI语言模型用于处理的数据的碎片化表示。

苹果表示，其与 OpenELM 联手采取了一种“分层缩放策略”，这种策略据称能更有效地将参数分配给每一层，不仅节省了计算资源，还在训练时使用更少的标记符提高模型的性能。根据苹果发布的白皮书，这种策略使 OpenELM 的准确率比 Allen AI 的 OLMo 1B（另一种小型语言模型）高出 2.36%，同时所需的预训练标记符数量减少了一半。



苹果还发布了其用于训练OpenELM的库CoreNet的代码，并附带了可复制的训练配方，这些配方允许复制权重（神经网络文件），这在主要科技公司中是不常见的。正如苹果在其OpenELM论文摘要中所说，透明度是公司的主要目标：“大型语言模型的再现性和透明度对于推动开放研究、确保结果的可靠性和可信性、以及调查数据和模型偏见以及潜在风险至关重要。”

通过发布源代码、模型权重和训练材料，苹果表示，其目的是“推动和丰富开放研究界”。然而，苹果也警告说，由于这些模型是在公开的数据集上训练的，“这些模型可能产生不精确、有害、偏颇或不雅的输出结果，以满足用户的提示”。

虽然苹果尚未将这一波新的人工智能语言模型功能集成到其消费设备中，但即将发布的 iOS 18 更新（预计将在 6 月的 WWDC 上公布）据传闻将包括新的 AI 功能，这些功能利用设备上的处理来确保用户隐私——尽管该公司可能会聘请谷歌或 OpenAI 处理更复杂的、设备外部的 AI 处理，以让 Siri 获得期待已久的提升。