AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

新闻

作者：机器之心
机器之心报道

机器之心编辑部

自研系统加大模型，新一代手机的标配？

自 ChatGPT 问世已来，我们正在见证新的技术革命，手机厂商更是纷纷高调宣称正在部署大模型，生成式 AI 的竞争已经跨过前期积累，进入到了技术应用的新阶段。



11 月 16 日，OPPO 开发者大会 ODC 2023 上，大模型加持的 ColorOS 14 正式亮相。

为了让生成式 AI 融入人们的日常生活，OPPO 将 AndesGPT 与自研智慧跨端系统「潘塔纳尔」实现了深度协同，也让我们看到了手机厂商对大模型的思考。

自研潘塔纳尔系统加大模型

不一样的智慧融合

据介绍，OPPO 早已在去年 ODC 发布了自研智慧跨端系统潘塔纳尔，作为 ColorOS 的一部分，诚如包罗万象的潘塔纳尔湿地一样，成为万物互融的底座。在一年的时间里，潘塔纳尔系统实现全面商用，通过泛在服务和智慧跨端这两项体验的革新，让 ColorOS 打通了人、设备、系统和服务的关系。



借助融合计算的能力，潘塔纳尔作为「中间件」系统给 ColorOS 带来「智慧跨端」，也让 ColorOS 的生态越走越开放，不仅实现自有体系手机、平板等设备互融，也打通了注入苹果、大疆 OSMO 等不同设备系统的连接。

基于潘塔纳尔系统，ColorOS 带来了「泛在服务」，能够根据地点、时间、事件、习惯，在通勤、外卖、差旅等高频场景上带来各种高效的智慧服务。比如车票、机票的提醒消息，有了潘塔纳尔，在手机和手表上通知会以卡片形式展示，耳机上则是以语音播报的形式展示，提醒及时又不过分打扰人。



在这背后，就需要手机等设备对于用户和大量信息进行分析，实现准确的「意图理解」。

如果说去年发布的潘塔纳尔系统是 OPPO 打破终端设备的头阵，一年沉淀后 OPPO 首发的安第斯大模型（AndesGPT），则让两者深度协同后实现进化，使潘塔纳尔系统情境感知能力大幅提升，可以更深入地识别用户需求。据介绍，潘塔纳尔系统通过低功耗感知等一系列技术优化，情境感知准确率提升了 3-10%，及时性提升 30%，同时功耗降低 20%，地理围栏学习周期也大幅缩短。

潘塔纳尔与 AndesGPT 的深度协同下，情境感知能力为意图理解提供了更多元的判断依据。现在，系统围绕专属服务和效率提升被解构为一个个服务，会根据用户意图主动提醒与推荐。

由于新服务包含的内容数量太多了，OPPO 对泛在服务交互进行了升级，把不同三方应用服务、系统服务，以及多种交互形式（胶囊、浮层、闪回窗等）整合成「流体云」。它可以按照不同服务的信息内容和优先级，以统一的形态进行有序呈现，做到交互归一，自然有序。



而在有序的跨端推送背后，潘塔纳尔系统的全新自适应交互框架是默默支撑这一切的关键点。

除了全新自适应交互框架，潘塔纳尔系统对开发者提供了更多支持。通过数据协同和投屏等多种方式，自适应交互框架也支持第三方应用智能选择合适设备、触点以及交互形式，实现服务跨端流转。

未来，我们可以期待所有常见的 APP 都被潘塔纳尔连接在一起。它覆盖身边的所有设备，与我们交互的方式则是由 AI 大模型驱动，以自然且个性化的方式进行。

潘塔纳尔的升级，把生成式 AI 与多样化的服务，以智能设备为载体与我们有机地连接在了一起。

OPPO 大模型 AndesGPT

主打端云一体

把大模型装入手机，是最近各家大厂一致的尝试方向。不过要想跟上这一波 AI 浪潮，就必须拿得出过硬的技术，打造出更适合移动终端的大模型体系。

ColorOS 14 上首发的安第斯大模型（AndesGPT）是 OPPO 自主训练的对话大模型，在本月初刚刚亮相。它覆盖从十亿至千亿以上的多种不同参数规模，专攻知识、记忆增强，提供创作与工具能力，同时可以进行支持端云协同的全场景智能调度。

据 OPPO 介绍，AndesGPT 是目前行业最优的大模型端侧部署方案，具备三大特点：对话增强、个性专属、端云协同。



要想构建一个善于对话的预训练大语言模型，参数量必须要足够「大」，然而这也意味着巨大的内存占用 —— 即使是优化后的 LLaMA 13B 也需要 10G 以上内存，再加上安卓本身的 4GB，其他 APP 的 6GB，就超过了大多数手机 16G 的内存容量。

为此，AndesGPT 在端侧对推理引擎进行算子融合与优化，通过与高通、联发科技的合作，在业内率先采用了 4 位量化技术。优化之后的 AndesGPT 在手机上可以基于同一个模型采用两个优化方案共同计算，第一个字显示在屏幕上的速度快了 42 倍。



解决完能否跑得通的问题，接下来就要看是否能算得好：AndesGPT 在行业首次做到了端侧内容输入上限达到 4K，在 30 亿参数规模上单次最大可接收 4096 tokens，70 亿可接收 2048 tokens。在文本摘要等任务上，它可以让手机一次理解更多的信息。

AndesGPT 也完成了视觉大模型的部署，实现了图片生成时间上的行业领先：文生图单张图 5.5 秒，图生图 6.6 秒，支持了闪速抠图，智能消除等应用。

ColorOS 14 的闪速抠图可以轻松提取图片中的多个主体，帮助用户快速采集到图像素材。不同于传统的「抠图」技术，往往主要针对单个主体，或轮廓比较清晰的主体，而对于人物精细的头发，或背景较复杂时的抠图处理，往往出现被「抠」图像有毛刺或灰边，甚至抠出的主体缺「头」少「胳膊」，图片直接崩坏。

ColorOS 基于大模型算法支持，进行了专门的边缘细化，可以做到毫秒级响应，抠图精细程度不仅达到发丝级，且支持最多 6 个主体单独提取。（* 人，动物，建筑，车等主体都可以抠出）

闪速抠图剪好的内容可以直接加入文件中转站，在多设备上使用：



‍

基于大模型技术，ColorOS 14 的智能消除功能还能像魔法一样轻松抹掉图片中的路人、杂物。对比传统修复模型（CNN-GAN）采用的消除算法，智能消除基于生成式大模型技术，投入千万级生活场景真实图像打造，可以做到对用户消除对象进行精准定位和预测，实现细节和纹理的真实填补。



在背景复杂充满各类线条感（如背靠栏杆等）、消除内容面积大（1/3 画幅）以及抹除内容与拍摄主体有交叉等场景中，智能消除几乎做到完美的抹除，背景细节依然清晰。



大模型还需要能够引用正确的知识，并且记得你曾经说过的话。在云侧，AndesGPT 通过融合知识库、知识图谱及通用搜索，实现了更专业的问答。同时通过引入长时记忆与实时记忆机制结合，能够实时更新对用户的理解，你上一次与小布助手说过的话，在下次交互时不用再复述一遍。

基于 OPPO 自主训练的 AndesGPT，升级后的小布助手具备 AI 大模型能力，可以实现更流畅、更自然的对话，也支持自然语言指令调用手机设置。

凭借专业知识、逻辑推理与记忆等大模型基础能力优化，AndesGPT 能够快速根据用户对话解决问题，支持各种文生图与图生图任务。小布智能体甚至还可以提供涵盖短视频脚本、策划案生成、要点总结、小红书文案等内容生成能力。

除了生成式 AI 领域常见的文本和图形能力，OPPO 的大模型还会一些别人不会的：AndesGPT 支持包括歌词、旋律、编曲、音色等元素的全流程音乐生成，可以通过主题、风格、元素等提示生成歌词，或通过提示精确控制歌词的具体形式。这方面的功能也将逐步落地。

未来你如果想发一条朋友圈，不仅能用 AI 写文案，配上图片，还能再加上专属的 BGM。



为了让 AndesGPT 能做到这一切，OPPO 充分利用了端侧和云侧算力。AndesGPT 不仅包含端侧与云侧的大模型，还能以端云分工、端云协作方式等，实现全场景的智能调度。

在实际工作中，AndesGPT 会根据任务需求和模型能力不同智能调用不同模型，比如联系人查询等简单任务用小模型在端侧快速响应，知识 / 信息查询等复杂任务采用云端大模型准确回答；在长文摘要或文案创作时，端侧模型可以提供微调数据完善云侧模型，云侧模型也能辅助提升端侧模型性能。这样做兼顾了推理成本和用户体验。

端云协同还有保护隐私安全的优势。AndesGPT 在工作过程中采用隐私相关的计算放在端侧、隐私无关的计算放在云侧的方式，让人们在保证隐私安全的前提下获得了个性化体验。

说到这里，要想利用好生成式 AI 能力，我们需要让大模型能自主地理解、规划，具备执行复杂任务的能力，毕竟写大模型的提示词也是比较复杂的事。

这就需要用到最近大模型领域里很火的智能体（Agent）技术。

作为 OPPO 自主训练的个性化专属大模型，AndesGPT 就可以做到让 AI「帮你提问」，自动整合功能与请求，完成复杂任务。ColorOS 14 上，用户的一句话会经由手机的端侧模型进行理解形成提示词，再输出给云端模型解决问题，这样的端云融合，实现了新版小布「超级助理」的多种功能，仅手机的设置功能就覆盖了近 400 项。



而在手机最基本的通话过程中，AI 也集成了转录功能，能通过大模型能力自动提炼关键信息，帮你自动总结出摘要。



从潘塔纳尔到 AndesGPT，OPPO 为我们展开了一幅生成式 AI 未来全景图从小到大的用户场景逐步迭代。十岁的 ColorOS，再次让我们刮目相看。

结语

能做到化繁为简，重塑用机体验的 OPPO ，其实只是在坚持一个简单的初心：让生成式 AI 成为真正帮人解决问题的工具，而不是只能用来炫技的额外技能。与系统应用充分结合，面向高频场景是 ColorOS 14 新能力的共性。

OPPO 在生成式 AI 落地上的努力还在继续。据 OPPO 内部透露，AndesGPT 的 13B 大模型在端侧已经跑通，智能消除、通话摘要、多模态搜图等能力也将会支持端侧化，实现快速响应。

可以预见，随着潘塔纳尔生态的铺开，AndesGPT 技术的进步，ColorOS 也将继续探索，推出更多与移动终端结合的大模型体验。

端侧化 AI 落地会给用户带来什么体验，我们已逐渐有了答案。

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com