OpenAI对Meta的Llama 3冷笑:你有热度,我有新的企业级AI功能!

新闻

作者：程序员吾真本
正当Meta的Llama 3火得一塌糊涂的时候，OpenAI昨天在官网挂出了他们的新的企业级AI功能。科技新闻网站VentureBeat上，Carl Franzen的文章就像是在说：“OpenAI偷瞄了一眼正在火热的Meta的Llama 3，然后说：‘哈，我这儿还有新的企业级AI功能呢。’”咱们来看看文章到底在说啥。

当Meta的新Llama 3在大型语言模型（LLMs）排行榜上冲上云霄，OpenAI，这个一直引领生成式AI的竞争者，却在此时发布了新的企业级功能，用于构建和编程他们的GPT-4 Turbo LLM和其他模型，就像在说：“别以为你快，我可是有备而来哦。”

昨天，OpenAI宣布他们要为API客户扩展企业级功能，使助手API更丰富，安全性和管理控制工具更强大，而且还能更有效地管理成本。

OpenAI的产品负责人Olivier Godement在昨天与VentureBeat视频通话中说，“当你跟开发者或者商业公司谈到用AI模型做有意义的事情时，OpenAI依然是AI模型的老大。不过，我们其实挺喜欢有竞争的，这样大家都能进步嘛。”



私有链接和加强的安全功能

OpenAI在安全性方面进行了重大升级，引入了私有链接，这是一种安全的方法，可以实现Microsoft的Azure云服务和OpenAI直接通信，他们说这能让通过API发送的客户数据和查询“暴露在开放的互联网上”的程度最小化。

这项新增功能是对现有的安全技术栈的补充，其中包括SOC 2 类型 II 认证，单点登录（SSO），AES-256数据静态加密，TLS 1.2传输中的加密，以及基于角色的访问控制。

此外，OpenAI还引入了本地多因素身份验证（MFA）以增强符合不断增长的合规性需求的访问控制。

对于需要HIPAA合规的医疗保健公司，OpenAI继续为符合条件的API客户提供商业伙伴协议以及零数据保留政策。

升级的助手API，相比过去可以处理500倍的文件

OpenAI的助手API是他们的企业产品。

虽然宣传并不多，但其重要性不言而喻。

它允许企业部署他们训练和/或调用特定文档的自定义精细调整模型，通过检索增强生成（RAG）在他们自己的应用程序中提供一个会话助手。

比如，电商公司Klarna今年早些时候就在得瑟他们的AI助手。

这个助手是用OpenAI助手API做出来的，能够完成700个全职人员的工作，重复查询减少了25%，解决时间减少了近82%（从11分钟减少到2分钟）。

现在，OpenAI已经升级了助手API，包括使用新的“文件搜索”功能增强的文件检索能力，每个助手可以处理高达1万个文件。

这比之前的20个文件限制增加了500倍，还增加了像并行查询，改善重排，和查询重写等功能。

此外，助手API现在支持实时会话响应的流媒体——这意味着像GPT-4 Turbo或GPT-3.5 Turbo这样的AI模型将能尽快返回输出，而不是等待完整的响应。

他们还进一步集成了新的'vector_store' 对象，以更好地管理文件，并提供更精细的令牌使用控制以帮助有效管理成本。

Projects让企业能控制和划分对特定任务和作业的访问权限

一个叫做Projects的新功能，通过允许组织在项目级别管理角色和API密钥，提供了改进的管理监督。

这个功能让企业客户可以规定权限，控制可用模型，并设置基于使用的限制，以避免意外的成本——这些增强功能有望大大简化项目管理。

实际上，他们可以将一个AI模型的精细调整版本或甚至一个普通模型隔离到特定的任务或文档集，并允许特定的人员在每个这些上面工作。

所以，如果你的企业有一个团队正在处理一组面向公众的文档，而另一个团队正在处理一组机密或内部文档，你可以在OpenAI的API中为每个团队分配一个单独的项目，两个团队可以在各自的AI模型上进行工作，而不会相互混淆或妨碍。

“随着更多的组织甚至单独的开发者部署AI，他们想要在受控的框架中做事情，” OpenAI产品团队的成员Miqdad Jaffer在昨天与VentureBeat进行的同一视频通话采访中说。

“Projects让你能够将你的资源、你的成员，隔离在一个小型的独立项目中。“

”你可以得到单独的使用报告。你可以控制访问、安全性、延迟、吞吐量和成本，并且一个组织真的可以以非常安全的方式构建AI。”

“如果你是一个单独的开发者，你可以部署数百个项目而不需要担心任何问题。”

对于同时咨询或处理多个客户的开发团队来说，这一点特别有用。

省钱的批量令牌功能

为了帮助组织更加经济地扩大他们的AI操作，OpenAI引入了新的成本管理功能。

这些包括为维持每分钟令牌使用量恒定水平的客户提供折扣，以及通过新的批处理API为异步工作负载减少50%的成本，这个API还有更高的速度限制，并承诺在24小时内提供结果。

但要使用这个，客户必须把他们的一批令牌——他们想要分析的AI模型的输入，无论是提示还是文件——一起在一个请求中发送，并愿意等待最长24小时以从OpenAI的AI模型接收响应。

虽然这似乎是个很长的时间，但OpenAI的高管告诉VentureBeat，实际上可能只要10-20分钟就能得到结果。

这个功能是为那些不需要AI模型立即响应的客户和企业设计的。比如，一个调查记者正在研究一篇长篇特稿，想把一堆政府文件发给OpenAI的GPT-4 Turbo进行排序，找出一些特定的细节。

或者，一家公司正在准备一份报告，研究其过去的财务表现，这份报告需要在几周而不是几天或几分钟内完成。

随着OpenAI继续加强其在企业级安全性，管理控制和成本管理方面的提供，这次的更新表明他们对为企业提供更多“即插即用”的体验有着浓厚的兴趣，以抵消Llama 3和Mistral等开放模型的崛起。

要实现OpenAI的上面这些针对企业的功能，使用Llama 3和Mistral等开放模型的企业，需要自己进行更多的配置。