聊聊多模态AI

新闻

作者：咱们聊聊
要想知道AI到底对我们周边的生活有哪些影响，会对现在的行业造成哪些变化，其实就是指AI的应用及内容，但是理解其应用的基础上，就需要引入“大模型+小模型”的概念，那么什么是大模型？什么是小模型呢？

AI大模型主要有两种：一种是通用大模型/底座，另一种是就是垂直大模型/行业大模型。

用个面试的例子来打个比方，通用大模型就相当于是通用的技能，比如面试者会说自己有解决问题的能力、沟通能力或者是有团队合作意识等等，垂直大模型呢则是针对要面试的岗位所具备的特定技能，比如说教数学的老师面试会说自己教数学方面的优势。

通用大模型成本很高、训练的数据量大、技术门槛也高，训练一次基本上要耗费约1000万元的电力的费用，不是所有的工作都能承担。国内的很多大模型还是围绕垂直行业的解决方案，模型不大，训练数据没有通用模型大，但是它们有一些行业的核心数据和业务系统的生产数据，所以他们在某些行业有一定的优势。‍‍‍‍‍‍‍‍

下面的框架其实就是在说：

建成一个模型的过程需要通过各种传感器、智能设备等采集文本、图像、音频等多模态数据，训练、验证、测试后就形成了一个模型，不同用户根据需求输入不同的信息，模型会返回出不同的结果。

就像是你学习一门学科的考试后，参加该学科的考试出的分就是模型针对你学这门学科的能力出的结果。



一起看看国内布局通用大模型的相关公司吧：

国内厂商	模型
科大讯飞	讯飞星火
昆仑万维	天工大模型
三六零	360智脑
云从科技	从容；重点方向主要是金融、交通、能源和制造等行业领域；
华为	盘古

垂直大模型：

一般都是拥有某个行业数据比较多的公司会布局相对应的行业垂直模型，或者一些积累了一定数据的软件公司/互联网大厂也会切入垂直大模型赛道，这些公司投入比通用模型小，业绩落地比较快。

之前火的Sora就是视频生成内容，训练出视频行业垂类模型需要更多的数据支持，相比文字生成内容的模型更难一些的。文字生成内容模型可以应用的场景一般为智能客服、智能问答、生成文案等，目前可以应用的行业多数在金融、法律、跨境电商、出版等；视频类模型可以应用的行业一般为游戏、MR/AR/VR、影视、教育等。

视频行业垂类模型：

国内厂商	模型细节	公司介绍
大华股份 （星汉大模型）	以电力行业大模型为例,从整个变电站全貌,到变压器等仪器仪表设备运行状态,通过大模型对电力场景全貌真实孪生重现,辅助可视化管理,并可助力施工操作推演实训、运维数据自主分析决策等,实现对企业的高效运营管理	全球领先的以视频为核心的智慧物联解决方案提供商和运营服务商
当虹科技	公司AIGG视频内容智能生成系统助力用户在新闻传播、商业推广、教育教学、视频内容创作等领域中创作出优质视频内容；AI智能审核系统主要应用于广电行业,系统采用人脸识别、场景识别、图像识别、OCR识别、语音识别、NLP算法、视频质量分析等技术、为客户提供全面高效的智能审核服务,守护播出安全	专注于智能视频技术的研发与应用；主要覆盖广电传媒、互联网视频及运营商、金融、能源、数字政务、车载 智能座舱等行业
万兴科技 （天幕大模型）	在视频生成算法、图像生成算法、GAN生成算法、音频生成算法等AI前沿算法等领域均取得多项技术研发成果	软件行业；主要从事视频创意、绘图创意、文档创意、实用工具类软件产品与 服务的设计、研发、销售和运营
数码视讯	利用AI算法AIGC自动生产高清、超高清视频内容	致力于视频、安全、AI、通信服务等技术的创新研发
凌云光 （SegGPT）	为机器植入眼睛与大脑,赋能工业领域的智能制造及文化领域的智能内容创作	可配置视觉系统、智能视觉装备与核心视觉器件的产品与解决方案提供商
网达软件	通过终端摄像头、物联网传感器等数字化采集，具有视频接入、视频转码、视频存储，数据统计、智能分析等完善的系统功能模块，最终连接应用层，为不同行业客户提供满足其实际需求 的云-边-端不同类型的产品及服务	超高清全产业链解决方案厂商，主要面向电信运营商和广电
虹软科技 （ PhotoStudio智能商拍 ）	赋予了更佳的商拍能力,助力用户在效率、创意和成本控制方面取得更大的提升	专注于计算机视觉领域，为行业提供算法授权及系统解决方案，是全球领先的视觉人工智能企业
会畅通讯	行业领先的一站式商业元宇宙与云视频通讯解决方案提供商；AI+三维元宇宙”的云视频产品已经产生小部分营收	专注于云通信服务领域

模型底层就是数据的叠加，作为有先天性优势的互联网大厂，在模型的布局上当然也少不了他们的身影：

阿里巴巴 （通义大模型）	主打消费模型；其龙头三江购物（主营消费）是阿里巴巴持股比例最高的A股上市公司，持股32%。
腾讯 （混元大模型）	主打社交模型；腾讯作为世纪华通（主营社交娱乐）的第二大股东，持有10%的股份，确保了混元大模型在社交和娱乐领域的高水平应用。
百度 （文心大模型）	主打搜索模型，与汉得信息（主营软件服务）合作，百度持有汉得信息股份比例5.26%。文心大模型继承了百度在搜索领域的核心技术，提供了高效、准确的搜索服务。
小米 （AIoT大模型）	小米的AIoT大模型与趣睡科技（主营AI家居）合作，小米持有趣睡科技股权比例7.65%。
字节跳动 （BuboGPT/PixelLM） ‍	主打文娱模型，与掌阅科技（主营阅读产品）紧密合作，持股比例9.24%。

总结：

模型的精准取决于数据的质量和数量。一般来说，一些数据量大的行业包括：

        互联网和科技行业：随着互联网的普及和数字化的加速，互联网公司和科技企业产生了大量的数据，如社交媒体数据、搜索引擎数据、电子商务数据等。

金融行业：金融机构处理大量的交易数据、市场数据、客户数据等，以支持金融决策和风险管理。

医疗保健行业：医疗机构和医疗设备产生大量的医疗数据，如电子病历、医学影像数据、健康监测数据等。

制造业：制造业中的生产线、物流和质量控制等过程会产生大量的数据，以优化生产流程和提高质量。

电信行业：电信公司收集和处理大量的通信数据，如电话记录、短信数据、网络流量数据等。

能源和公用事业行业：能源生产和分配过程中会产生大量的数据，如能源消耗数据、电网监测数据等。

物流和供应链行业：物流公司和供应链管理涉及货物运输、库存管理和订单处理等，会产生大量的数据。

‍

其他行业如零售业、政府、教育等也在不断产生和利用大量的数据。下一篇就一起来看看‍‍‍‍多模态AI的应用。