AI 视频开源神器,Stable Video Diffusion 来了!

新闻

作者：元峰AGI
大家好，我是元峰，AI 破局13 颗 AI 之心持有者。前天，AI 制作视频的另外一款神器稳定视频扩散（Stable Video Diffusion）发布了，没错，就是 SD 那家公司，也开始进军视频领域了。下面是其宣传片，一睹为快！


video: https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3206635132569174017

AI 视频神器：Stable Video Diffusion

这周，大家可能都在关注 OpenAI 的“吃瓜大戏”，但在 AI 行业，其他公司并没有被这些新闻影响，而是忙于自己的产品开发。以 Stability AI 为例，他们最近推出了一款名为稳定视频扩散（Stable Video Diffusion）的 AI 模型。这款模型是在他们的图像模型 Stable Diffusion 基础上开发的首个视频生成基础模型，可以将静态图片转化为动态视频。它基于 Stability AI 现有的文字转图像技术“Stable Diffusion”，在开源和商业应用领域，都是少有的视频生成模型之一。



但，目前并非人人都能随意使用。
目前，Stability AI 正在开发的稳定视频扩散技术主要应用于科研领域，还未在现实生活和商业领域投入使用。对这项技术感兴趣的用户可以登记加入等待名单，抢先体验。Stability 为这个平台特设了一个将文字转换为视频的界面。使用这项技术的用户需要遵守一些特定条件。这些条件规定了模型适用的场景，比如作为“教育或创意工具”、“设计与艺术创作”，同时也指出了不适合使用的场合，例如“真实或精确地描述人物或事件”。根据 Stability AI 发布的外部评估报告，对 Stability AI 的技术与 Runway、Pika Labs 等文本到视频平台进行了比较。在用户偏好调研方面已经超越了市场上其他领先的封闭源模型。



实际上，Stable Video Diffusion 包含两种模型：SVD 和 SVD-XT。

SVD 能将静态图像转化为 576×1024 分辨率、14 帧的视频；SVD-XT 在相同架构下，帧数提升至 24 帧。这两种模型均可创建每秒 3 到 30 帧的视频。

根据白皮书，SVD 和 SVD-XT 这两款技术最初是在一个包含数百万视频的庞大数据库上进行训练的，之后又在规模稍小的几十万至百万视频集中进行了进一步的精细调整。不过，这些视频的具体来源还不太清楚——文件中暗示这些视频大多来源于公开的研究数据库，所以很难判断是否存在版权问题。如果真的涉及版权问题，那么对于 Stability 公司及其使用视频扩散技术的用户来说，可能会面临法律和道德上的挑战。对于这个问题，我们还需要时间来验证。


图片来源：Stability AI
从视频样本来看，质量还是相当不错的，足以和其他生成系统竞争。但据公司介绍，这套系统也存在一些限制，比如它只能制作最长不超过4秒的短视频，还达不到完美的照片级真实感，相机的动作只限于慢速平移，而且无法控制文本内容，生成的文字清晰度不够。在人物和面部的生成方面也可能存在不足。
上手体验

聊了这么多，是不是觉得手痒痒，想要亲自上阵？Twitter 上的大牛 @mkshing 已经破解了代码，现在可以直接在 Colab 中免费试用体验这一魔法。Let's go!



Google Colab 链接https://colab.research.google.com/github/mkshing/notebooks/blob/main/stable_video_diffusion_img2vid.ipynb



下面将展示如何使用这款强大的视频生成工具。

进入 Colab 的笔记本界面。点击界面顶部的“代码执行程序 -> 全部运行”按钮。

如下图所示：



第一次使用时，代码需要下载模型等资源，这可能需要一些时间。请耐心等待，大概10分钟后，所有代码框全部执行完毕之后，屏幕上将出现一个链接，以及一个用于上传图片的区域。如下图所示：



点击这个链接可以打开一个新的页面，这个独立的页面会使操作过程更加方便。以一张之前使用 Midjourney 画的电影风格图片为例，进行测试。



使用特别简单，只需上传图片并点击“Run”按钮。然后耐心等待视频生成。如下图所示：



调整生成设置（可选）▼此工具提供了额外的功能，允许您自定义视频生成的参数：

帧数（number of frames）：默认为 25 帧。步数（number of steps）：默认为 30 步。种子（seed）：可以设为整数或选择“随机”，默认为随机。一次解码的帧数：默认为 2 帧。

调整这些设置可以影响视频的生成效果和质量。
出视频大概需要 5分钟。





直接生成的视频可能质量一般，画面略显模糊。此时，可以使用视频增强工具，如  Vmake （这款是收费的，大家如果有免费的，欢迎评论区留言），来提升视频质量。这样可以让视频看起来更加清晰和高清。



另外的测试案例。

注意，目前上传图片时使用横图，竖图的会改变原始比例为横图。

其他 AI 生成视频工具推荐

Runway https://runwayml.com/Genmo https://www.genmo.ai/Moonvalley https://moonvalley.ai/Pika Lab 这个跟 Midjourney 一样，要在 Discord 中使用。这是邀请链接 https://discord.gg/pikaStable Diffusion 的 text2video 插件和 Deforum 插件

上面 5 个属于 AI 生成视频。
下面几个属于是根据提示词找网络上已有的片段来合成视频。

InVideo 这个功能也不错，但是非会员会有水印。https://ai.invideo.io/GPT4 中的 CapCut（国外版剪映）插件GPT4 中的 Visla 插件剪映，百度的度加剪辑这两个也有 AI 功能

Runway 的运动画笔



video: https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3206635934654316544
最近几天 Runway 的 Gen-2 平台也推出了其创新的运动画笔 Motion Brush 功能。
这一版本与以往不同，简化了视频创作流程，用户无需进行复杂的文字输入和深度编辑，就能轻松制作出高质量的视频。其独有的“Motion Brush”功能更是一大亮点，使用户能够通过简单的手势控制视频中的元素动态，无论是自然界的水流、云彩、火焰和烟雾，还是视频中的角色，都能随手势即刻改变，为视频创作带来了前所未有的灵活性和创意空间。
下面我们简单体验一下。



三个参数分别是：左右方向移动，上下方向移动，向前向后移动。



还有一个随手测试，让人物主题前进，背景后移。



最后的话

AI 视频生成技术正在自媒体、娱乐、广告、教育和虚拟现实等众多领域掀起创新浪潮。也许，普通人也能创造好莱坞大片的产品正在酝酿中，但是按目前 AI 技术的发展，我相信这一天不会太远了，让我们拭目以待吧！
参考链接：https://stability.ai/news/stable-video-diffusion-open-ai-video-modelhttps://x.com/mk1stats/status/1727207950434083017?s=20
— 完 —

---

AI是大势所趋，更是机会，我非常鼓励大家加入AI破局俱乐部知识星球，这是一个探讨AI如何影响我们生活和工作的平台。在这里，你可以获取最新的AI相关资讯，学习AI技术，并与来自各行各业的人士交流，共同探索AI的未来。

AI破局已经突破2.8万人了，速度最快，规模最大。我们的目标是做一个AI生态，在这个生态里有的人能学会AI工具、更厉害的能用AI做副业赚钱、再厉害点的能用AI创业做应用，抹平一切关于AI的信息差，成为新时代的超级个体！

星球现在价格是 568，会持续涨价至正式运营价格 699，我现在申请了一个 69 优惠给到大家，早就是优势！



（如果优惠券失效，请扫码私信元峰，备注说明来意）



上面这个是我最新的免费星球，在这里，我们将探索如何巧妙结合最新 AI 技术，打造并增长副业玩法。



我就知道你“在看”