在2024年2月16号，openAI发布了其最新的研究成果Sora，从其官网介绍可知，sora可以基于详细的文本描述生成60s的视频，并且包含高度细致的背景、复杂的多角度镜头，以及富有情感的多个角色，和之前各家发布的文生图工具生成的各种各样抽象的图片不同，Sora几乎可以达到电影级别的效果。
不过目前openAI并没有向大众开放这一功能，截止目前也只向一部分专业人士开放，我们也只能在openAI官网上欣赏已经生成好的视频。
下面的这段sora生成的视频里，一位女士身穿黑色皮衣、还有多镜头，包括从大街景慢慢的切入到对女士的脸部表情的特写，以及潮湿的街道反射霓虹灯的光影效果，总体上效果非常惊艳！
01 sora的基本原理
OpenAI 也发布了一份关于 Sora 详细的技术报告，介绍了其背后的技术原理和应用。
那么，Sora 是如何实现这一突破的呢？受到 LLM 成功实践经验的启发，OpenAI 引入了视觉块嵌入代码（patches），这是一种高度可扩展且有效的视觉数据表现形式，能够极大地提升生成模型处理多样化视频和图像数据的能力。
在高维度空间中，OpenAI 首先将视频数据压缩至一个低维潜在空间，然后再将其分解为时空嵌入，从而将视频转化为一系列编码块。
接下来，OpenAI 训练了一个专门用于降低视觉数据维度的网络。该网络以原始视频作为输入，输出的潜在表示在时间和空间上都经过了压缩。Sora 正是在这个压缩后的潜在空间中进行训练，并在该空间内生成视频。
此外，OpenAI 还训练了一个解码器模型，能够将这些潜在表征还原为像素级的视频图像。
通过对压缩后的视频输入进行处理，研究人员能够提取出一系列的时空 patchs，这些 patchs 在模型中扮演着类似于 Transformer Tokens 的角色。
采用基于 patchs 的表现形式，Sora 能够适应不同分辨率、持续时间及宽高比的视频和图像，在生成新视频内容时，可以通过将这些随机初始化的 patchs 按照需要的大小排列成网格，来控制最终视频的大小和形式。
尽管上述原理听起来颇为复杂，但实际上 OpenAI 所用到的这项新技术——视觉块嵌入代码（简称视觉块），就好比是将一堆杂乱无章的积木整理好放入一个小盒子中。如此一来，即便面对众多积木，只要找到了这个小盒子就能轻松找到所需积木。
由于视频数据被转化为了一个个小方块的形式，当 OpenAI 向 Sora 提供一个新的视频任务时，他们首先会从该视频中提取出一些包含时间和空间信息的小方块。随后将这些小方块交给 Sora 让其根据这些信息生成新的视频。
这样就可以像拼拼图一样，把视频重新组合起来。这样做的好处是，计算机可以更快地学习和处理各种不同类型的图片和视频。
随着 Sora 的训练越来越深入，OpenAI 的研究人员还发现随着训练计算量的增加，样本质量得到了显著提高。
OpenAI 发现直接在数据的原始尺寸上进行训练具有诸多优势：
- Sora 训练时没有对素材进行裁切，使得 Sora 能够直接按照不同设备的原生宽高比创建内容。
- 在视频的原生宽高比上进行训练，能够显著提升视频的构图与布局质量。
此外，Sora 还具有以下特性：
训练文本到视频生成系统需要大量带有文字标题的视频。OpenAI 将在 DALL·E 3 中引入的重新标注技术应用到视频上。
类似于 DALL·E 3，OpenAI 利用 GPT 将用户的简短提示转换成更长的详细说明，然后发送给视频模型，从而使得 Sora 能够生成高质量的视频。
除了可以从文字转化而来，Sora 还能接受图片或已有视频的输入。这项功能让 Sora 能够完成各种图片和视频编辑任务，比如制作无缝循环视频、给静态图片添加动画效果、延长视频的播放时间等。
02 现实和虚拟的界限正在消失
sora基于对语言的深刻理解，可以准确理解用户的指令，把握这些元素在现实世界中的表现形式，可以对角色、动作类型、视角、背景的细节进行精确的描绘，现实和虚拟之间的界面几乎达到了无法分辨的程度。
在sora之前，网络有个梗“众所周知，视频是不能P的”，sora之后，新的时代已经来临，视频完全可以从无到有，眼见不一定为实。
当然，sora现在仍然有很大的缺陷，比如不能准确的模拟真实的物理现象，比如下图，玻璃跌落之后，仍然没有碎裂，不过这些问题的解决都是时间问题。
03 sora时代的机会
sora的诞生是一个里程碑式的进步，各行各业都有非常大的应用潜力。
首先影响最大的就是视频应用行业，比如自媒体up主、广告行业，原先需要专业团队进行使用专业的软件工具进行渲染而成的素材，一个普通的个体户就可以通过关键词引导AI生成电影级别的画面，提高自己的内容质量；
只要有照片，借助sora也可以帮助一些想念的亲人在视频里“生活”以缓解思念之情；
sora可以给游戏开发者提供丰富的视觉素材，加速游戏内容的创作过程；可以应用在交互式的游戏内容生成中，增强玩家的用户体验。
应用在AR/VR/MR中，sora可以为用户搭建复杂而逼真的虚拟环境（再也不用看虚拟的动画场景了），在虚拟世界里，用户就是虚拟世界的上帝，可以生成任何用户想看到的场景；戴上MR眼镜，如果觉得对象的颜值不满意，可以直接让AI将人脸替换成刘亦菲、古天乐的脸，每天和不同的帅哥美女谈恋爱。。。
在科学研究和工程应用上，可以生成复杂的物理现象，比如流体动力学、天体运动等。
sora也让伪造视频变得更加容易，肖像权的保护更为重要，打个比方，谁也不想看到有一天被仇家拿自己的照片使用AI生成一段在吃“shi”的视频在网上传播。
所以在积极推动人工智能技术应用的同时，加强对其负面影响的监控，在法律上及时跟上，才能更好的迎接AIGC时代的来临。
来源：徐之
相关文章
