兄弟姐妹们啊,OpenAI发布新工具Sora,可根据文字生成逼真AI视频,再一次,震惊了世界!
OpenAI首个视频生成模型发布
OpenAI推出了一项新技术,发布了视频大模型Sora,进化到了可以通过文字描述直接生成高度拟真的视频,不仅是动画了。
可以说,Sora出道即王炸,它能够根据用户的一句话生成长达一分钟的视频,且视频流畅度和稳定性皆在水准之上。
目前官网上已经更新了48个视频demo,在这些demo中,Sora不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。
Runway Gen 2、Pika等AI视频工具,都还在突破几秒内的连贯性,而OpenAI,已经达到了史诗级的纪录。
对比AI视频里Runway、Pika、Google和Meta这些主流玩家,Sora的特别之处在于:
1、能够生成具有多个角色、特定类型动作和主题背景的复杂视频,时长可达到1分钟。
2、可以在单个生成的视频中创建多个镜头,模拟复杂的摄像机运镜,同时准确地保持角色和视觉风格。
3、最重要的是,它不仅理解用户在提示中要求的内容,还能自己理解这些事物在现实世界中的存在方式。
OpenAI首席执行官奥特曼(Sam Altman)周四在X网站上让该平台用户把自己想给Sora的文字描述提交给他。然后,他分享了Sora根据这些描述生成的视频。
“我们想向你们展示Sora能做什么,”他在X上写道,“不用担心你的要求太细,或是难度太大!”
有人提出想要“一段海上自行车比赛的视频,让各种动物作为运动员骑自行车,采用无人机拍摄视角”。奥特曼在回复中发布了一段由Sora生成的视频,视频中有企鹅、海豚和其他水生生物骑自行车。
另一段视频显示,一位身穿围裙、面带微笑的白发女士邀请观众进入她的厨房。有人向奥特曼要一段“由一名祖母辈的网红主持的自制团子烹饪课程,背景是一个质朴的托斯卡纳乡村厨房,并配有电影级的灯光”,之后Sora生成了这段AI视频。
网友直呼工作要丢了!
甚至有人已经开始“悼念”一整个行业!
Sora目前存在的弱点
对于Sora目前存在的弱点,OpenAI也不避讳:模型在准确性方面可能会遇到困难,也可能无法理解具体的因果关系实例。
例如“五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐”,狼的数量会变化,一些凭空出现或消失。
该模型还可能混淆提示的空间细节,例如混淆左右,并且可能难以精确描述随着时间推移发生的事件,例如遵循特定的相机轨迹。
如提示词“篮球穿过篮筐然后爆炸”中,篮球没有正确被篮筐阻挡。
现在,Sora正面向部分成员开放,以评估关键领域的潜在危害或风险。
OpenAI表示,这项技术仍存在一些缺陷,包括一些空间问题。
该公司表示,它意识到Sora有可能制造错误信息和仇恨内容等。研究人员说,AI驱动的深度伪造已成为一种风险,可能会在2024年总统大选前给公众造成困惑。
OpenAI表示,被选来测试Sora可被滥用方式的专家组将就如何加强对该系统的保护提供反馈意见。
该公司表示:“我们也在开发有助于检测误导性内容的工具,比如检测分类器,它可以分辨视频是何时由Sora生成的。”