快速生成:Vidu实现了业界最快的推理速度,仅需30秒就能生成一段4秒镜头的视频,速度是业内最快水平的两倍。
高逼真度:无论是动漫风格还是写实风格,Vidu都能生成生动逼真的画面,人物动作自然流畅,大幅度动作也不会导致画面崩坏。
角色一致性:Vidu支持角色一致性功能,上传一个角色图像后,可以指定该角色在任意场景中做出任意动作,创作梗图、表情包变得轻而易举。
多风格支持:除了写实风格,Vidu还支持动漫风格视频生成,画风有宫崎骏的味道,想象力丰富。
文本到视频的直接转换:由于底层架构的创新,Vidu的作品感官上更加一镜到底,视频从头到尾连续生成,没有插帧痕迹。
广泛的应用场景:从游戏制作、影视后期到教育、培训等,Vidu都能提供强大的支持。
相较于可灵、luma等产品,Vidu的主要特色在于它引入了角色一致性和动漫风格两大特色功能。
这里AIbase直接拿之前生成的平面插图来测试,这类图片在可灵等平台生成视频困难,人脸很容易崩。
Vidu的操作界面很简单,只要上传图片,然后选择图片用途即可,这里我没有打算变化图片原有背景,选择用作起始帧,然后点击生成即可。
提示词:小男孩在水坑里欢快的踩水,雨越下越大
为了验证Vidu在动漫这块有多强,AIbase还拿出了”祖传难题“,动漫古风人物来进行测试。昨天刚用这张图片测试过可灵、luma,生成的效果都不太满意。古风动漫人物一直都是视频生成模型不太擅长的一块。
提示词:男孩伸手扶了一下帽子,突然笑起来
可以看到,古风人物动起来的过程整体还算连贯,而且手和脸部没怎么崩,不过人物还是稍微有变丑,相比可灵来说,算是对古风插画这类的图转视频保持较好的了。
值得注意的是,Vidu不像可灵一样,支持多个任务同时进行。如果你上一个视频还没完成的话,下一个视频生成任务是无法启动的。
AIbase测试了2个视频后,再操作,都提示任务数量过多,最多同时有1个任务正在进行,不知是否对免费用户每日生成次数限制只有2次?
虽然官方宣传Vidu仅需30秒就能生成一段4秒镜头,但AIbase实际测试中一个视频生成的时间也是至少需要2、3分钟的。
感兴趣的可以自行尝试,产品地址
www.vidu.studio
Vidu是由清华朱军教授领衔的团队研发,基于完全自研的U-ViT架构,这一架构是全球首个将Diffusion和Transformer融合的架构,比Sora采用的DiT架构更早提出。
Vidu的创新之处在于其能够实现文本到视频的直接且连续的转换,避免了传统多步骤处理中的插帧和拼接,使得生成的视频更加流畅,感官上更加自然。
生数科技成立于2023年3月,生数科技的团队由来自清华大学人工智能研究院的核心成员组成,他们在多模态通用大模型的研发上具有深厚的背景和实力。公司自2023年成立以来,已经获得了包括蚂蚁集团、启明创投等知名产业机构的认可,并完成了数亿元的融资,成为国内多模态大模型赛道估值最高的创业团队。
暂无评论内容