
日前,AI科学家李飞飞团队与谷歌合作,推出了视频生成模型W.A.L.T(Window Attention Latent Transformer)——一个在共享潜在空间中训练图像和视频生成的、基于Transformer架构的扩散模型。
李飞飞是华裔女科学家、世界顶尖的AI专家,现为美国斯坦福大学终身教授、斯坦福大学人工智能实验室主任,曾任谷歌副总裁和谷歌云首席科学家。前OpenAI研究员、曾担任特斯拉人工智能和自动驾驶视觉总监的Andrej Karpathy便是其得意弟子。
从展示的案例来看,W.A.L.T的效果媲美Gen-2比肩Pika,其可以根据自然语言/图片提示生成逼真的2D/3D视频或动画。
评论区有不少人惊叹,“好莱坞的末日!”“跨域式的发展!”还有人提问,“能嵌入消费电子产品上吗?代码会开源吗?”
图1:A Teddy bear skating carefully in Times Square,Slow Motion/一只泰迪熊在时代广场上优雅的滑冰,慢动作

图2:An stronaust riding a horse/一名宇航员骑着马

图3:A giant dragon sitting in a snow covered landscape, breathing fire/一条巨大的龙盘踞在冰雪覆盖的大地上,喷吐着火焰

图4:Cameraturns around a cute bunny, studio lighting, 360 rotation/相机围绕一只可爱的兔子旋转,工作室灯光,360度旋转

图5:相关论文

