新京报贝壳财经讯(记者韦英姿)北京时间11月6日,李飞飞联合创办的World Labs发布了Frameboy研究预览(research preview)。用户控制镜头,世界模型Atlas可根据镜头的位置和朝向,在云端GPU上逐帧生成画面,以最高每秒15帧的速率传回浏览器。World Labs发布的Demo(演示视频)借用游戏卡带和掌机的形象,来呈现团队对这类体验的设想。
支撑Frameboy体验的是World Labs约两个月前发布的自回归世界模型,该模型能原生处理文本、图像、视频和3D,所有输入都被合并进一个共享的空间上下文,依据这一上下文,模型可生成接下来的内容。
World Labs还把这一实时能力整合进了网页应用Viewfinder。用户可以先用Atlas逐帧搭建自己的场景,再通过Frameboy叠加层以串流方式实时进入场景探索。Viewfinder目前处于封闭内测阶段。
实时生成画面对算力要求较高。目前,Frameboy必须运行在云端高性能GPU服务器上,成本高于本地渲染。World Labs团队认为,随着软硬件逐步适应新算法,今天运行起来既慢又贵的技术,今后有望变得更快、更便宜。
让模型在GPU上更高效地运行,也是World Labs与AMD合作的起点。去年,双方开始合作优化模型在AMD GPU上的训练和推理。今年9月,AMD宣布签署协议,拟以约82亿美元收购World Labs。交易完成后,World Labs团队将继续推进AI模型研究,李飞飞将出任AMD执行副总裁兼首席科学家,向苏姿丰汇报。
编辑 杨娟娟
校对 赵琳






