
IT之家 10 月 28 日讯息开云(中国)kaiyun网页版登录入口,谷歌 DeepMind 于周二推出了最新的宇宙模子 Genie 4,当今处于连络预览阶段。这款最新模子大概生成迄今为止拟真度最高、可交互的凭空宇宙,用户不错在模拟运行的进程中输入提醒词来修改场景。该模子还能生成和凭空宇宙同步的及时音频,涵盖音乐、环境音以及可交互对话。
IT之家堤防到,就在 Genie 4 发布的数月之前,AI 视频初创公司 Runway 推出了自家第二款宇宙模子 GWM Worlds 2,这是一款可交互运行的模子,大概对用户输入做挪动态反馈,同期营救音频生成。与此同期,宇宙模子赛说念运行出现整合趋势。李飞飞(Fei-Fei Li)创立的宇宙实验室(World Labs)被 AMD 收购,亚马逊正在洽谈收购 Decart,而 Rivian 刚刚收购了 Third Dimension,以此在里面搭建仿真身手,用于自动驾驶测试。
推出 Genie 4,是谷歌为在竞争强烈的赛说念中保抓卓绝而选拔的最新举措。
一年多前,谷歌就以连络预览的模式发布了前代模子 Genie 3。除了画面拟真度大幅擢升并新增音频身手除外,Genie 4 营救解放模式的裁剪操作,比竟然时调理天气、镜头角度,或是新增东说念主物与物体。其最长不错督察两分钟连贯不变的场景,时长是前代模子的两倍,物理限制推崇更好,凭空东说念主物也愈加迫临真东说念主。
谷歌的大模子 Gemini 和 Genie 4 的集成度也进一步提高,Gemini 畸形于导演,负责筹画设施、校验画面帧,Genie 4 则负责生成视觉现实。在一项和 Gemini 机器东说念主技俩联系的连络实验中,Gemini 4 Argon 模子把任务拆解成多个设施,再由 Genie 4 进行及时仿真。这项实验展示了一种可行决议:在真确宇宙开展机器东说念主测试前,先在仿真环境里考证联系场景。
谷歌连络总监特贾斯 · 库尔卡尼(Tejas Kulkarni)在一场简报会上示意:“改日咱们会越来越多地见到这类夹杂式宇宙模子,由 Gemini 编写代码和文本,Genie 4 及时读取这些现实,在不同综合层级上对现实进行仿真。”
和其他宇宙模子通常,其主推的营业化落地场景包括游戏、交互式学习以及机器东说念主规模。交互式学习的一个设想案例是,用户插足一幅描绘历史场景的画作当中,和画中的东说念主物调换画里记录的事件。
不外,“真实测试者”也便是首批大概体验谷歌前沿居品的用户,发现了一个潜在新用途:电影原型制作。
谷歌 DeepMind 工程师迭戈 · 里瓦斯(Diego Rivas)在媒体简报会上说:“及时特色的价值,在需要督察连贯创做念路的场景里体现得尤为凸起。比如创意构念念阶段、分镜剧本阶段,扫数需要快速迸发创意的要道王人适用。”
谷歌还推出过 Veo 这款 AI 视频生成模子,不错字据文本、图片或者视频提醒词生成高清短片,自带同步音频,这款器具在影视创作家群体中热度抓续飞腾。
里瓦斯补充说,用户改日有望借助 Gemini Omni 这款多模态大模子,把原型素材转机为老成创作钞票,Gemini 全模态不错基于图片、音频和文蓝本生成视频。不外他也提到,这些身手距离落地还有一段距离。
整场简报会上,里瓦斯反复强调 Genie 4 仍处在发展早期,齐备居品最终会是什么样的体验还莫得定论。团队也承认 Genie 4 仍存在短板:仿真运行时辰越长,细节和物体就越容易出现偏移,团队还莫得找到稳当的方针,保证音频准确无误,同期让凭空宇宙里的笔墨明显可辨。
当今 Genie 4 照旧面向真实测试者绽开连络预览。改日几周内,该模子会络续向谷歌 AI Ultra 订阅用户、Genie 技俩绽开,Genie 技俩是谷歌推出的 AI 器具,不错字据文本或图片提醒词生成可交互凭空宇宙开云(中国)kaiyun网页版登录入口,Gemini 运用模范接口(API)和谷歌 AI Studio 的早期调和方也会得回使用权限。