Runway 推出 Aleph 功能,这是一个全新的视频编辑模型,具有多种强大的功能。它使用户能够执行各种视频编辑任务,如添加或删除物体、改变场景、生成任何角度的镜头、调整风格和照明等。

这个工具标志着视频内容操作和生成方式的一大进步。

模型可以对现有视频进行许多修改和生成,比如:

  1. 改变视频中的环境、时间、季节或地点。
  2. 去除不需要的反射或物体。
  3. 从视频中提取某个人物或物体,并将其放到干净的背景上。
  4. 通过改变光线来改变视频的氛围。
  5. 通过简单的提示改变演员的年龄或外貌。

技术特点

  • 上下文理解:Aleph 能够分析输入视频的上下文,理解场景的视觉风格、动作和环境,从而生成与原始素材一致的编辑结果。
  • 高效提示机制:提示需包含动作动词(如“添加”、“移除”、“更改”)和具体描述,推荐简洁表达以提高效果。用户可通过“聊天模式”(Chat Mode)与模型交互,逐步优化结果。
  • 视频处理限制:Aleph 仅处理视频的前 5 秒,并自动裁剪不支持分辨率的视频。建议用户在上传前手动裁剪以获得更好控制。
  • 无需额外训练:与 Runway 的 Gen-4 模型类似,Aleph 利用视觉参考和文本指令即可生成一致的风格和内容,无需微调或额外训练。

主要功能特点

1. 添加、移除和变换视频中的对象

添加对象:

  • 能力: Aleph 能够在现有视频中生成新的物体或人物。比如,如果你有一段空旷的街道视频,Aleph 可以根据提示在视频中自然地生成一棵树、一辆车或一个行人,且这些物体会与原有的场景融为一体,光照、阴影等都与周围环境保持一致。
  • 应用场景: 适用于电影场景的补充,广告创意,或虚拟角色加入等。

移除对象:

  • 能力: Aleph 还能识别视频中的特定对象,并将其从视频中删除。无论是人、物品还是背景,它都能够填补删除区域,确保没有明显的破绽或不自然的过渡。
  • 应用场景: 对于一些剪辑需求,如去除不需要的元素或背景中的不合适物品,Aleph 提供了简单而高效的解决方案。

变换对象:

  • 能力: 除了删除和添加对象,Aleph 还可以对现有对象进行变换。例如,你可以要求它将视频中的一辆车替换成另一种类型的车,或者将某个人物的服装风格改变成不同的款式。
  • 应用场景: 在创意制作过程中,用户可以轻松实现角色和物体的变化,进行风格匹配或场景切换。

2. 生成任意视角和场景角度

视角生成(生成下一个镜头):

  • 能力: Aleph 不仅能基于已有的视频生成新的内容,还能自动生成新的视角。例如,你给定的是一个正面拍摄的视频,Aleph 可以根据视频的内容和结构,推理出并生成该场景的其他视角(比如侧面、背后或上方的视角),这些新增的视角与原有视频画面连贯,仿佛是从多个摄像机角度拍摄的。
  • 应用场景: 对于创作需要多角度展示的作品(如虚拟现实、视频游戏场景、电影镜头切换等),Aleph 能提供快速生成新角度的能力,极大提升创作效率。

场景重建(生成新的摄像机角度):

  • 能力: Aleph 能基于少量的视频数据,推测和重建一个三维空间的场景,进而生成不同的拍摄角度和视野。这种技术不仅限于静态的视角调整,还能生成动态视角下的连续场景。
  • 应用场景: 用于3D虚拟环境、动画制作和全景视频生成,尤其适用于那些需要模拟现实世界多角度和真实感场景的应用。

3. 风格转换和视觉调整

风格转换:

  • 能力: Aleph 可以将原本现实风格的视频转换为各种艺术风格,如卡通、油画、漫画风格等。用户只需简单描述或上传样式示例,Aleph 即可将视频的视觉风格彻底改变,同时确保每一帧的风格变化平滑过渡。
  • 应用场景: 适用于电影后期制作、广告创作、游戏开发中的风格化处理,以及艺术创作中的视觉创新。

光照与环境调整:

  • 能力: Aleph 能够模拟不同的光照条件,如将白天的场景转换为黄昏、夜晚或阳光明媚的场景。通过对视频中的光影和色温进行细致调整,模型能让整个视频产生明显的环境变化。
  • 应用场景: 适用于影视场景切换、广告创意、或任何需要不同时间段光照效果的创作场景。

4. 场景与环境修改

  • 环境调整:改变视频中的场景背景,如将城市街头转为森林,或将室内场景转为户外。
  • 天气与季节变换:通过文本指令添加或修改天气效果(如雨、雪、雾)或改变季节(如从夏天转为冬天)。

    • 示例:在夏季拍摄的公园视频中添加雪景,树木自动变为冬季枯枝状态。
  • 时间变化:模拟一天中的不同时间段,如将正午光线转为日落时的暖光。

5.绿幕抠像与背景替换

  • Aleph 支持无需绿幕即可实现背景移除和替换,适用于虚拟背景合成或场景迁移。

    • 示例:将拍摄于办公室的人物视频背景替换为海滩场景,自动调整光影以匹配新背景。
  • 技术优势:相比传统绿幕抠像,Aleph 的算法能处理复杂背景和动态场景,且无需专门的拍摄设备。

6. 角色与外观调整

  • 年龄变化:通过简单的提示更改演员的年龄和外观。无需复杂的实际化妆或昂贵的视觉特效工作,只需表达你的需求。

7. 颜色调整

  • 提供精准的颜色修改功能,允许用户更改特定对象的颜色,同时保留光影和纹理的自然性。

8. 将视频的运动应用到图像上

  • 将任何视频的运动应用到新的第一帧图像上,实现细粒度的相机控制。

技术限制

  • 处理时长:Aleph 目前仅处理视频的前 5 秒,超出部分会被自动裁剪。
  • 分辨率:不支持某些分辨率,建议用户上传前调整视频以确保兼容性。
  • 提示依赖:生成结果高度依赖提示的质量,模糊或复杂的提示可能导致不理想的输出。

详细介绍及更多案例:https://runwayml.com/research/introducing-runway-aleph

API:https://docs.dev.runwayml.com/

帮助文档:https://help.runwayml.com/hc/en-us/articles/43277392678803-Aleph-Prompting-Guide