在传统视频制作流程中，如果想要更改场景（比如从白天改成夜晚，或从办公室改成幻想世界），往往需要重新拍摄、重新渲染，甚至换一整套工具。这不仅成本高、耗时久，还限制了创作者的想象力。

Luma Labs 提出的核心理念是：在不破坏原始表演、动作、镜头和角色的前提下，允许用户对视频中的世界进行全面重构。

这个新工具名为 “Modify Video”，它让你可以保留一个镜头中真正重要的东西（比如角色的动作和面部表情），同时重新设计场景、风格、材质甚至角色的本体。

主要功能详解

1. 🎭 动作捕捉 + 驱动新角色（Motion & Puppeteering）

  • 自动从原始视频中提取 全身动作、面部表情和唇型同步信息；
  • 然后，这些“动作数据”可以被用于驱动新的角色或物体——无论是CG角色、道具还是摄影机运动；
  • 举例：可以将一位演员的表演“转移”到一个怪物身上，或让一张桌子按照舞蹈节奏移动。

2. 🌆 世界/风格替换（Restyle & World Swap）

  • 不改变人物和动作，但可以完全改变场景外观与材质；

  • 例如：

    • 将车库改为宇宙飞船；
    • 将日景变为夜景；
    • 将卡通风格变为电影级真实感；
  • 所有变化都建立在对原始结构的理解上，避免画面失真或时空错乱。

3. 🧩 局部元素修改（Isolated Edits）

  • 可以只修改视频中的某个元素，而不破坏其他部分；

  • 比如：

    • 更改角色的服装颜色；
    • 替换面部特征（例如换演员的脸）；
    • 在天空中添加飞行物（如UFO）；
  • 关键在于：不需要绿幕、不需要逐帧追踪，修改自然融入场景。

三、使用方式与创作自由度

三种预设风格

“Modify Video” 提供了三种不同的转换预设模式，让用户能够根据需要灵活调整视频的创作自由度。这些模式分别是：

  1. Adhere（贴合模式）
    这个模式在保持原始视频结构的基础上进行最小的修改，主要针对场景的风格和纹理进行调整。例如，你可以改变视频中的背景颜色或纹理，但人物的动作、表情和镜头角度基本保持不变。这个模式非常适合那些需要在后期修复或保持一致性的项目，比如在多个镜头之间保持视觉风格的一致性。
  2. Flex（灵活模式）
    该模式在保留关键元素（如人物动作、面部表情等）的同时，允许更多的创意调整。这是一个平衡的模式，可以在保持输入忠实度的同时进行创造性重构。例如，你可以将原始场景稍微改变成另一个风格，或者对人物的服装、道具等进行替换，适用于需要在多个创意方案之间快速切换的情况，比如为客户提供不同风格的快速预览。
  3. Reimagine（重构模式）
    这是最具创造力的模式，允许你完全重新设计场景或角色，甚至能将人物转变为非人类形态（例如怪物或幻想生物）。这个模式优先考虑创意自由，适合那些需要大胆重构的项目，如艺术创作、概念短片或特殊效果制作。在这个模式下，你可以完全改变一个场景或角色的外观，创造出富有想象力且超现实的效果。

创作自由度：如何选择适合的模式

根据项目的不同需求，创作者可以选择不同的模式来调整视频内容。对于需要保留原始素材的情况，Adhere 模式是理想选择，因为它专注于对原视频进行细致的风格微调。

对于一些需要兼顾创意与现实感的项目，Flex 模式能够在维持动作真实性的同时，进行适度的创意重构。

而对于那些富有挑战性且要求高度创意的项目，Reimagine 模式则能够实现从根本上的视觉重构，完全释放创作者的想象力。

与其他工具相比的优势

与传统的“提示词生成视频”或静态滤镜不同，Modify Video 的关键在于时序理解和动作保留：

  • 使用了高级信号（如姿态、表情、结构）来区分哪些元素应保留，哪些可以被重新设计；
  • 视频级的高保真控制，不仅看一帧，而是理解整个片段；
  • 输出结果更一致，尤其在面部、身体动作、时间连续性上；

  • 官方测试显示，Modify Video 在视觉保真度与动作一致性方面优于 Runway 的 V2V 工具。

如何使用

Modify Video 已集成在 Luma Dream Machine: Ray 2 中，适用于最长 10 秒的视频片段。

操作流程非常简洁：

  1. 上传一段视频；
  2. 选择一种转换预设（Adhere / Flex / Reimagine）；
  3. 决定是否提供首帧图像或视觉风格提示；
  4. 如果有提示词：描述你想要的视频变化（越具体越好）
  5. 选择“修改强度”：决定画面变化程度
  6. 工具自动生成多个版本，供你快速选择或再加工。

适用场景包括但不限于：

  • 概念测试（Previs）；
  • 提案/风格样片；
  • 快速修改的最终成片交付。

🧠 写提示词的技巧（Prompt 怎么写效果才好）

Modify Video 的效果很大程度取决于你输入的“描述词”，就像你在和一个 AI 剧组沟通：

  • 要正面描述，不要用“不要”表达；
  • 描述清楚你想看到什么，而不是回避什么；
  • 像写剧本或镜头语言一样，画面感越强越好。

示例：

  • 换衣服：“一个穿着蓝色礼服的女性” → AI 会自动将原人物换装；
  • 换场景：“一条布满霓虹灯和飞行汽车的赛博朋克街道”；
  • 加特效：“紫色魔法火焰从她手中旋转而出”；
  • 换道具：“用一把光剑替代棍子，光效闪耀”。

🎥 拍视频前的建议

  • 视频尽量稳定（不要剧烈抖动）；
  • 背景干净简洁越好（比如白墙或空地）；
  • 短视频效果最好（建议 5-10 秒）；
  • 视频清晰度高，结果更出色。

🚫 有哪些限制？

  • 每次上传的素材不能超过 10 秒；
  • 模糊或低分辨率素材效果会打折扣；
  • 如果画面中有很多快速移动物体，可能会不够稳定；
  • 建议将长视频拆成多个片段来处理。

网址：https://dream-machine.lumalabs.ai/

上手指南：https://lumalabs.ai/learning-hub/how-to-use-modify-video