图生视频就是上传一张图片,再用一句话告诉 AI 画面应该怎么动,它就能生成一段短视频。与纯文字生成视频相比,图片锁定了构图、人物和风格,结果更可控,也是目前做 AI 视频最常用的方式。本文讲清原理、选图、提示词写法和常见问题的处理方法。
一、图生视频是怎么回事
可以把视频理解为一连串连续的图片(帧)。图生视频模型做的事情是:把你给的图片当作第一帧,根据提示词“想象”接下来每一帧应该是什么样子。
模型在训练时看过大量视频,学到了现实中的运动规律,例如头发会随风飘动,人走路时手臂会前后摆动,镜头推近时画面中的物体会变大。生成时,它会在保持原图内容的同时,按照这些规律一帧一帧地推演出变化。
理解这一点,有两个直接的推论:
- 原图决定了上限:模型只能在原图的基础上发挥,原图模糊、结构混乱,视频不会变好。
- 越常见的运动越自然:走路、转头、风吹、水流这类在视频中大量出现的动作,效果通常很好;罕见、复杂的动作更容易出错。
二、选图要点
选对图片,问题就解决了一半。挑选或生成原图时,注意以下几点:
- 主体清晰:画面中有一个明确的主体,边缘清楚、不糊。多个主体挤在一起时,模型容易把它们“融”在一起。
- 留出运动空间:如果想让人物向右走,人物应该在画面左侧,右边留空;如果想让镜头推近,主体不要已经占满整个画面。
- 人物结构完整:脸部清晰,手部尽量完整可见或自然地藏起来。原图里已经畸形的手,动起来只会更糟。
- 比例与用途一致:原图的宽高比通常会决定视频的宽高比,竖屏视频就用竖图。
- 避免大面积文字:画面中的文字在运动过程中很容易变形。
三、运动提示词怎么写
图片已经交代了“画面里有什么”,所以提示词不需要再描述外观,重点写“怎么动”。推荐按三部分组织:
[主体动作] + [镜头运动] + [氛围 / 环境变化]
示例:
女孩缓缓转过头看向镜头,微微一笑。镜头缓慢推近。微风吹动她的头发,午后阳光闪烁。
- 主体动作:一次只写一到两个动作,写清方向和速度,例如“缓慢地向左转头”。
- 镜头运动:一次只用一种镜头运动。同时写“推近”和“环绕”,结果往往两个都做不好。
- 氛围:环境中的细节变化,例如烟雾飘散、光影移动、树叶晃动,能让画面更生动。
下面是常用的镜头术语。多数工具支持中文提示词,部分海外工具用英文效果更稳定,可对照使用:
| 中文 | 英文 | 含义 |
|---|---|---|
| 推 | push in / dolly in | 镜头向主体靠近,主体逐渐变大 |
| 拉 | pull out / dolly out | 镜头远离主体,展示更多环境 |
| 摇 | pan(左右)/ tilt(上下) | 镜头位置不动,原地转动方向 |
| 移 | truck left / right | 镜头整体横向平移 |
| 跟 | tracking shot / follow shot | 镜头跟随运动中的主体 |
| 环绕 | orbit / arc shot | 镜头围绕主体转圈 |
| 升 / 降 | crane up / crane down | 镜头垂直上升或下降 |
| 变焦 | zoom in / zoom out | 镜头不动,改变焦距放大或缩小 |
| 固定镜头 | static shot | 镜头完全不动,只有主体在动 |
| 手持 | handheld | 轻微晃动,有纪实感 |
部分工具在界面上提供了镜头运动的选项或滑杆,如果有,优先使用界面控制,比写在提示词里更准确。
四、首尾帧控制的思路
只给第一帧时,视频最后会变成什么样由模型决定。如果你需要精确控制结果,可以使用首尾帧功能(不少工具都提供,名称可能不同):同时上传开头和结尾两张图,模型负责生成中间的过渡。
适合的场景:
- 状态变化:花苞到盛开,空杯到倒满,白天到黑夜。
- 精确的镜头落点:从全景推到某个特写,结尾画面必须是指定的构图。
- 衔接多段视频:把上一段视频的最后一帧作为下一段的首帧,可以把几段短视频接成连续的长镜头。
五、常见问题与应对
主体变形、物体“融化”
通常由动作太复杂或太快导致。简化动作,加入“缓慢地”“轻微地”等描述;换一张主体更清晰、与背景区分更明显的原图。
画面闪烁、细节抖动
纹理细密的区域(草地、头发、织物花纹)容易闪烁。可以减小运动幅度,或改用固定镜头;成片后在剪辑软件中适当降低锐化也有帮助。
人物崩坏:脸变了、手指多了
- 避免大幅度转身、快速手部动作,多用“微笑”“眨眼”“转头”等小动作。
- 人物在画面中别太小,脸部越小越容易变形。
- 提示词中可以加入“保持面部一致”“动作自然”等描述,工具支持负面提示词时,可以写入“变形、多余手指、面部扭曲”。
画面几乎不动,或者乱动
几乎不动:动作描述太模糊,写得更具体,例如把“动起来”改成“海浪拍打礁石,浪花飞溅”。乱动:删掉多余的动作,只保留一个主要动作和一种镜头运动。
六、5 个提示词模板
替换方括号里的内容即可使用。
1. 人物肖像
[人物]缓缓[抬头/转头]看向镜头,眼神自然,轻轻眨眼,嘴角微微上扬。固定镜头。微风吹动发丝,柔和的光线。
2. 产品展示
[产品]静止放在[桌面/台面]上。镜头缓慢环绕产品半圈。光线在产品表面缓缓移动,背景柔和虚化。
3. 风景空镜
[场景]中,[云层缓慢移动/水面泛起涟漪/树叶随风轻摇]。镜头缓慢向前推进。[清晨薄雾/金色夕阳],宁静的氛围。
4. 人物行走
[人物]从画面左侧向右侧自然行走,步伐平稳。镜头跟随人物横向移动。背景中[行人/车辆]缓慢经过。
5. 美食特写
[食物]冒出袅袅热气,[酱汁缓缓流下/芝士微微拉丝]。镜头缓慢推近至特写。暖色灯光,浅景深。
先用这些模板跑通流程,再根据结果逐步调整。掌握了图生视频,就可以把自己生成的图片或拍摄的照片变成短视频素材,也为制作更完整的 AI 短片打下了基础。