Claude Code 与 Codex 搭配 Seedance:AI 视频从创意到成片全流程
从一个想法走到一支完整短片
这套流程把 Claude Code、Codex、Seedance、FFmpeg 和 Python 放进同一个制作项目中:Claude Code 负责导演与统筹,Codex 负责生成设定图、样帧和镜头首尾帧,Seedance 把首尾帧生成视频片段,FFmpeg 与 Python 用于剪辑和后期。也可以由 Codex 承担统筹,按自己的工具条件调整分工。
制作的难点不只在工具操作,还包括故事逻辑、构图与机位、镜头运动、提示词以及视频生成中的反复试验。整套流程把检查前移:先在文字中发现问题,再在静帧中发现问题,最后才付费生成视频。文字里能修正的错误,不留到图片阶段;图片里能发现的错误,不留到视频阶段。
正式开始前先确认片长、画幅、总预算、配乐与字幕需求,并把所有文件放在一个新的项目文件夹中。预算和关键决定由自己确认;任何模型额度、接口价格或生成结果都以当时账号及账单显示为准。
安排导演、画师与动画师的分工
| 角色 | 负责内容 |
|---|---|
| 自己 | 选择方向和画风,批准预算与付费生成;检查画面动态并听声音。 |
| Claude Code(导演) | 构思故事和分镜、撰写提示词、调用其他工具、检查图片与视频,并用代码完成后期。 |
| Codex(画师) | 制作设定图、样帧,以及每个镜头的首帧和尾帧;如果由 Codex 担任导演,可用自己的图像生成工具完成画面。 |
| Seedance(动画师) | 根据首尾帧生成数秒的视频片段。 |
把 Codex 和 Seedance 接入统筹流程后,尽量只与导演 Agent 沟通,减少切换窗口和复制粘贴。图片生成通常可以先通过文字与静帧反复校正;视频生成则按秒计费,因此在提交前要把镜头、首尾帧和提示词核对清楚。
准备项目、工具和调用方式
先确认 Claude Code、Codex、FFmpeg 和 Python 是否可用,再创建单独的项目目录。调用 Codex 时,可以在只读权限下提交参考图和提示词文件,例如:
codex exec --skip-git-repo-check -s read-only -i 参考图.png - < 提示词.txt
提示词开头写明:Use your image generation tool to create exactly ONE image. Do not run shell commands. 生成图片后按会话记录在 ~/.codex/generated_images/<session id>/ 找到文件,并在交给后续步骤前确认尺寸和内容。
调用 Seedance 时,按服务要求使用视频生成接口;密钥只放在环境变量 ARK_API_KEY 中,不要写入提示词、日志或对话,也不要打印密钥。让 Agent 按当前服务文档准备请求格式,再由自己检查实际请求内容。缺少工具或密钥时先停下来补齐,不要把密钥贴进聊天记录。
原教程记录的 720p 价格示例是 doubao-seedance-2-5-260628 约每秒 ¥1.5、doubao-seedance-2-0-mini-260615 约每秒 ¥0.5;这是教程发布时的示例,不是当前报价,实际费用以提交前报价和账单为准。不要充值或购买额度;接口提示欠费时先停止提交,把已有片段整理成粗剪。
把一句想法打磨成完整故事
先向 AI 讲清一句话想法或初步剧情,再通过对话补足故事,直到自己确认定稿。逐镜检查以下问题:
- 符合现实逻辑:每个转折都问清为什么会发生、物品从哪里来、人物是否够得到,以及现实中是否成立。
- 能说清表达重点:用一句话说明短片想表达什么;如果说不清,继续修改故事。
- 开头能抓住注意:把最有吸引力的画面安排在前面,明确它何时出现。
- 旁人反应自然:转折按“问题—主角解决—旁人反应”展开,反应要有先后,不让多人同一时刻做完全相同的动作。
- 画面适合生成:尽量避开人物交叉、手拿小物件、画面文字、镜子与倒影、左右不对称特征、同一镜头中突然换光、单人连续多个复杂动作、俯拍看不到脸,以及配角过多等难点。
片段式故事通常更容易制作,因为镜头之间不必强行连续;连贯式故事需要额外检查人物、道具与场景衔接。配乐时可以让转折对应副歌、关键动作对应重拍。
可先用下面的提示词启动讨论:
我想做的片子:[一句话想法或初步剧情]。片长:[秒]。
配歌:[歌名、时长、BPM;不配歌就删掉]。
参考片:[有就写,没有就删掉]。
先帮我把想法完善成完整故事。有不清楚的地方就问我,我们一起讨论,等我确认后再继续。
故事结构优先考虑片段式,除非我明确要求连贯式。
故事确定后,再展开成逐镜头故事:逐个检查现实逻辑、表达重点、开头吸引力、旁人反应的先后,以及 AI 视频模型容易拍错的动作和画面。配歌时让转折对副歌、关键动作对重拍。
用新视角审核故事定稿
故事定稿前,可以另开一个只读审核 Agent,只给它故事,不给它主 Agent 的结论或其他文件。请它按镜头顺序复述看懂的内容,逐个检查转折的原因、主题、开头、旁人反应和模型难点,逐项列出镜头、问题与建议,并写明通过或不通过。新视角能帮助发现主 Agent 因熟悉讨论过程而忽略的歧义。
你是第一次阅读这支短片的故事,只负责挑错,不改文件。
1. 按镜头顺序写出你看懂的故事。
2. 逐个转折追问原因、物件来源、人物是否够得到,以及现实中是否成立。
3. 用一句话说明故事表达的重点。
4. 检查开头是否有吸引力,最有力的画面是否足够靠前。
5. 检查旁人反应是否自然、是否有先后。
6. 标出 AI 视频模型可能拍错的画面和动作。
每条写明镜头、问题和建议,没把握时标注“可能”。最后写“通过”或“不通过”。
用分镜确定机位、构图和运动
分镜决定成片的视觉质量。若有参考片,可让导演逐帧观察机位和人物在画面中的比例,再据此设计;没有参考片时,也要逐镜写明片中时间、生成秒数、景别、机位、运镜、人物在画面左右的移动方向、表情变化、画面中什么在动,以及如何转到下一镜。生成秒数按片中时长向上取整,并尽量多留约 0.5 秒,后期再微调。
- 变化拍摄角度:全片平视正面尽量不超过两次,其余可使用俯拍、仰拍、背后、过肩或透过前景拍摄。
- 安排画面运动:人物或物体可以走入、走出画面;人物不走时,可让其他物件或背景人物产生合理运动。固定机位也要有清晰的画面变化。
- 交替景别:全身、半身和面部特写不要连续重复同一种大小。
- 每镜明确“什么在动”:摄影机、焦点、光线、前景物体或人物细微动作至少有一项;动静要有对比。
- 镜头运动要有理由:跟随人物或物体、逐渐推近特写,或从近景拉远,都应服务于观众需要看到的信息。
- 检查单帧构图:暂停在任意一秒仍应清楚好看。可以把人物头部或眼睛放在画面横向约 38% 或 62% 位置,避免总在正中央。
配色也要提前设计,不交给模型临场发挥。把每场的颜色单独整理成色表,再将草图转成黑白检查人物和背景的明暗对比。可让代码为每个镜头画一张 1920×1080 色块草图,标出 38% 与 62% 位置、人物和主要物件,拼成总表确认。
先定画风,再制作角色设定图
分镜确定后再选择绘画风格,例如柔和的手绘、简洁剪纸感或写实效果。尽量用参考图明确风格;由导演编写提示词、画师制作画面,自己确认效果后再继续。
给每个角色和固定道具制作设定图,写清正面、侧面和常见表情。人物身上的固定特征与物件要标明具体位置,例如纹身在哪一只手臂,避免不同镜头里位置变化。
逐镜制作视频首帧和尾帧
首尾帧是每个视频镜头的第一张与最后一张图,也是降低视频生成错误的重要控制点。先让 AI 列清每个镜头的首帧内容、尾帧内容和中间动作,再交给审核 Agent 检查;通过后再画图。
- 通常先画信息较多的尾帧,再从尾帧修改出首帧,尽量保持机位和构图一致。
- 同地点、同机位的镜头可在已有图像上修改,不必每次重新生成。需要推近时,可将尾帧裁切并放大,形成与首帧不同的构图。
- 动作需要的物件必须在首帧中出现;雨、帽子、纹身等连续性特征要在首尾帧中都出现。
- 检查画面比例;若不是 16:9,提交前先裁好。首帧和尾帧尺寸必须相同。
放大检查图片和镜头连续性
画完后逐张放大检查。审核材料包括首帧、尾帧、角色设定图和对应分镜。提示词可以这样写:
首尾帧已经完成。请放大逐张检查;发现问题时只指出图片和位置,等我同意后再修改。
1. 动作要用到的物品在首帧里是否已经出现?
2. 其他人物的反应是否预先安排在画面中?
3. 多人同框时,姿势是否自然且彼此不同?
4. 落物或移动物体的目标位置是否留有空间?人物头顶是否留白?
5. 风吹动的物体方向是否一致?
6. 缩小到手机尺寸后,远处人物是否仍清楚?
7. 放大后是否出现多余物件或异常线条?
8. 首尾帧叠放时,背景、机位和不应改变的物件是否对齐?
局部改图也可能影响整张图;若只需修一个区域,可以把修好的区域贴回原图。额度用完时等待恢复,不购买额度,也不要一次生成过多图片。
用七段式写视频提示词
首尾帧确定后再写视频提示词。遇到画面问题时,先检查提示词是否明确,再判断模型是否不适合。可以固定按下面七部分编写,并写清每秒的动作:
【画风】[一句话描述画风]。全段画风、颜色和人物设计与首尾帧一致。
【镜头】共 [X] 秒,[景别]、[机位]、[运镜;不动就写“不推不拉不摇,不切镜”]。
【构图与配色】[人物、物件、背景和光线的位置与颜色,与首尾帧一致]。
【人物】[每个人的外观、衣服和固定道具]。
【逐秒】0–0.2 秒静止并与首帧一致;逐段写明谁做什么、表情如何变化、手放在哪里、朝画面哪边移动;最后 0.3 秒停住并与尾帧一致。
【声音】只写画面中有来源的声音;人物不说话。
【约束】画面只保留首帧中的人物和物件,人物外观保持一致,一镜到底,不出现文字、字幕或水印。
提示词还要尽量消除歧义:多人动作写清楚先后;移动方向按画面左右描述;明确人物手的位置、道具数量和动作原因。与其反复写“不要发生什么”,不如具体描述画面中应当持续出现的主体和状态。
提交视频生成前逐项审核
每段视频生成都可能产生费用。提交前另开只读审核 Agent,让它放大检查提示词、首帧、尾帧、角色设定、分镜和配色规则。只让它挑错,不改文件;发现问题时先列出,待自己确认后再修正。
你负责只读审核,不修改文件。这个镜头即将提交视频生成,请逐项检查提示词、首帧、尾帧、角色设定、分镜和配色规则:
1. 提示词中的位置、方向、颜色、人数、道具数量、衣着和表情是否与图片一致?
2. 首尾帧的机位、人物大小和背景是否一致?
3. 是否符合角色设定、配色与前后镜头?
4. 动作是否现实,动作原因和手的位置是否写清?
5. 是否存在多人同步动作、物件凭空出现、脸部变化或方向歧义?
最后写“通过”或“不通过”;不通过时逐条列出需要修改的地方。
没有审核通过就不要提交。审核完成后先复核预算报价,再由自己批准生成;代理 Agent 也只能在事先确认的总预算内批准。
生成片段并控制试错成本
正式生成前先确认模型、分辨率、时长和报价。原教程建议可以先用 720p 生成、后期放大;无需专门制作测试片,可选择第一个正式镜头作为尝试。新的做法先选一两个最难的镜头验证,再扩大到其余镜头。是否使用更高规格模型,要结合镜头复杂度和预算决定。
生成后要实际查看动态并听声音。模型内置声音是否可用,需要按片段逐条判断;若音乐或音效不合适,可在后期另行处理。画面问题先看能否剪掉开头或结尾,或通过代码修复;确需重拍时,先修改提示词或首尾帧,只重拍有问题的镜头。新旧片段都保留,之后比较选择。
不要充值或购买额度。账户欠费或额度不可用时停止生成,先将现有片段拼成粗剪,供自己判断下一步。
针对常见生成错误提前写清条件
- 多人同时做相同动作:写明谁先、谁后,首帧也安排不同姿势。
- 人物误做了本应由风或环境完成的动作:解释动作原因,并说明人物的手是否接触物件。
- 云、月亮或植物出现五官:描述具体外形和移动方式,避免容易引出拟人化的词。
- 人物走错方向:明确写“朝画面左边”或“朝画面右边”。
- 语句有多种解释:写清物件所在的具体区域,以及其他容易误解的位置是否为空。
- 物件数量改变或突然出现:写出明确数量,只使用首帧中已经出现的物件。
- 物件突然飞走:写明连续运动路径,不只写起点和终点。
- 一个镜头动作太多:每镜只留一两个主要动作;时序不准时可在后期剪辑或变速。
- 嘴部自行说话:写清人物不说话;画面仍异常时再考虑代码修复。
- 某些模型会混入音乐、结尾跳帧或画面偏色:逐片检查并按首帧校正;必要时剪除异常帧或固定结尾画面。
拼接片段、转场、调色和放大
视频片段生成后,用代码完成拼接和后期,并逐项复核:
- 转场:明确哪两个镜头之间使用什么遮挡或运动转场;需要运动模糊时,按设计拆分处理。
- 调色:按故事段落调整彩度和亮度,保护强调色与肤色,避免没有需要的颗粒、柔光或暗角。
- 色彩空间:按当前素材的编码与解码方式处理;保留高质量中间文件,并核对交付色彩标记。
- 放大:可将 720p 片段放大到 1080p,检查锐化程度;不要默认对整段进行插帧。
- 配乐卡点:按原曲测量节拍,再对齐剪辑点;剪辑后重新测量可能改变节拍判断。
原教程给出的色彩处理示例是:Seedance MP4 按 BT.601 解码,中间文件使用无损格式,交付时标记 BT.709;提交前仍要根据素材与实际输出检查色彩标记。运动模糊转场可切成 8–16 份并按半帧快门处理。
完成后抽查每个切点前后至少三帧,确认没有黑帧、跳动或不自然的画面变化。
复核成片并保存交付材料
成片完成后,另开审核 Agent,只提供成片,不预先告知自己的结论,让它像首次观看的观众一样检查。要求它完整解码,逐镜抽取多张全分辨率画面,并检查切点前后三帧;先复述故事,再列出看不懂的地方,以及动作重复、道具数量、穿帮、突跳、颜色变化、脸部和文字问题。
问题分为硬伤和小问题,每条注明时间与帧号;也要明确它无法检查的内容,例如真实动态手感或声音。之后把画风、提示词和踩过的坑整理成项目记录,保留新的版本,不覆盖或删除旧文件。
按需要采用四线程协作
较大的项目可以让导演 Agent 统筹四个角色:主做负责制作,审核只读挑错,监督把自己提出的要求整理成检查清单,代理依据自己事先表达的偏好处理授权范围内的决定。代理不能越过预算,也不能代替自己批准超预算费用。
各阶段完成后依次交给审核与监督检查;有分歧时提交代理按要求说明依据。决定和费用都记入审核记录,自己可以复核。提示词中写明要求记录所在位置、总预算、分工和停止条件。额度不足时停止提交,将已有片段先粗剪。
整个流程以自己确认的故事、画风和预算为准。Agent 可以协助执行和检查,但不能替代对画面、声音、费用与最终成片的实际验收。
使用声明
本文根据一篇 AI 视频制作流程教程整理,供学习与工作流参考。模型能力、接口要求、价格、额度和工具可用性可能变化;提交前应以当前账号、服务界面和实际报价为准。
生成图片和视频可能产生费用。请先确认预算、检查内容,并在获得本人明确批准后再提交付费生成;不购买额外额度,不泄露 API 密钥,不覆盖或删除旧版本。成片质量仍需自己查看动态、聆听声音并决定是否交付。
