
国庆节跑了用了2个多的周额度,终于把用 GPT-6.1 Sol(Ultra) 协助制作的可莉版《痛痛飞走吧》制作了出来并发到了 B 站。虽然在后半段人物和字幕有重叠的部分,字幕已经完全看不了了,而且也有很多地方也有大大小小的问题,但好歹是做了出来。 先放视频:
这次也把相关的工程文件,以及从制作过程中整理出的 Skill 一起公开了:
目前公开的是完整首版草稿。全片已经导出,工程里也保存了技术检查记录,但字幕、人物边缘、遮挡和连续性仍有待改进的地方。
让可莉出演这支 PV
本次参考的原 PV已经有自己的画风、分镜、姿势和节奏。我的目标是保留这些,把画面中可见的人物换成可莉,连转场里只露出一部分的角色也要处理。
这意味着需要同时守住两组东西:可莉的帽子、短辫、尖耳和服装要认得出来;当前镜头的表情、身体朝向、手势、人与道具的接触又要跟着原稿走。只生成一张漂亮的可莉立绘,远远不够。
虽然说看起来任务很复杂但我实际上的prompt只有一句话:生成一份【中日字幕MIMI】痛痛飞走吧痛いの痛いの飛んでいけっ 的可莉版本PV,还是用原PV中的画面,但把画面中的人物都换为可莉,注意pv切分粒度要足够精细,在生成过程中注意补齐关键姿势,建立正确遮挡并检查连续帧。
尽管在制作过程中sol会反复去修改已经大致没有什么问题的片段,导致进度拉长,但效果确实是出人意料的还不错。
先拆清楚绘稿,再组回视频
原片共有 3658 个视频帧,但视频帧数和需要绘制的动作稿数量是两回事。同一张人物稿可以停留多帧,循环里也可能再次出现;与此同时,字幕、星星或背景仍在变化。
工程里的流程大致是:
- 分析原片,提取当前原稿和相邻画面的差值,判断人物究竟哪里变了。
- 给需要独立绘制的稿件建立任务,明确原图、角色参考各自负责什么。
- 保存生成结果、采用版本和问题记录,再把采用稿映射到所有实际曝光。
- 按镜头处理人物、背景、字幕、道具和特效,合成主片与原片对照版。
- 检查最终编码,再安排画面结构、连续切换和全片原速播放效果的审阅。
“曝光”可以理解为一张绘稿在时间轴上显示多久。这次遇到的一个细节是:原片虽然标称 24 fps,实际时间戳存在 41/42 毫秒的量化差别,直接按 帧号 / 24 排时间并不能精确保留原时序。因此,时间轴和导出检查要以真实 PTS(帧的显示时间戳)为依据。拆稿与时序说明
制作里最值得记下的几个坑
参考图给多了,动作反而串了
前一张可莉稿看起来最适合作为后一张的参考,但它也可能把自己的歪头、手势,甚至错误发束一起传下去。提示词写了“只参考角色身份”,也不能保证模型真的把身份与姿势分开。
例如工程中 f1129 的初稿沿用了低位双拳,没有画出原片中靠近下巴的交叉握手。处理时重新让当前原稿与原尺寸手部局部决定动作,角色身份只用不冲突的头部裁切;重绘后才得到需要的手势。
后来参考图的分工就更明确了:当前原图管构图、动作和遮挡,身份参考管固有外观,相邻差值管动作变化。错误整稿也不再继续作为后续稿的锚点。提示词与参考分工
“只修一下这里”也会改变别处
改手套颜色、缩短发束、修一只手,看起来都是很小的操作,但生成结果可能连目标区域之外一起重画。
制作记录里,f58 的短辫改色、f75 的手套改色都出现了大量框外像素变化。所以判断返修效果时,要把整张新图与原版本比较,再检查相邻稿、道具和其他已认可区域。不能因为目标部位变好了,就认为其余地方没动。
同方向的局部返修反复无效时,应该换参考或回到当前原稿重绘,并保留失败版本与原因。这条后来也写进了 Skill 的故障经验。
字幕已经烧进画面,不能简单贴回一块背景
原片的中日字幕、标题和署名都在画面里,没有独立字幕轨。人物替换之后,文字可能被人物掩膜吃掉;整块复制原画面,又可能把旧头发、衣服和背景一并贴回来。
处理方向是把歌词按实际出现时间单独登记,提取文字笔画与透明边缘,再确定它与人物的前后关系。检查也要同时看缺笔画、误增文字,以及文字在最终画面上能否读清。
一个特别容易漏掉的情况是:字幕换词发生在同一张人物稿的曝光内部。人物没换稿,字层却必须切换。文字与旧衣物同色、无法直接分离的地方,则在明确允许后使用原 PV 中同一句的清晰字形重建,并分别登记中文、日文的位置与时间;这部分要如实记录为重建。字幕与图层处理说明
画稿完整,合成后却可能缺头发、缺袖口
另一类问题出在掩膜:浅蓝头发、冷色脸、奶白袖口,都可能被颜色规则误判成天空。生成 PNG 本来完整,放进合成后却出现孔洞。
遇到这类问题,先并排看原片、生成 PNG、人物掩膜和实际合成,确定错误在哪一步。工程中 f933/935 的浅蓝头发就是在合成时被误删,修的是生成稿的天空分类条件,并复查受影响曝光和旧输出。对应返修记录
旧人物消失后留下的区域也要单独处理:原片天空有渐变和星点,直接填纯色会留下接缝。人物保留、旧人物清除、背景恢复需要各自的依据。这些问题推动了工程从通用颜色规则转向按镜头注册的图层处理。工程合成审计
相似画面、图片库存,都不能直接算作进度
两张缩略图看起来一样,原尺寸的眼皮、手指或衣褶却可能不同;一个动作生成了几个返修版,也没有因此多出几个独立动作。
后来复用人物稿之前,会核对原尺寸局部、RGB 差值和轮廓。确认人物相同后才登记复用,当前帧的字幕、背景和特效仍按自己的时间变化。
进度也拆开记录:采用了多少绘稿、覆盖了多少视频帧、还有哪些缺口、哪些只是选作草稿、哪些经过了美术检查。这样既能避免漏做,也能避免被不断增加的 PNG 数量误导。制作过程的详细记录
检查有用,但也会拖慢制作
这次另一个教训是:每补几张就重新导出、重新审一遍长片段,很容易让制作一直停在局部。
后来改为按一组动作,或同一句字幕的出现区间做增量检查,保留未改版本的证据;公共合成规则变了,再复查受影响区间。并行工作按镜头与稿件划分归属,同一稿及其重复曝光由一个任务负责,避免重复生成或合并时覆盖旧选择。制作流程与提速约定
完整首稿交付后,再根据看片反馈定点返工。这个阶段安排也需要如实体现到结果里:目前主片和对照版各通过了 17 项技术检查,选定的 81 项回归也通过了,但对最终导出视频的抽查仍发现字幕缺笔、旧长发残留,以及服饰、帽形和眼态跳变。
这些数字能证明检查覆盖的技术条件成立,不能替代全片原速审阅,更不能据此宣布画面已全部验收。工程保留了这些待修项,后续可以按位置继续处理。当前交付状态与已知问题
工程文件怎么查看
6.1sol-KleePV 保存了分析、时间轴、生成任务、制作笔记、合成脚本和检查记录。想理解工作过程,可以先看 production/PRODUCTION_WORKFLOW.md 和 production/PRODUCTION_LESSONS.md,再看 production/ 下的核心脚本:
analyze_source.py、group_source.py:分析原片与拆稿。delta_reference.py:生成两稿之间的对照、RGB 差值和轮廓参考。audit_full_pv_coverage.py、make_timeline.py:核对选稿、缺口与实际曝光,建立时间轴。compose.py与各镜头图层模块:诊断和合成人物、背景、文字、道具与特效。verify_preview.py:核验输出时序、片尾曝光、原 AAC 音频包和完整解码。
这些脚本带有本片的帧号、尺寸、颜色和路径假设,迁移到别的 PV 前需要重新适配。各脚本的职责与边界在 脚本地图 中有说明。
大体积素材放在 工程快照 Release:包括生成图、未采用版本、参考、掩膜、检查截图与历史视频。只下载 GitHub 的源码 ZIP 拿不到完整素材。
需要还原工程时,把五个 engineering-objects-*.zip 分卷放进同一目录,再使用仓库中的还原脚本。例如在仓库根目录运行:
python tools/engineering_archive.py restore --volumes C:/Downloads/klee-volumes --destination C:/Projects/klee-restored脚本会核验哈希并恢复原文件路径。历史记录中的 Windows 绝对路径会保留,仍可能需要调整;歌曲、原 PV、角色和第三方依赖的许可也没有因为归档而改变。工程归档说明
把这些经验整理成了一个 Skill
工程保留这次具体做了什么;Promotional Video Maker Skill 则把可以复用的工作流程、失败经验与检查工具整理出来。Skill 的名字是 pv-character-replacement。
入口是 SKILL.md,细节按拆稿、提示词、图层与连续性、交付检查等主题放在 references/。它还带了一组通用工具:
| 工具 | 用途 |
|---|---|
probe_source.py | 记录来源指纹、真实 PTS、时间基准与片尾曝光 |
pv_tools.py diff | 输出两张位图的对照、RGB 差值与双色轮廓 |
pv_tools.py validate-timeline | 检查其规定格式的曝光表与资产引用 |
verify_encoded.py | 在支持范围内核验输出时序、复制的 AAC 与解码 |
test_media_tools.py | 检查时序、音频和文件保护等关键约束 |
具体输入格式与限制以脚本地图为准。例如候选分析的 --cfr 参数只是使用者声明来源为恒帧率,并不自动证明原片时序;通用检查器也不能直接接收可莉工程的专用时间轴格式。
在支持 Skill Installer 的 Codex 中,可以这样安装:
使用 $skill-installer 安装 https://github.com/KLucen/-PromotionalVideoMakerSkill/tree/main/pv-character-replacement调用时可以从这样的任务描述开始,再补上自己的原片与角色资料:
使用 $pv-character-replacement 制作角色替换 PV,保留原分镜和真实曝光;逐稿检查关键姿势、遮挡、字幕与原速连续性,完成技术和美术两类验收。运行工具需要 Python 3.11+、FFmpeg/FFprobe,差值与分析功能还需要 NumPy、OpenCV、Pillow;实际绘制需要可用的图像生成或编辑工具。Skill 本身不附带生图模型、素材或账户凭据,具体安装与运行要求见仓库 README。
第一个可莉视频开心捏
可莉真可爱耶
分享文章
生成精美分享图或复制链接,与更多人分享本文。
继续阅读
换条路线
从其他文章中稳定抽取
最后更新于 ,距今已过 4 天
部分内容可能已过时
评论