口型比声音慢或快一截，通常不是模型“算错了”，而是时间轴在某一环被改过：音频没被完整读入、特征提取的帧率与视频帧率不一致、或者时间戳单位换算出错。这三类问题的表现很像，但排查路径完全不同。可以按“先看日志，再看音频轨，再用短音频复现，最后核对换算和做交叉实验”的顺序推进，因为它们都是可以通过配置、命令或页面行为验证的。

先把音频加载和特征提取的日志行找出来，确认音频时长、采样率、特征帧数与预期一致；再用 ffprobe 排除空轨和静音轨；然后用 5 秒音频复现，看偏移是恒定的还是随长度累积的，前者多指向整体时间偏移或帧率换算，后者多指向重采样和帧率不对齐。换音频与换人像两次交叉实验可以把问题锁在音频侧或人像侧。所有结论都需要结合你自己的模型配置和实际素材确认，不要直接套用。

查看运行日志里音频加载与特征提取的输出行

日志要关注的是两段：音频加载段和特征提取段。加载段通常会出现音频路径、容器格式、采样率、声道数、时长这类字段；特征提取段通常会出现 mel 谱或特征矩阵的 shape、帧数、hop 长度、fps。先确认音频确实被读到，而不是用了一个默认路径或缓存文件。

可以按这些通用关键词去过滤日志，具体名称以你用的库为准：

grep -iE "load|read_audio|waveform|sample_rate|sr=|duration|num_frames|shape|mel|hop|fps|feature" run.log

需要重点看三种异常样式：一是路径相关报错，形如 FileNotFoundError 或 No such file，说明根本没读到；二是时长或采样率异常，例如 duration 为 0.0、sample_rate 缺失、waveform shape 中出现 0 长度维度，说明读到了空轨或解码失败；三是特征帧数与预期明显不符，例如短音频却只出现个位数的 mel 帧。音频特征和视频帧率如果按不同时间基准采样，后面就一定会错位，所以在日志阶段就要把这两个数记下来。

用 ffprobe 确认音频轨真实存在且有波形

日志说“已加载”不等于轨道里真有声音。有些文件是有音频轨但整轨静音的，这种人像侧看起来口型在动、声音却对不上，容易被误判成对齐问题。先用 ffprobe 看元数据：

ffprobe -v error -select_streams a:0 -show_entries stream=codec_name,sample_rate,channels,duration,bit_rate -show_entries format=duration -of default=noprint_wrappers=1 input.mp4

要看的字段是 duration、sample_rate、channels。duration 应与视频时长接近，sample_rate 常见为 16000、22050、44100、48000，channels 为 1 或 2。如果 duration 明显短于视频，或者 sample_rate 与特征提取配置不一致，就会在后续环节被重采样，时间轴可能因此被拉长或压短。想看波形是否为空，可以再用一次 ffmpeg 的统计：

ffmpeg -v error -i input.mp4 -af astats=metadata=1:reset=0 -f null - 2>&1 | tail -n 40

如果 RMS 长期为负无穷或极低，基本可以判断是静音轨或近静音，此时谈口型对齐没有意义，先换一段有声素材再复现。

用 5 秒短音频做最小复现，观察偏移是否随长度累积

把同一段人像和一段 5 秒的清晰语音跑一遍，再和一段三四十秒的音频对比。记录偏移的方法有两种：一是听感加逐帧对照，找出音频起音点对应的视频帧序号；二是把生成结果和驱动音频都导入同一时间轴工具，读同一事件的时间差。

用帧序号换算偏移秒数：offset_sec = (frame_out - frame_expected) / fps，fps 用视频真实帧率。然后对比两组数：如果 5 秒和长音频的 offset_sec 基本相同，说明是恒定偏移，多半来自整体时间戳被平移或首帧对齐没做好；如果长音频的 offset_sec 明显大于短音频，说明是累积漂移，方向指向帧率换算、重采样或特征 hop 与视频帧率不整除。

核对视频帧率与音频采样在时间轴上的换算

视频按帧计数，音频按采样点计数，两者必须换到同一时间基准才能比较。基础公式是：

t_video(frame) = frame / fps
t_audio(sample) = sample / sample_rate
t_feature(k)   = k * hop_length / sample_rate
feature_frames ≈ duration_sec * sample_rate / hop_length

换算时容易出现的问题是把帧序号直接当成毫秒，或者用容器里的标称帧率而实际视频是可变帧率。建议先取一个已知事件做校验：在音频第 1.0 秒处起音，那么它应对应第 fps 帧附近，特征侧应对应第 round(1.0 * sample_rate / hop_length) 帧附近。三边都对上，说明换算基准一致；只对上两个，就定位到出错的那一环。

如果修改过视频帧率或音频重采样参数，需要重新验证三件事：输出视频的实际帧率是否与配置一致，音频采样率是否仍是特征提取所期望的值，以及特征帧数与总时长的乘积是否仍接近音频时长。改完一项就重新跑一次短音频复现，不要一次改多个变量。

对比换音频与换人像两次实验结果，定位偏移来源

两次实验只改一个变量：实验 A 保持人像和配置不变，只换一段新音频；实验 B 保持音频和配置不变，只换一张新人像。两次都用同一长度、同一采样率的素材，便于比较偏移量。

建议记录成表，字段结构如下：

• 实验编号：A / B
• 人像素材：文件名或编号
• 音频素材：文件名、时长、采样率
• 配置：帧率、hop_length、是否重采样
• 偏移方向：口型偏快还是偏慢
• 偏移量：offset_sec 或帧数
• 是否随长度累积：恒定 / 递增

判断方式很直接：如果换音频后偏移消失或改变，而换人像几乎没变化，问题更可能在音频侧，比如采样率、重采样或特征对齐；如果换人像后偏移改变，而换音频稳定复现同一偏移，问题更可能在人像侧的时间建模或帧率映射。如果两边都跟着变，通常说明是公共的时间轴换算没统一，回到上一节的公式逐项核对。