SoundWise 处理多说话人音频时的角色分离方法

SoundWise 在处理多说话人音频时，角色分离的关键在于先明确“分离到什么粒度”：是把不同人声拆成独立音轨，还是只做人声与伴奏分离，抑或在转写文本中区分说话人。SoundWise 这类工具通常依赖声纹特征和语音活动检测来切分说话人，但实际效果受录音通道数、说话人语速重叠度、背景噪声和输入格式影响很大。如果标题问的是“能不能分离”，答案是：在同一段音频内，SoundWise 可以做到基于声纹的角色区分，但做不到百分之百准确，尤其在两人同时说话或音色接近时。

SoundWise 的角色分离适合作为“先分离后转写”的预处理流程，而不是一次性完美解决方案。操作上建议：用 16kHz 以上、清晰人声的输入；先做 VAD 切分，再按声纹聚类；分离出的音轨独立转写后再按时间轴合并。验证时以人工听感为准，说话人错误率只是参考，不能只看工具自带的置信度。

先确认输入格式与通道条件

SoundWise 的分离能力与输入音频的物理属性直接相关。如果是单声道录音，工具只能靠声纹和语速特征区分说话人，分离效果会明显弱于双声道或分轨录音。如果录音本身是立体声且左右声道分别对应不同说话人，建议先保留原始通道信息，别在导入前强制合并成单声道。即使 SoundWise 界面没有暴露通道选择，多数处理框架会读取音频元数据，保留双声道有利于后端做空间特征辅助分离。

操作建议：先查看音频采样率、声道数和码率。采样率低于 16kHz 时，声纹特征提取会丢失高频细节，建议先做重采样或改用更接近原始录音质量的输入。噪声较大的环境音会让语音活动检测多切出无效片段，可以先做轻量降噪，但不要用过于激进的降噪，否则可能把说话人的气息和停顿也当作静音切掉。

分离流程：切段、聚类、再转写

不要把角色分离当成一个“一键开关”，更稳的做法是走三段式流程：

语音活动检测（VAD）：先用 VAD 把连续音频切成短句片段，避免长时间沉默干扰说话人聚类。
声纹嵌入与聚类：对每个片段提取声纹向量，再用聚类算法（如 agglomerative clustering）按说话人分组。SoundWise 如果提供说话人数量参数，先按实际人数填；不确定时不要乱填，宁可先自动估计。
按说话人重组时间轴：把同一说话人的片段按原时间顺序拼接或打标签，再分别转写，最后合并成带说话人标签的完整文本。

这个流程的好处是每一步都可以单独验证。例如发现切分错误，可以只调整 VAD 阈值；发现两个人被分到同一组，就调整聚类距离阈值或检查是否有重叠语音。比起直接修改最终输出，中间产物更容易定位问题。

提示词与接口调用骨架

如果 SoundWise 提供类似“角色分离 prompt”或“speaker diarization API”能力，可以参考下面这个通用请求骨架，把分离后的结果用于转写。用不到官方字段时，按注释替换成实际参数名。

# 伪代码，需按 SoundWise 实际接口调整
from soundwise_client import Client

client = Client(api_key="YOUR_KEY")

# 建议先开启 VAD，不要直接做全音频声纹聚类
response = client.process_audio(
    audio_path="meeting.wav",
    sample_rate=16000,
    channels=2,
    enable_vad=True,
    vad_min_speech_ms=250,
    vad_min_silence_ms=300,
    speaker_count=2,          # 预估人数，不确定时可留空
    diarization=True,          # 开启角色分离
    output_format="rttm",     # 常见事件输出格式
)

# 拿到按说话人切分的片段
for segment in response.segments:
    print(segment.speaker_id, segment.start, segment.end, segment.text)

如果 SoundWise 只提供“人声分离”而没提供“说话人聚类”，那就把分离后的人声音轨再单独送入带说话人识别的模块。设置 prompt 时不要只写“分离两个说话人”，要写明声音特征和上下文的区别，例如：

可用提示词版本 A：
这段音频有两个人对话，A 声音偏低、语速慢，B 声音偏高、语速快。
请先标出 A/B 的出现时间段，再分别整理各自说的话。

版本 B（适合含多人会议）：
以下为会议录音。请忽略环境音和咳嗽声，
根据说话人身份把发言内容分成不同段落，并保留时间戳。
不要总结，只做角色分离和转写。

提示词的作用是给模型一个明确的输出结构，不是让模型去“理解”谁是谁。如果模型支持 few-shot，可以给一小段已知说话人的标注样例，帮助稳定输出格式。

验证方式与失败场景判断

拿到输出后，不要只看转写文本是否通顺。需要做两个层面的验证：一是时间边界准不准，二是说话人标签对不对。

时间边界验证：随机抽 3-5 段，播放音频并对照标注时间戳，确认切点是否落在真实语句间隙。如果切点常断在词中间，说明 VAD 的 min_speech 或 padding 参数需要调大。
说话人标签验证：先听某一段，判断标签是否与真实声音对应。如果两人音色接近且标签来回跳，说明声纹聚类不稳定，可以考虑增加 min_speakers / max_speakers 约束。
重叠语音场景：当两人同时说话时，任何分离工具都可能只保留其中一人。这种情况无法靠调参完全解决，建议单独记录重叠段落，人工补录或接受缺失。

如果最终用途是生成会议纪要，建议把角色分离结果当作“候选稿”而不是直接发布稿。因为角色分离错误会直接导致发言内容张冠李戴，比单条转写错误更难发现。

边界说明与后续动作

SoundWise 的角色分离不适合在录音质量极差、多人混响严重或说话人数量超过麦克风通道数时追求高精度。遇到这类音频，建议先做增强预处理，或者降低期望：只做“说话人时间段标记”，不做“说话人身份识别”。

如果当前测试结果不理想，可以按以下顺序调整：检查音频采样率是否被压缩到 8kHz；确认输入文件是否有双声道；调整 VAD 静音阈值；尝试给聚类模块提供说话人数量估计；最后再考虑更换音频处理后端。所有调整都要保留同一段测试音频，方便对比改动前后效果。