Eleven Realtime 多语种语音客服 / 先拿自己的样本验口音和断句

文章导读
多语种语音客服能不能上线,实际判断点是:你自己的工单语句在目标语种里,客户能不能听清、数字念得对不对、句子断在哪里。通用演示用的多是标准短句和clean text,这三点基本不暴露。建议在接 Eleven Realtime 这类实时语音接口之前,先抽一批自有工单语句做小样本听测,用三人打分和失败归类决定哪些语种先开、哪些语种必须配人工兜底。这样做的代价是要花时间整理样本,好处是上线边界来自自己的语
📋 目录
  1. A 从真实工单抽测试句
  2. B 统一输入与音频落盘
  3. C 三人独立打分
  4. D 归类失败类型
  5. E 把听测结果转成上线边界
A A

多语种语音客服能不能上线,实际判断点是:你自己的工单语句在目标语种里,客户能不能听清、数字念得对不对、句子断在哪里。通用演示用的多是标准短句和clean text,这三点基本不暴露。建议在接 Eleven Realtime 这类实时语音接口之前,先抽一批自有工单语句做小样本听测,用三人打分和失败归类决定哪些语种先开、哪些语种必须配人工兜底。这样做的代价是要花时间整理样本,好处是上线边界来自自己的语料,不是厂商 demo 的观感。

多语种语音客服是否可交付,通常不看通用演示的流畅度,而看自有工单语句在目标语种下的口音自然度、数字读法和断句位置。可以先抽几十条真实工单语句,统一文本输入与音频落盘,由三人独立按四项打分,再把失败样本归到数字、缩写、专有名词、中英混读、长句断点五类。最终产出是按语种划分的三档上线边界,而不是一个笼统的准确率。这一方法不覆盖并发、延迟和话务峰值,那些需要另外压测。

从真实工单抽测试句

样本要从客服系统已结案的对话里抽,不要用产品说明书写成的句子。抽取时按五个维度交叉覆盖,每个语种各自成套,方便后面横向对比。

维度抽法每语种条数编号前缀
语种分布按工单真实占比取前 3–5 个语种,冷门语种单独列一套12–20L-语言代码
句式长短短句不超 10 词、中句 11–25 词、长句 25 词以上,三种各占约三分之一9–15S-短 / M-中 / G-长
含数字金额、订单号、时间、按键序号各取若干8–12N-序号
含专有名词人名、地名、商品名、承运方名称6–10P-序号
中英混读品牌词、按钮名、状态词夹在本地语句中5–8X-序号

编号规则建议统一成「语种-维度-序号」,例如 es-N-03 表示西语第 3 条数字类样本。同一条样本被多个维度命中时,按最需要验证的那个维度归类,避免重复计数。抽取时保留客户原话,包括语气词和口误,不要顺手改成通顺句,因为口误恰恰是断句问题的高发点。

统一输入与音频落盘

多语种听测最容易出错的地方是比较基准不一致:同一个语种换了音色,或者一条样本加了标点、另一条没加,结果就没法并排看。文本输入按下面几条固定下来。

  • 每条样本只保留一份文本,不做人工润色、不补全省略的主语。
  • 标点保留原始形态,包括问号和感叹号,因为断句表现与标点强相关。
  • 数字原样保留,不预先转写成读法,让合成端自己决定念法。
  • 专有名词保持工单里的原始大小写和空格。
  • 同一批对比中,音色与语气提示保持一致,只改语种这一个变量。

落盘目录按语种分开,文件名与样本编号一一对应,方便回听时直接定位到是哪条语句。

listening-test/
  manifest.csv
  audio/
    zh/
      zh-S-01.wav
      zh-N-03.wav
    es/
      es-G-02.wav
      es-X-01.wav
    ja/
      ja-P-04.wav

manifest 至少包含这些列,逐条填。

sample_id,lang,text,dimension,scene,voice_alias,file,note
zh-N-03,zh,"您的余额是 1080 元",数字,账单查询,V3,audio/zh/zh-N-03.wav,

验证方式很简单:随机抽 10 个文件名,打开音频听第一句,与 manifest 对应行比对,文本和语种都对得上,说明落盘规则执行到位。voice_alias 用自己起的别名即可,不必在听测表里写接口参数名。

三人独立打分

「听着别扭」不是可汇总的信息。让三个人各自独立听、独立打分,再合并,比一个人反复听要稳。建议四人参与、三人打分、一人只在出现分歧时复听,打分期间不交流。

评分项粒度判断依据
可懂度1–5 整数分一遍能否听懂,是否需要回听
口音自然度1–5 整数分是否像本地人说话,有无明显异域腔
断句位置1–3 三档断对、断在从句中间但可接受、断在词中间
数字读法正确 / 错误 / 未读出逐位读、整读、单位读法是否符合该语种习惯

不设半分,避免打分人纠结。分歧处理规则提前写明:同一项三人分差达到 2 分或以上,或数字读法出现一对一错,就标记复听,由第四人单独听并记录分歧点,而不是取平均后不了了之。汇总时不用总分排名,只看每个评分项的分布和失败样本编号,因为把它平均成一个总分,会掩盖数字类这种只要出错就影响交付的问题。

归类失败类型

听测结束后会得到一堆零散的“怪”。把它们收敛成五类,每一类留下原始样本片段和编号,才方便回头改文本、改话术或判定为不可修。

  • 数字:常见的是整读与逐位读混用、单位缺失。
    样本片段:「您的余额是 1080 元」「请按 2 号键转人工」
  • 缩写:字母串被连读成一个怪词,或逐字母读得含糊。
    样本片段:「请提供 SN 码」「VIP 客户走 T2 通道」
  • 专有名词:地名、品牌名的重音和停顿不自然。
    样本片段:「请确认是华景花园 3 期」「承运方是安捷物流」
  • 中英混读:本地语句中夹的词切换生硬,或切回来时语调掉下去。
    样本片段:「请在 App 里点我的订单」「这个型号已经下架了」
  • 长句断点:气口落在从句中间,或一句话拖得太长听不出层次。
    样本片段:「如果您昨天下的单今天还没有收到并且物流信息也没有更新,可以帮您登记催单」

归类时只记现象,不急着给原因。同一编号下挂两个以上原始片段,说明这不是偶发,值得单独处理。

把听测结果转成上线边界

打分表和失败清单最后要落到一句话:这个语种能不能直接开、开到什么程度。建议按语种逐行判断,三档判据如下,这是操作口径,不是实测结论,具体阈值需结合自己的话术和客群确认。

档位判据(按语种逐条看)配套动作
直接上线三人可懂度均不低于 4 分;数字读法三人一致判对;断句无落在词中间的情况先接非关键场景话术,如查询与提醒
加人工兜底可懂度稳定,但数字或专有名词类存在可复现错误;或口音自然度分歧较大改写话术规避,如让客户按键输入数字;保留转人工入口
暂不上线三名打分人一致判为听懂困难;或长句断点普遍落在词中间并影响理解该语种只用文字渠道,语音继续走人工

落表时以失败样本编号为依据,而不是凭印象。如果某个语种只有一批长句出问题,也可以是「直接上线 + 长句改短话术」的组合,不必整语种降档。上线后回听真实通话,把新增的失败片段补回同类清单,边界随之调整。