流式话轮判断：已有工作全景

阅读指南：可信度与可比性

正文每条事实后面都有一个来源标记，显示“来源简称 · 原文位置”。点击标记在新标签页打开原文对应段落（arXiv 的 HTML 段落锚点、文本片段锚点或 PDF 页码）；鼠标悬停、键盘聚焦或在手机上轻点，会弹出原文短引文和全部来源。

一、四条学术谱系：同一个“话轮”，四种预测目标

话轮判断的已有工作很多。理解它们最有效的方式，不是按年份排，而是看两件事：标签从哪里来（录音里真实发生的行为，还是人为规定的“应该”），以及预测多远的未来。下面的时间线先给出全貌，点击任一条目可跳到对应小节。

1.1 VAP 与 MaAI：把话轮变成“未来谁在说”

VAP（Ekstedt 与 Skantze，Interspeech 2022）ISCA · ISCA Archive In…+1 不需要人工标注“谁该接话”，而是在每个时间点预测两人接下来 2 秒里谁会出声VAP 2022 · 摘要+1。每个人的未来 2 秒被切成 4 个时间格，长度依次为 0.2、0.4、0.6、0.8 秒，越远越宽VAP 2022 · §2 第5段；每格记“有没有在说话”，两人共 8 位、256 种组合，模型把它当作 256 选 1 的分类题来学VAP 2022 · §2 第4段+1。换不换人（shift / hold）、会不会出现附和、新发言是长是短，都可以把相关组合的概率加起来直接得到，属于零样本推导VAP 2022 · §3 第1段+1。作者认为旧方法逐格独立预测，表达不了格子之间的关联，因此改为整体建模VAP 2022 · §2 第4段。

2022 版先用 CPC 编码器每秒提取 100 帧特征，再接 4 层只看过去的 TransformerVAP 2022 · §4 第2段，训练数据是 Switchboard 英语电话语料中的 2205 段对话VAP 2022 · §4 第3段。四项测试的 weighted F1 为：判断下一位说话人 0.899、区分附和与正式接话 0.786、提前预测换人 0.733、提前预测附和 0.723VAP 2022 · 表1。但“永远猜不换人”的笨办法在同一项上也有 0.843；只看“换人”这一类，VAP 的 F1 只有 0.510VAP 2022 · 表1。这正是后文“类别不平衡掩盖少数类失败”陷阱的原型。

2024 年的实时版 VAP 把两人的声音分两路输入：每路先经过冻结的 CPC 和一层 Transformer，再用 3 层“两路互看”的 Transformer 融合，同时输出未来 256 类状态和“此刻谁在说话”实时 VAP · §2 第2段+2；并把结果汇总为 p_now 与 p_future 两个数实时 VAP · §2 第4段。这篇论文最有工程价值的是上下文长度实验：在日语旅行社对话上，Transformer 看的历史从 20 秒缩到 1 秒，balanced accuracy 不降反升（74.20%→76.16%），每帧计算从约 274 毫秒降到约 15 毫秒，普通 CPU 即可实时实时 VAP · 表1+1。能缩短而不掉点，是因为前端编码器里的循环网络仍在持续读入最多 20 秒的声音实时 VAP · §3 第1段。作者还指出：许多系统靠“静音 1–2 秒就算说完”，但人在一段话中间的停顿常常比换人时的停顿还长，只看静音并不可靠实时 VAP · §1 第1段。

此后的扩展沿四个方向展开。

• 多语言。英、中、日三语一起训练的模型与各自单独训练的相当，但单语模型拿到别的语言上明显失效多语言 VAP · §5 第1段：英语模型直接用于日语只有 59.43%（随机为 50%），三语模型在英、中、日上分别为 77.16%、84.60%、76.54%多语言 VAP · 表3。
• 可控。Prompt-guided VAP（SIGDIAL 2025）允许给每位说话人配一句文字说明，例如“更快”“更沉稳”Prompt VAP · §1 第2段+1；在约 953.5 小时日语对话上，换人判断准确率从 77.17% 提高到 79.80%Prompt VAP · §3.1 第1段+1；测试时把系统那一路声音设为静音，再用文字提示控制系统接话的频率和快慢Prompt VAP · §4 第3段+1。
• 上机器人。Skantze 与 Irfan（2025）把 VAP（每秒预测 10 次、看过去 30 秒、约 1000 小时英语电话对话训练）与文本模型 TurnGPT 一起装进机器人VAP 机器人 · §III-B 第1段+1。接话条件是：用户没在说话、VAP 两个概率都超过 0.5，并且这种“该轮到机器人”的判断已经持续至少 0.5 秒；此外还有按 TurnGPT 概率设定的兜底超时更正VAP 机器人 · 附录 A 伪代码+1。机器人说话时，若用户开口且两个概率都低于 0.4，机器人就在下一个词说完处停下VAP 机器人 · 附录 A 伪代码+1。39 名参与者每人都试了两套系统：新系统回应时间中位数 1.5 秒（基线 2.7 秒），误打断率 6.9%（基线 16.6%），差异均显著VAP 机器人 · 表 I+3。
• 多人与多模态。VAP 已扩展到三人对话（Interspeech 2025）三人 VAP · §1 第4段+1。MuVAP（2026-06）全程只用过去信息、每秒 25 帧、约 2770 万参数MuVAP · §2.1 第2段+2；在英语 Fisher 上，按说话人分声道的旧做法得 0.799，只用单声道、按“当前/下一位说话人”预测的 Role-Relative 新做法得 0.778MuVAP · 表5。

京都大学把这一系打包成开源 Python 工具包 MaAI（可直接 pip 安装，2025-08-13 上线）MaAI · README「News」列表最…+1，能实时预测接话时机、附和（时机与类型）、点头，并带说话检测和三人版 VAP，支持英、中、日MaAI · README 简介第2段+3。输入可以是“用户+系统”两路，也可以只有用户一路，专门的单声道 VAP 于 2026-08-30 加入MaAI · README 简介第2段+1；官方示例用每秒 10 或 12.5 帧，主打普通 CPU 运行MaAI · README 简介第2段+2。MaAI 没有独立论文，也没有公开各模型的速度对比表MaAI · README「Publicat…。

1.2 TurnGPT 一系：文字能看出“句子完整”，却分不清“话轮完成”

文本侧从 TurnGPT（EMNLP 2020 Findings）开始：在 GPT-2 上加入“谁在说话”的信息，逐词预测这个词之后会不会换人TurnGPT · PDF 第3页，§4 Mode…+1。RC-TurnGPT（ACL 2023 Findings）在判断时把“我接下来打算说什么”也作为输入RC-TurnGPT · §2 第2段+1，在“先陈述再提问”这类单看上文分不清该在哪接话的情况下帮助最大RC-TurnGPT · 摘要；作者建议把它当作边听边给候选回复排序的工具，也可以决定先不回RC-TurnGPT · §4 第2段。这是“系统自身意图进入话轮模型”的较早形式，但停留在文本层面。

Amazon（ICASSP 2024）在英语电话对话的每个词上标三类：对方继续说、我该附和、我该接话Amazon 融合 · §2.1 第1段+2。声音用 HuBERT 编码，文字用 30 亿参数的 RedPajama（LoRA 微调），两者晚融合Amazon 融合 · §3.3 第1段+1。融合模型平均 AUC 为 0.8657，相对最好的纯声学模型提升 22.6%、相对最好的纯文本模型提升 3.67%Amazon 融合 · §4.1 第2段；三类中“附和”从融合中得到的提升最小Amazon 融合 · §4.1 第2段。作者明确说明数据都是人与人的对话：把正在说的人当“用户”，把听的人当“系统”的榜样，每次换人时两人角色互换，数据就能用两遍Amazon 融合 · §3.1 第1段。

反方向的证据在 2026 年变强。Uniphore 的 APT 研究使用英语 8 kHz 多行业电话通话（银行、保险、零售、电信）更正APT · §3 第1段，发现只要加入文字信息，每句话里误判“说完了”的次数都会增多APT · §4.1 第3段：只用声音和语调时 F1 为 0.930、误报 7.8%；再加文字反而降到 0.909、误报升到 10.7%；只用文字时误报高达 74.8%APT · 表2+1。原因是一个人一口气说的话里，常有好几处语法上已经“完整”的地方APT · §4.1 第3段。预印本 Lla-VAP（2024-12）则显示，在一段话中间找“可以接话的点”（TRP），VAP 和大语言模型都做不好，VAP 在真实无脚本对话上只有 52.16%Lla-VAP · 表2+1；但这篇预印本的表格有明显瑕疵，引用时需谨慎Lla-VAP · 表2。

1.3 连续附和预测：标签提前 0.5 秒，F1 天花板只有三四十

连续附和预测的主线来自京都大学。“Yeah, Un, Oh”（NAACL 2025）在预训练好的 VAP 上再训练一个逐帧判断“现在要不要附和”的输出层Yeah Un Oh · 摘要页标题+1。模型同时听“系统自己”的声音，所以知道自己刚附和过，从而避免一连串不自然的“嗯嗯嗯”Yeah Un Oh · §5.1 第1段；训练时把“该附和”的标记提前到人真正附和前 0.5 秒Yeah Un Oh · §4.1 第1段。数据来自机器人 ERICA 扮演倾听者的日语对话Yeah Un Oh · §3.1 第2段：附和时机的逐帧 F1 为 42.85（精确率 32.52、召回率 62.80），随机猜只有 13.76Yeah Un Oh · 表1；改为每秒 10 帧后，在一台 i7 CPU 上处理 1 秒音频只需 0.16–0.23 秒（RTF 约 0.16–0.23）Yeah Un Oh · §6.4 第1段+1。把响度起伏抹平后，“嗯”类附和的 F1 从 38.11 降到 35.48，影响大于抹平音高，说明模型更看重响度变化Yeah Un Oh · 表4+1。

三语版本（IWSDS 2026）同样提前 0.5 秒三语附和 · §3 任务列表第4条+1，三语联合模型在日、英、中上的 F1 分别为 33.69、23.96、22.65三语附和 · 表3。不同语言的附和习惯差别显著：附和发生在对方还没说完时的比例，日语 69.4%、英语 60.9%、中文 47.4%三语附和 · 表2。

为什么这些分数偏低？一种解读是：附和本来就可有可无，同样的位置有人附和、有人不附和，所以这类分数天生不会高，不宜拿来和“换不换人”的准确率直接比较——这是解读，不是原文结论推断DualTurn · §3.3 第1段。DualTurn（2026-03）里附和预测最好的 F1 也只有 0.349（精确率 0.282）DualTurn · §3.2 第2段+1；若在第二阶段把第一阶段的生成式预训练损失当辅助损失一起训练，附和 F1 会从 0.349 跌到 0.077更正DualTurn · §3.4 第3段。作者建议部署时不要只凭附和信号就发声DualTurn · §3.3 第1段。原版 VAP 没有专门的附和输出，在 DualTurn 的评测里附和得分为 0DualTurn · §3.2 第2段。

1.4 端点检测：从静音阈值走到“思考停顿 vs 说完”

端点检测一系的标签是人为规定的“用户说完了”，并且判定发生在事件之后。Google（Interspeech 2022）在训练数据里自动加入两种标记：<pause> 表示“在想、没说完”，</s> 表示“说完了”Google EOT · §2 第1段。规则是：长静音或句子结尾记“说完”；短静音、拖长音之后、“呃、嗯”之后、以及说错改口之后，都记“没说完”Google EOT · §2 第3段+2。模型是流式识别常用的 RNN-T 结构，编码器为 12 层只看过去的 ConformerGoogle EOT · §4.2 第1段；判断“说完”时能找到 97% 以上的真实结束点，判对比例约 85%，延迟中位数约 0.1 秒Google EOT · 摘要+1。

Amazon 的两段式方法发表于 ASRU 2023：第一段先给出“可能说完了”，第二段“仲裁器”再结合识别出的文字和声音确认更正Amazon 两段式 · 摘要+2。在语音助手指令测试集上，过早切断率相对下降 16.34%、词错率相对下降 3.12%；在“半句话”子集上过早切断率相对下降 32.45%；中位延迟保持 300 毫秒，P99 从 1110 毫秒增到 1320 毫秒更正Amazon 两段式 · §5.1 第1段+1。

2025–2026 年进入大模型“语义端点”阶段。Easy Turn（2025-09，西北工业大学 ASLP 组与华为）把用户状态分成四种：说完了、没说完、只是附和、让系统等一下Easy Turn · 摘要+1；结构是 Whisper-Medium 编码器加 Qwen2.5-0.5B 小语言模型Easy Turn · §5 第1段；在作者自己的测试集上四类准确率为 96.33%、97.67%、91%、98%，模型 850 MB、延迟 263 毫秒Easy Turn · 表2。Next-Turn（2026-06）不再标“说完没说完”，而是预测“离下一次开口还有多久”，这个目标可以直接从录音时间戳算出来Next-Turn · 摘要；它用 Whisper-large-v3 编码器加 LoRANext-Turn · §4.2 第1段，流式时每 0.16 秒切一块、块间不重叠Next-Turn · §4.2 第2段，在 1177 小时内部中文数据上训练后，提前打断率 只有 5.0%，ACC320 为 86.7%Next-Turn · §4.1 第1段+1。FD-VAD（2026-09）不先转文字，直接把最近一小段声音送进 WavLM 编码器和一个微调过的 0.5B 小模型，输出“继续听”或“可以停”FD-VAD · §1 第4段+1；它每 0.32 秒判断一次，每次看最近 2.56 秒更正FD-VAD · §3 第2段；没有在 TurnBench 上训练，直接测试时在误报率不超过 10% 的条件下找到 85.3% 的“说完”时刻FD-VAD · 摘要。

Next-Turn 论文里的对比表，是“各家自报成绩互相冲突”的典型案例，必须带着数据集名称阅读Next-Turn · 表2+1：

来源：Next-Turn · 表2+1

Easy Turn 在自己的测试集上各项都超过 Smart Turn，但换到 Next-Turn 的中文数据上仍有 31.1% 的情况抢话Easy Turn · 表2+1；Smart Turn v3.2 在这份数据上甚至略差于简单的 0.32 秒静音阈值（抢话率 64.5% 对 60.0%）更正Next-Turn · §4.4 第4段。这不说明谁更好，只说明这些模型对数据分布极为敏感。Next-Turn 还给出一条清晰的权衡曲线：只看已有声音时平均响应延迟约 0.37 秒；多等 3 块（向前看约 0.48 秒）再决定，抢话率降到 1.2%，但延迟升到约 0.74 秒Next-Turn · §4.4 第5段。

1.5 四条谱系横向对比

决策间隔由各文帧率换算（例如 100 帧/秒 = 10 ms）。

本质区别只有一条（本文分析）：VAP 与附和模型预测人类将要做什么，地平线在未来，天然能“提前”；端点检测判定用户已经说完，延迟下限受确认窗口约束。TurnBench 上 VAP 判断“说完”的中位延迟 368 毫秒、Smart Turn v3 为 1017 毫秒，与这一区分一致TurnBench · 表4。

二、全双工系统：控制信号放在哪里，决定了模型擅长什么

两篇综述给出互补的分类。2026-06 的综述按“在哪一层做说/听决定”把系统分成 L0–L3 四层：L0 由模型外的独立模块决定，L1 由读取大模型内部状态的小模块决定，L2 直接把决定写进模型输出的符号序列，L3 是多路信号共享同一内部表示、尚无系统实现综述 2026 · §1 第4段+1；它还把系统任一时刻的行为归为五种状态：都不说、只听、只说、自己暂停等待、双方同时说综述 2026 · §6.1 第1段及其后列表+1。2025-09 的综述分为两大类：靠人为设计的控制模块（模型外、模型内两种），以及让模型自己从数据中学会何时说话（如 dGSLM、Moshi、SyncLLM）综述 2025 · 摘要+3；它给出的总体数字是，全双工模型正确处理打断的比例在 54%–86% 之间，人类为 94%，但没有说明每个数对应哪个模型综述 2025 · §4.3 第3段。

按“控制信号放在哪里”，可以把公开系统归纳为三条路线：

2.1 隐式多流：话轮从数据里“长”出来

Moshi（Kyutai，2024-09）的音频编解码器 Mimi 每秒输出 12.5 帧，即每帧 80 毫秒Moshi · §3.3.2 第1段+1。它把用户的声音和自己的声音当作两条同时进行的序列来建模，因此不再需要“现在轮到谁说”这个概念Moshi · §1 第3段+1；理论延迟 160 毫秒，实测约 200 毫秒Moshi · 摘要末句+1。它的强项和弱项都来自“没有显式状态”：在 Full-Duplex-Bench 上接话很快（0.265 秒），但用户中途停顿时几乎每次都抢着开口（抢话率 0.985 / 0.980），而且几乎从不附和（频率 0.001）FDB v1 · 表 III+1。

NVIDIA 在 2026-01 发布的 PersonaPlex 沿用 Moshi 的结构，并从 Moshi 的权重开始训练PersonaPlex · 图1 说明+1。论文架构里看不到专门的话轮判断模块（这是依据架构描述的推断）；它学会被打断，是因为训练用的合成对话里故意让两人的话重叠PersonaPlex · §3.2.2 QA 数据合成段+1。PersonaPlex 接话延迟只有 0.07 秒，但用户停顿时仍有约 58%–66% 的概率抢话PersonaPlex · 表2 PersonaPlex 行。FLM-Audio（2025-09 首发，2026-01 第 3 版）在最后一轮微调时，以 70% 的概率在训练对话里加入用户插话，并故意让模型等 0.5 秒才停下，避免被“嗯”“对”这类短附和误打断FLM-Audio · §4.1.2 Response…+1。这条路线的源头之一 dGSLM，是不用文字、直接用双通道电话录音训练的对话语音模型更正dGSLM · 摘要；它在 Full-Duplex-Bench 上的数字可在 X2-Turn 表 1 查到，最早出自 Full-Duplex-Bench 论文X2-Turn · 表1 dGSLM 行+1。

2.2 单流内嵌控制 token：在输出序列里写下“该说了”

SALMONN-omni 于 2025-05 发布、被 NeurIPS 2025 接收NeurIPS · NeurIPS 2025 虚拟…。它每听 80 毫秒音频就输出一个文字 tokenSALMONN-omni · §4.1 第2段，听或等待时输出 <think>，在“听→说”“说→听”切换时输出 <shift>SALMONN-omni · §3.3 Explicit t…。在系统能听到与原音量一样大的回声时，“与上下文无关的打断和附和”合并测试的 F1 为 0.88（精确率 0.84、召回率 0.92），Moshi 为 0.80，Freeze-Omni 只有 0.17SALMONN-omni · 表5。只做监督微调后，模型太容易被打断SALMONN-omni · §3.4 Stage 3 段；再用 DPO 训练 40 步，总分从 0.86 升到 0.90，但训练到第 10 步时模型变得过度保守、几乎不肯被打断，得分曾掉到 0.24SALMONN-omni · 表6+1。

SyncLLM（Meta 与华盛顿大学，2024-09）把时间切成固定小段（基线 160 毫秒），用户和助手的小段交替排列，每段前加 [S0]/[S1] 标明说话人SyncLLM · §3.2 第1段+1。2026 年综述原文称它为 “an L2-shaped but apparent (not substantive) full-duplex system”，因为它只能在小段边界切换，小段内部无法对用户当下的声音作出反应更正综述 2026 · §4.5 SyncLLM 段。Mini-Omni2 用 irq / n-irq 两个特殊符号表示“要被打断 / 不被打断”，但只对口令 “Stop Omni” 做了演示Mini-Omni2 · §3.4 第4段+1；Covo-Audio 在听时持续输出 THINK，轮到自己说时输出 SHIFT，被打断或说完时输出 BREAKCovo-Audio · PDF 第9页，§2.5 Fu…+1。

2.3 控制器派：流式表征加一个小分类头

“控制器”类系统的共同做法是：持续处理输入的声音，接一个很小的分类模块，每 80–160 毫秒给出一次“现在是什么状态”的判断（跨论文归纳）X2-Turn · §1 第4段+2。下表并列关键设计，可点击表头排序，或在筛选框输入关键词。

这张表揭示三点。第一，多数控制模块判断的是“用户现在处于什么状态”（说完、没说完等），再由后面的逻辑决定系统做什么；直接决定系统动作的只有 Freeze-Omni（其三态实为“用户状态 + 是否打断”的混合）和 MinMoSoulX-Duplug · §3.1 状态列表+2。第二，状态划分越来越细：从两类、三类到四五类，越来越明确地区分“没说完 / 让我等等”与“附和”（按发布时间归纳）Easy Turn · 摘要+1。第三，小头够用：只用两层小网络接在 PersonaPlex 上，附和时机的人工评分就与真人录音没有统计差异（p=0.47）附和头 · §5.3 第1段，MinMo 的预测器也只有约 1800 万参数MinMo · §3.1 第2段末+2。

MinMo 自动打标签的规则值得单列：用户说完的时刻就是助手该开口的时刻；助手说完后隔一个随机时间（均值 0.6 秒、标准差 0.4 秒）算作用户开口；一方没能打断另一方的插话片段算作附和样本MinMo · §3.3 启发式规则列表。其表 22 显示，评测允许的时间误差从 1 帧放宽到 10 帧，Fisher 上助手接话的 F1 从 0.668 升到 0.881MinMo · 表22——同一个模型，只因评分宽松程度不同就差了 21 个百分点。

2.4 Full-Duplex-Bench 横向数字

下表数字都来自同一基准 Full-Duplex-Bench，但分别摘自 FDB v1 原表以及 PersonaPlex、SoulX-Duplug、X2-Turn 论文中的转载或自测；口径相同，运行批次不同。

X2-Turn 论文表 1 的总体正确率 / 平均延迟为：X2-Turn 0.860 / 0.769 s、SoulX-Duplug 0.812 / 0.691 s、PersonaPlex 0.790 / 0.235 s、GPT-4o 0.740 / 0.865 s、Gemini Live 0.705 / 1.826 s、Freeze-Omni 0.632 / 1.283 s、Moshi 0.504 / 0.788 sX2-Turn · 表1 Overall 两列。解读 Freeze-Omni 的低停顿抢话率要小心：FDB v1 作者把它归功于显式状态预测模块，但同时指出其顺畅接话率只有 0.336、可能错过接话机会；两者合看，低抢话率至少部分源于整体偏保守（后半句为本文推断）更正FDB v1 · §5 Latency of T…+2。大体而言，让模型自己学话轮的系统接话快但爱抢话，加控制模块的系统稳但慢；本表中没有系统同时做到停顿抢话率低于 0.3 且接话延迟低于 300 毫秒，PersonaPlex 发布版（0.358 / 0.431，0.170 s）最接近更正PersonaPlex · 表6 Released Che…+1。

2.5 从“决定开口”到“真正播出”的延迟

处理这段延迟有三种思路。SyncLLM 先猜用户接下来一小段会说什么，基于猜测生成自己的下一段，等真实的用户声音到了再替换掉猜测SyncLLM · §3.1 第1段；网络延迟在 200 毫秒以内时效果基本不变SyncLLM · 附录 C 第1段。Moshi 每帧 80 毫秒、再加一帧声学延迟，理论延迟就是 160 毫秒Moshi · §5.3 末段+1。控制器派则把延迟拆开记账：Freeze-Omni 从判定用户说完到发出第一段声音平均 745 毫秒，加上判断“说完了”的 160–320 毫秒和网络 200–300 毫秒，实际约 1.2 秒Freeze-Omni · 表4+1；SALMONN-omni 决定开口后要过 320 毫秒才真正发出声音SALMONN-omni · §4.1 第2段。

在本次检索到的公开资料中，未见系统把“扬声器实际播到哪里”作为输入交给话轮判断模块（检索结论）推断OpenAI API · conversation.it…；同样未见把“系统上一步实际执行的动作”回送给判断模块的做法，X2-Turn 是唯一明确表态不回送的例子推断X2-Turn · §2.1 第9段。工业界最典型的相关机制是 OpenAI 实时接口的 conversation.item.truncate：用户打断时，客户端告诉服务器“实际只播到这里”，服务器据此删掉用户没听到的那部分记录；它修正的是对话历史，而不是话轮判断模块的实时输入OpenAI API · Realtime client…。

三、工业界：三个旋钮，加一个独立的打断确认

3.1 端点检测：阈值、最短静音、最长超时

多数在流式识别里内置“说完”概率的厂商（如 AssemblyAI、Deepgram）以及 LiveKit，都可以写成同一个公式：模型给出“说完了”的把握超过阈值，并且已经安静了一小段时间，就算说完；如果把握一直不够，安静到最长等待时间也强制算说完。纯静音型 VAD 可以看作阈值固定的特例更正AssemblyAI · Turn detection …+2。各家的差别只在参数名和默认值（下表可按“类型”筛选）：

两个趋势值得记住。其一，从“读文字”走向“听声音”：LiveKit 已把基于 Qwen2.5-0.5B 的文字检测器标为弃用LiveKit 文档 · Text turn detec…+1；在其文档的同一段录音里，声音模型只在 6.41 s 提交一次，文字模型在 2.76 s 与 4.88 s 两处句中停顿就提前提交，6.40 s 那次才与真正的结束一致更正LiveKit 文档 · Audio turn dete…；文字检测器几乎总能认出“说完了”（约 99.3%），对“还没说完”却只有 85%–96% 认得对，常犯的错是抢话（TPR / TNR）LiveKit 文档 · Text turn detec…。这与 Uniphore 的学术结论方向一致APT · §5 Conclusion 第…+1。其二，投机生成：Deepgram 可以先发“可能说完了”让大模型提前准备，用户接着说就取消Deepgram · eager_eot_thres…+1，代价是大模型调用增加 50%–70%（厂商文档自述）更正Deepgram · Cost Considerat…。

Smart Turn v3 在不同语言上差别很大：土耳其语 97.10%、英语 94.31%、中文 88.57%、越南语 81.27%，均为 Daily 在自有测试集上测得 厂商自报Daily · Accuracy result…。

3.2 打断确认：快的不准，准的不快

业界把两件事分开做：一个模型在 AI 不说话时判断“用户说完没有”，另一个模型在 AI 说话时判断“用户是真要打断，还是只是附和”Krisp · 开篇 Turn-Taking …+1。AI 说话时麦克风会录到 AI 自己的声音，因此打断判断前通常需要回声消除或能分辨说话人的前端——这是工程推断，本次查阅的厂商一手文档没有明说推断检索结论。Krisp 公开了较完整的头对头比较，测试集是自己收集的 1,721 段真实对话音频（1,182 段附和、539 段真打断）厂商自报Krisp · Test datasets 小…：

只看有没有声音最快，但三次附和里约有两次会被当成打断；数词最准但要等 1.5 秒；专门训练的模型介于两者之间Krisp · Threshold trade…。LiveKit 博客报告，在用户与 AI 声音重叠 0.5 秒时，其打断模型判为打断的里面 86% 是真打断、真打断 100% 都能抓到，并拦下 51% 原本会由 VAD 触发的打断 厂商自报更正LiveKit 博客 · Benchmarks 小节 列表；LiveKit 默认在误打断（触发后没有转写出内容）时从停下处接着说更正LiveKit 文档 · False interrupt…。Pipecat 的“最少词数”规则只在机器人说话时生效，机器人不说话时用户说 1 个词就算开始说话Pipecat · MinWordsUserTur…——同一段用户语音，在系统沉默和系统说话时应有不同的判定标准。

Krisp 的“说完没”对比使用其公开的 turn-taking-test-v1：4 小时对话、976 个换人点、1,754 个不换人的停顿 厂商自报Krisp · Test datasets 小…。F1 为 Krisp TP v3 84.44、Deepgram Flux 84.60、LiveKit 文字模型 76.70、Smart Turn v3.2 70.88Krisp · Turn Prediction…+1；TP v3 在用户停下 200 毫秒内就能认出 69% 的真实换人点，误报率 0.10Krisp · TP v2 vs v3 对比表…；Smart Turn v3.2 在 200、400、600 毫秒都只认出 63%Krisp · TP v3 vs SmartT…。在加了背景噪声的测试集上，若不先做 BVC，老版 TP v2 的 F1 会跌到 13.54（做了之后为 77.01），而新版 TP v3 不做也有 82.84更正Krisp · Test datasets 小…+1——前端降噪对旧模型影响巨大。

3.3 已播放音频的对账

用户插话后，客户端告诉 OpenAI“只播到了第几毫秒”，服务器就把后面没播出去的那段回答从对话记录里删掉OpenAI 文档 · Interruption an…；对应的文字记录也会删掉，但官方说明模型无法把文字和音频精确对齐OpenAI 文档 · Interruption an…。官方文档写明：用 WebRTC 或 SIP 连接时，服务器知道播到哪里，会自动截断；用 WebSocket 时由客户端负责播放，必须自己停播并发送截断指令更正OpenAI 文档 · Interruption an…+1。有开发者报告，通过 Twilio 电话桥接时，按时间戳算出的截断点比用户真正插话的位置更早（社区个案）更正OpenAI 社区 · 首帖。由此可以归纳：正确处理插话需要三步——停掉正在生成的回答、清掉还没播的音频、把对话记录改成用户真正听到的内容；最后一步必须知道到底播到了哪一刻OpenAI 文档 · Interruption an…。

四、数据与评测：TurnBench 首次给出可比数字

4.1 训练与评测语料

经典话轮研究依赖双声道电话语音：Switchboard 约 260 小时TurnBench · Table I、Fisher 约 1,960 小时TurnBench · Table I、CANDOR 约 850 小时（1,656 段视频聊天）TurnBench · Table I+1；中文有 HKUST 约 148.6 小时多语言 VAP · §3.2 第1段 与 MagicData-RAMC 约 180 小时（663 名说话人、手机录制）MagicData-RAMC · Abstract+1，后者许可为 CC BY-NC-ND 4.0（写在 OpenSLR 发布页上）OpenSLR · License 行。shift/hold 测试样本中“换人”的比例强烈依赖语言：英语只有 9.9%，中文 28.4%，日语 42.9%多语言 VAP · Table 2。

专用话轮数据近两年才出现。EasyTurn 训练集约 1,145 小时中文：说完 580 h、没说完 532 h、附和只有 10 h、“请等一下”只有 23 hEasy Turn · §2.2 第1段+1；真实录音部分取自 MagicData-RAMC，合成部分由 DeepSeek-V3 或 Qwen2.5-72B 写文本、再用 CosyVoice 2 等 TTS 合成Easy Turn · §2.2.1 第1段+1；标签由 Qwen2.5-32B 与 TEN Turn Detection 交叉标注、只保留两者一致的样本（附和类因 TEN 不支持，只由前者标注），合成子集再用 Paraformer 转写、只保留零错词样本更正Easy Turn · §2.2.1 Complete…+2；测试集 800 条（说完、没说完各 300，附和、等待各 100），真实与合成各半，人工标注Easy Turn · §2.3 第1段。

TurnBench 评测语料（开发集 38 段 + 测试集 116 段，共 154 段）约 30 小时英语双声道，由 53 对配音演员录制更正TurnBench · §III-D 第1段+1，两人在各自隔音间以 48 kHz 录音TurnBench · §III-C 第1段；六种对话类型（闲聊、任务、教学、协作、争论、讲故事）各占 13%–21%TurnBench · §III-A 第1段；标注员用 17 种细分事件标签，评测时合并为 7 类TurnBench · §III-B 第1段；三人独立标注，Fleiss κ 为 0.78TurnBench · §III-E 第1段+1。标准答案里有 8,197 个“说完换人”时刻与 4,254 个句中停顿反例，1,151 个打断起点与 17,511 个附和或非内容发声反例TurnBench · §IV-A 第3段。另外发布了约 104 小时人工标注训练集，说话人与评测集不重叠TurnBench · §IV-C 第1段 + 脚注3；数据只能非商业使用，并禁止用于克隆声音TurnBench · §IV-C 第1段+1。在本次检索到的公开资料中，未见中文的“实时对打”式全双工评测基准，已知中文评测多为离线集合（检索结论）推断检索结论。

4.2 基准一览

4.3 TurnBench：第一把共同的尺子

TurnBench 的评测协议把“何时判定”本身作为评测对象：

1. 系统只提交“我在这一刻做出判定”的时间点，且只能用已经听到的音频TurnBench · §V 第1段。
2. 每个标准答案时刻 t，只认 [t − 0.25 s, t + 3 s] 之间最早的、还没被别的答案占用的那次判定TurnBench · §V-C Matching。
3. 在“不该触发”的区间里（说完赛道是句中停顿，打断赛道是附和或笑声、咳嗽等非内容声音），触发多少次都只算一次误报TurnBench · §V-C Matching+2。
4. 每个模型在开发集上按自身分数的分位数扫描阈值，选误报率不超过 0.1 时召回最高的阈值并固定；每次触发后 2 秒内不再触发（不应期）TurnBench · §VII 第1段。
5. 公开排行榜按测试集召回率排序，误报率上限放宽到 0.15TurnBench · §V-C Metrics。

下表是测试集（116 段）结果，阈值在开发集上选定后冻结；不要与 FD-VAD 论文中的开发集零样本数字混比更正TurnBench · Table IV+2。表中“—”表示该系统不支持该赛道，“未取得”表示本次没有核对到原表数值。

作为对照，FD-VAD 没有用 TurnBench 训练，在开发集上误报不超过 0.10 时说完赛道召回 85.3%，代价是中位延迟 1019 毫秒FD-VAD · §5 Zero-Shot Co…。Gemini Live 与 Moshi 不直接给出判定，作者用语音检测找到它们开口的时刻当作判定，所以延迟里包含生成回复的时间，Gemini 还包含网络时间TurnBench · §VI-D 第1段。

人类参照点是 TurnBench 最重要的数字之一：在全部语料的共识标注上，人类接话的中位时间比对方说完早 281 毫秒；去掉抢话式打断后，仍早 151 毫秒TurnBench · §IV-B 第3段。被打断的人通常还会再说约 1.5 秒才停下TurnBench · §IV-B 第3段。所有误报合格的系统，接话时机都赶不上人类“提前约 151 毫秒”的水平TurnBench · §VII 第3段+1。

为什么“中位提前 151 毫秒”和“空隙中位 0.36–0.38 秒”同时成立？因为两者统计的对象不同。只看不重叠的换人，两人之间空隙的中位数 TurnBench 为 0.38 秒、Switchboard 为 0.36 秒TurnBench · §IV-B 第4段；而 TurnBench 有 64% 的换人发生在双方重叠说话时（Switchboard 为 43%）TurnBench · §IV-B 第4段——把这些从重叠开始的换人算进去，全部换人的中位起点就落到了话轮结束之前。此外，每个模型在闲聊里的打断误报率都比在争论里高TurnBench · §VII 第3段，因为附和刚开口时听起来和打断的开头没有区别TurnBench · §VII INT 讨论+1。

4.4 评测陷阱：读数字之前先检查这些

下面每张卡片是一个常见陷阱。点击卡片标题展开证据与对策，或使用按钮一次展开全部。

五、五个开放问题：文献给出的答案参差不齐

5.1 系统自己的声音：分声道输入，同时故意保留回声

主流研究系统大多把用户与系统的声音分开输入：VAP 系列现行实现用两个声道（但 2022 年最初的 VAP 论文把两声道混成了单声道训练）更正VAP 2022 · §4 第3段+1；DualTurn 把两位说话人的声道分别编码后拼接DualTurn · §2.1 第1段；Moshi 同时建模用户和自己两路音频流Moshi · §3.1 第1段；SALMONN-omni 把输入分为“环境流”（用户语音、噪声、自己的回声）和“助手流”SALMONN-omni · §3.3 Interleavi…；Self-Listening 用三路对齐输入：用户语音、已经真正播放出去的模型语音、模型文本Self-Listening · §3 第1段。

但它们同时在用户或环境流里注入或保留回声，让模型学会忽略自己的声音。Moshi 在 Fisher 微调之后的指令微调阶段对用户声道做数据增强：50% 概率随机增益 −24 到 +15 dB，30% 概率加噪声，30% 概率同时加自身回声（音量缩放 0–0.2、延迟 100–500 毫秒）和混响更正Moshi · §4.4 Moshi fine…+2。SALMONN-omni 的环境流包含用户说话、背景噪声和自己声音的回声SALMONN-omni · §3.3 Interleavi…；每 80 毫秒一个时间块，模型在生成前还会读入自己之前输出的语音表示SALMONN-omni · §3.3 Interleavi…+1。

反面证据同样清楚：不显式建模自身输出的 Freeze-Omni，能听到自己回声时，处理打断和附和的 F1 从 0.68 降到 0.31（10% 回声），再降到 0.17（完整回声）SALMONN-omni · Table 5。正面的极端例子来自 Self-Listening（2026-09）Self-Listening · arXiv 作者列表 / Su…：加入“已播放的自身语音”通道后，模型追踪“自己说到哪了”的准确率从 7.8% 升到 73.0%，停下和回应的速度几乎不变Self-Listening · §1 第4段；代价是通用话轮能力下降——被打断后正确回应的比例从 0.83 降到 0.60，听到附和后继续说的比例从 0.93 降到 0.72Self-Listening · Table 2。“记住自己说到哪”和“管好话轮”是两种不同能力，如何同时做好仍未解决Self-Listening · §5.2 第2段。

还有一种与回声无关的失败。给 Moshi 和 PersonaPlex 输入 5 分钟纯静音，各跑 40 次，分别有 12 次和 11 次自己开口说话伪起说 · §3 Onsets under…；每次自行开口前一帧，说话概率不超过 3.46×10⁻¹⁰，下一帧（80 毫秒内）突然跳到 0.96 以上伪起说 · §3 Extracting h…。作者认为原因是模型不断把自己生成的“非语音”输出当作上下文（自条件化），而不是低概率采样慢慢累积伪起说 · Abstract。应对办法是：把最近的用户音频换成静音再算一遍，两次预测差异小，就说明不是在回应用户，于是压掉这次开口；在 400 条留出测试中两类分数完全分开，按 95% 置信下界，Moshi 能压掉至少 98.68% 的误开口、保留至少 98.82% 的真回复更正伪起说 · §5 Onset suppre…+2。

最关键的空白是：在本次检索到的资料中，未见在同一模型、同一数据上直接比较“单声道混音 / 分声道 / 回声消除 + 文本”几种处理方式的实验（检索结论）推断检索结论。唯一间接的数字是 MuVAP 在 Fisher 上单声道 0.778 对立体声 0.799（Macro-F1）MuVAP · Table 5；但这组对比同时改变了声道数与训练目标，并不是干净的声道消融更正MuVAP · §7.1 第1段+1。

5.2 控制延迟与提前量：投影、软前移、标签后移各有一派

投影：VAP 预测接下来 2 秒里每个人是否在说话VAP 2022 · §2 第5段；DualTurn 预测未来四个时间段（0–240、240–480、480–960、960–2000 毫秒）里的平均说话比例DualTurn · Table 1，再通过阈值规则或一个逻辑回归换算成“开口、继续听”等动作DualTurn · §2.4 第1段。

标签前移与平滑：附和预测模型把训练标签整体提前到真实附和前 500 毫秒Yeah Un Oh · §4.1 第1段；DualTurn 把标签做成前长后短的不对称“软峰”，让模型最多提前 240 毫秒给出信号DualTurn · §2.3 第2段。结果是 DualTurn 找到的话轮边界中位时间比对方说完早 360 毫秒，VAP 早 140 毫秒DualTurn · §3.2 第4段；在对方说完前 240 毫秒判断换不换人，DualTurn 的 AUC 为 0.874，VAP 为 0.780DualTurn · Table 3；推理时每 240 毫秒算一次、复用缓存，CPU 上一次约 78 毫秒DualTurn · §2.1 第1段。

反方向：标签后移。把标签往后挪几帧，让只看过去的模型多听一点再判断（标签平移）：在中位延迟 160 毫秒时，“编解码器特征 + 标签后移”合起来比传统频谱特征基线少 42.7% 的提前截断，单看标签后移的贡献约 17.5%更正标签后移 · §4.1.2 第1段+1。X2-Turn 的输出比音频晚 τ，训练时 τ 在 1–30 帧之间随机取，主结果用 480 毫秒X2-Turn · §3.2 第1段+1；延迟按“词结束后多久出判断”计算，词比 τ 长时判断在词说完前就出来，延迟为负X2-Turn · §3.3 第1段。另一项 2026 年研究发现：改造成流式的半双工语音大模型在用户说完后接话做得好，但在适时插话和附和这类主动行为上表现差甚至完全不会，也不善于在被打断时停下更正主动话轮 · §4.3 第2段。

5.3 标签构造：观测行为、规则、大模型三条路，附和永远最难

语音活动自监督：VAP 和 DualTurn 的训练目标都直接从“谁在说话”的录音里算出，不需要人工标注DualTurn · §1 第3段+1。DualTurn 定义五种动作：用户说完后 4 秒内开口（开始说）、用户 2 秒内接着说（继续听）、重叠且对方说超过 1 秒（停下听）、重叠不到 1 秒（继续说）、用户说话时自己发出不到 1 秒的声音（附和）DualTurn · Table 2。规则与词表：每句最后一个词标为“换人”，命中附和词表的标为“附和”，其余为“继续”，人工复核精度超过 95%，约 16.9 万句规则标注 · §3.1.5 第1段+1。大模型标注：EasyTurn 让两个模型分别标注、只保留一致样本Easy Turn · §2.2.1 Complete…；X2-Turn 先用强制对齐拿到每个词的时间，再让大模型逐词打话轮标签，映射到每 80 毫秒一帧X2-Turn · §3.1 第2段。但 ACL 2025 的一项研究发现，大语言模型难以分清说话人在话轮中的角色，且主要依赖邻近几句话ACL 2025 对话行为 · p.2，§1 Introduc…。

如果把模型自己上一刻的话轮判断再喂回去，可能出现“照抄上一帧”的捷径和闭环偏差；本次检索未找到专门针对话轮状态的研究（检索结论）推断检索结论。相关证据只有两类：通用的 scheduled sampling（训练时按一定概率用模型自己的预测代替标准答案）Scheduled Sampling · Abstract，以及 Moshi 与 PersonaPlex 在静音时把自己生成的输出当上下文、导致莫名开口，作者认为这与 exposure bias 相关伪起说 · §1 第4段+1。SALMONN-omni 监督微调后太容易被打断，需要 DPO 纠正SALMONN-omni · §5.3.2 第2段，也说明闭环行为不等于逐帧准确率。

5.4 训练与流式推理的一致性

流式识别的共识是训练时就施加与推理一致的上下文限制。NeMo 的流式模型训练时只让模型看有限的前后文，与流式推理时一致NeMo 流式 · §1 第4段；卷积层缓存最近 K−1 步，注意力层缓存截断到设定的左上下文长度NeMo 流式 · §3.3 第2段+1。Voxtral Realtime 的编码器只往前看，注意力窗口 750 帧（15 秒）Voxtral RT · §2.1 第4段；流式推理时保留前 4 帧的卷积输入，让当前编码结果与整段计算一致Voxtral RT · §2.1 第3段；推理时在开头补 0、16、32 帧静音，英语长音频词错率分别为 10.98%、7.93%、7.73%Voxtral RT · Table 4；论文只说用 128 维 log-Mel 特征，没说怎么归一化，也没讨论 BF16 精度问题（对照：NeMo 明确不做依赖整段音频的归一化）Voxtral RT · §2.1 第2段+1。Moshi 的 Mimi 中所有卷积都只看过去，所以可以流式运行Moshi · §3.3.1 第1段。

数值层面，Thinking Machines（2025-09-10）指出大模型推理结果不稳定，主要是因为服务负载改变了批大小，而很多算子的结果会随批大小变化（批不变性缺失）Thinking Machines · 正文：矩阵乘、RMSNorm、注意力的累加顺序会随批大小和切分方式变化Thinking Machines · Batch-invariant…；注意力结果不应取决于前文分几次算进 KV cacheThinking Machines · Batch-invariant…，做法是先把新的 K/V 写进缓存再算注意力、切分时固定每段长度而不是固定段数Thinking Machines · Batch-invariant…+1。Qwen3-235B 在温度 0 下生成 1000 次，默认得到 80 种不同结果，换成批不变算子后完全相同Thinking Machines · Experiments 小节+1；代价是 Qwen3-8B 从 26 秒变成 42 秒Thinking Machines · Performance 小节。要在不同张量并行规模之间逐位一致，还得关掉 vLLM 的分块预填充，并让预填充和解码用同一个注意力算子TP 确定性 · 附录 I.1 Attention。推断：整段一次计算（训练）与逐帧带缓存计算（推理）是两条不同的计算路径，BF16 下出现小差异是正常的推断TP 确定性 · 附录 I.1 Attention+1。NeMo 报告过同一模型离线与流式评测的准确率完全一样，但那是识别准确率层面的一致，不是数值逐位一致；其余几家未找到公开的一致性数字更正NeMo 流式 · §4.1 第4段。

5.5 伪标签可靠性：最关键的类别恰恰最不可靠

每人一个声道的录音不用先区分“谁在说话”，可以直接得到干净的说话时段标签——这是合理推断，没有文献给出“最可靠”的定量结论推断检索结论。DualTurn 用约 453 小时双声道对话做预训练，来自 otoSpeech 和 Switchboard（原文所列 289 h 加 220 h 等于 509 h，与 453 h 对不上）更正DualTurn · §3.1 第1段。单声道录音必须依赖说话人分离，而分离算法最容易在多人同时说话时出错，打断和附和恰好发生在这些时候（推断）推断检索结论。在本次检索到的资料中，未见比较“自动分出的说话人标签”与“双声道真实标签”在换人、附和、打断事件上一致性的研究（检索结论）推断检索结论。EasyTurn 作者也说，目前没有可靠又高效的开源话轮语音标注工具，所以改用大模型给文本打标签Easy Turn · §2.2.1 第1段。

结论

已有工作的价值不在于给出一个可以直接照抄的方案，而在于把问题拆清楚了。话轮判断至少包含三个层次：预测人类会做什么（VAP、附和模型，学的是录音里真实发生的行为）VAP 2022 · §2 第2段、判定用户是否说完（端点检测，标签由人为规定）Google EOT · §2 第1段、决定系统该做什么（控制器，多数仍先判断用户状态再交给下游逻辑）SoulX-Duplug · §3.1 状态列表+2。TurnBench 显示，最好的预测型模型部署成判定后，说完赛道中位延迟为 368 毫秒TurnBench · Table IV+1，而人类在不计抢话式打断时中位提前 151 毫秒TurnBench · §IV-B 第3段，两者相差约半秒（本文按这两个数推算，口径不完全相同）。

由此给出三点判断。

1. 标签约定与策略层，往往比模型规模更决定结果。两层小网络就能把附和时机做到与真人录音无显著差异附和头 · §5.3 第1段；同一个模型只因评分容忍窗口不同就差 21 个百分点MinMo · 表22；VAP 一类模型必须靠手工阈值和最短等待，才能把“预测人会说”变成“系统该说”VAP 机器人 · §V 第2段+1。
2. 评测应从“准确率”转向“误报预算下的召回 + 带符号延迟”。按 TurnBench 的做法分“说完”与“打断”两条赛道TurnBench · §V-C Metrics，把附和与非内容声音作为打断赛道的反例TurnBench · §V-B；逐帧准确率应与“沿用上一刻”基线并列（推断）推断VAP 2022 · Table 1；厂商与作者自报的数字需在第三方测试集上复测Next-Turn · Table 2+1。
3. 几块空白值得优先填补（均为检索结论）。处理自身声音的几种方式缺少同条件对照推断检索结论；未见把已执行动作或播放进度回送给判断模块的公开做法推断X2-Turn · §2.1 第9段推断OpenAI API · conversation.it…；回送自身状态可能带来的捷径没有专门研究推断检索结论；说话人分离伪标签与双声道真值的一致性没有研究推断检索结论；中文缺少闭环全双工基准推断检索结论。

术语表

正文中带虚线下划线的术语可悬停或轻点查看解释。下表汇总全部术语，可筛选。

ACC320

端点判定落在真实结束后 320 毫秒以内的比例。

AEC（回声消除）

把扬声器播出、又被麦克风录回来的系统自己的声音去掉。

ASR

自动语音识别，把声音转成文字。

AUC / ROC-AUC

衡量模型区分正反例能力的分数，0.5 等于瞎猜，1 为完美。

balanced accuracy

各类别准确率的平均值，避免多数类掩盖少数类，随机猜为 50%。

BF16

一种 16 位浮点格式，省显存、速度快，但精度比 32 位低。

bin（时间格）

把未来一段时间切成的一个小时间段，模型判断每段里有没有人说话。

BVC（背景人声与噪声消除）

Krisp 的前端处理，去掉背景里其他人的说话声和环境噪声。

chunk / 帧

把连续声音切成的固定长度小段（如 80 或 160 毫秒），模型按段处理和决策。

chunked prefill / prefix caching

推理框架把长输入分块处理，或复用已算过的前缀缓存的优化手段。

conversation.item.truncate

OpenAI 实时接口的截断指令：告诉服务器系统的回答实际播到第几毫秒。

CPC

一种自监督预训练的语音编码器，把声音变成每秒 100 帧的特征向量。

dev / test 集

dev 用来调参（如选阈值），test 只用来最终打分。

DPO（直接偏好优化）

用“好回答 vs 差回答”的成对数据继续训练，让模型更偏向好的行为。

EI（提前打断率）

用户还没说完，系统就判定“说完了”的比例，会导致系统抢话。

exposure bias

训练时模型看的是标准答案，推理时看的是自己的输出，两者不一致带来的偏差。

F1 / weighted F1 / Macro-F1

同时兼顾“判得准”和“找得全”的综合分数；weighted 按各类样本量加权、容易被大类主导，Macro 各类等权。

Fleiss κ

衡量多名标注员之间一致程度的指标，排除了碰巧一致的成分；越接近 1 越一致。

Focal loss

一种训练损失，加重难例和少数类的权重，适合“附和时刻只占极少数”这种极不平衡的数据。

FPR（误报率）

在不该触发的地方触发的比例，例如把句中停顿当成说完、把附和当成打断；越低越好。

Full-Duplex-Bench（FDB）

专门测全双工对话行为（停顿、接话、附和、打断）的公开评测集。

INT（打断赛道）

听的一方在对方还没说完时开口并抢到发言权；TurnBench 把它单独作为一条评测赛道。

JSD（Jensen–Shannon 散度）

衡量两个概率分布差多远的指标，0 表示完全一样。

KV cache

Transformer 推理时缓存之前算过的中间结果，避免重复计算。

LoRA

只训练少量附加参数来微调大模型的方法，省显存、省算力。

MLP（多层感知机）

最简单的几层全连接神经网络，常用作小型分类头。

oracle 转写

直接给模型人工核对过的正确文字稿，代表“听写完全正确”时的上限。

p_now / p_future

VAP 的两个简化输出：接下来 0.6 秒内、以及 0.6–2 秒内，某人说话的概率。

Pearson r / Krippendorff α

两种衡量“自动评分与人工评分是否一致”的统计量，越接近 1 越一致。

precision / recall（精确率 / 召回率）

精确率：报出来的里面有多少是对的；召回率：真实发生的里面找到了多少。

RNN-T / Conformer

流式语音识别常用的模型结构；Conformer 是结合卷积和注意力的编码器。

Role-Relative Projection

不按固定说话人，而按“当前说话人 vs 下一位说话人”来预测，便于多人和单声道场景。

RTF（real-time factor）

处理 1 秒音频需要的秒数；小于 1 就能实时运行。

scheduled sampling

训练时按一定概率用模型自己的预测替换标准答案作为输入，以减小 exposure bias。

SFT（监督微调）

用带标准答案的示范数据继续训练模型。

shift / hold

停顿之后是换另一个人说（shift），还是原说话人继续说（hold）。

SL（stop latency，停止延迟）

用户打断后，系统真正停下来所需的时间。

token

模型处理和输出的最小符号单位，可以是一个字词片段，也可以是一小段声音的编码。

TOR（takeover rate，抢话率 / 接话率）

系统在某个时刻开口说话的比例；在用户停顿时越低越好，在用户真说完时越高越好。

TPR / TNR

真阳率：真说完时判对的比例；真阴率：没说完时判对的比例。

TRP（transition relevance place）

对话中“此处可以换人说话”的位置。

TTS

语音合成，把文字变成声音。

VAD（语音活动检测）

只判断“此刻有没有人声”的轻量模块，不理解内容。

VAP（Voice Activity Projection）

一种话轮模型：持续预测对话双方接下来约 2 秒里谁会出声，不需要人工标注。

WebRTC / WebSocket / SIP

三种连接方式：WebRTC 和 SIP 下由服务器掌握播放进度，WebSocket 下由客户端自己管播放。

WER（词错误率）

语音识别结果与正确文本相比出错的比例。

不应期（refractory period）

触发一次后的一段时间内不允许再次触发。

全双工（full-duplex）

像打电话一样，系统可以边听边说，而不是你一句我一句地轮流。

厂商自报（vendor self-reported）

由厂商在自己的数据集上测出并发布的数字，没有第三方复核。

向前看（lookahead）

多等几小段未来音频再做决定，换取更准但更慢。

因果（causal）

模型只用过去和当前的信息，不偷看未来，适合实时运行。

张量并行（TP）

把一个模型的矩阵拆到多块 GPU 上一起算。

感受野（receptive field）

模型每次判断时能“看到”的音频时间范围。

打断（barge-in）

系统还在说话时，用户插话要求它停下。

批不变性（batch invariance）

同一条输入不管和多少条别的请求一起算，结果都逐位相同。

投机生成（eager EOT）

还不确定用户说完就先让大模型开始准备回答，用户继续说就作废。

晚融合（late fusion）

声音和文字各自先编码，最后把两边结果拼在一起再分类。

标签前移 / 后移（label shift）

人为把训练标签往前（或往后）挪几帧，让模型更早（或更晚）做出判断。

端点检测（endpointing / EOT）

判断用户这段话是不是已经说完、系统可以开口了。

自条件化（self-conditioning）

模型把自己之前生成的内容当作后续预测的依据。

话轮（turn-taking）

对话里“轮到谁说话”的交接；话轮判断就是决定系统何时开口、何时闭嘴。

说话人分离（diarization）

在混在一起的录音里分出“哪段是谁说的”。

阈值（threshold）

模型给出的把握要超过这个数才算数，调高更稳但更慢。

附和（backchannel, BC）

听的一方发出的“嗯”“对”“是吗”等短回应，表示在听，并不想抢话。

隐状态（hidden state）

模型内部对当前输入的数字化“理解”，外接的小模块可以读取它来做判断。

零样本（zero-shot）

不针对某个任务专门训练，直接用模型现有输出去做这个任务。

音频编解码器（codec）

把声音压缩成离散符号、再还原成声音的模块，如 Moshi 的 Mimi。

参考文献（按来源分组）

共 86 个来源。每组列出正文实际引用的原文位置（段落、表格、图或页码锚点，新标签页打开）及短引文。可展开全部或按名称筛选。