Falcon：结合嘴型视频的流式目标语音提取 - 2026-10-29

论文信息

• **英文标题：**Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes
• **作者：**Wendi Sang、Kai Li、Yifan Li、Jianqiang Huang、Xiaolin Hu
• **机构：**青海大学、清华大学、北京脑科学与类脑研究所（CIBR）
• **首次发表：**2026年10月23日，arXiv v1
• **会议：**NeurIPS 2026，见作者项目页
• arXiv：2610.32749
• 热门来源：Hugging Face 论文页，2026年10月29日查询时为当日日榜第2，143票；排名与票数会变化
• 项目与代码：项目页 · GitHub
• 模型与数据：Falcon 权重 · RealSSA-Sim · RealSSA-Real

一句话总结

Falcon 根据目标人的嘴型视频，从多人混合语音中提取他的声音；它用一次编码器—解码器遍历完成多个尺度的时频分析，并在训练时明确惩罚其他说话人的声音泄漏，在论文测试中兼顾了分离质量与计算效率。项目介绍

可以想象一个线上会议场景：你坐在咖啡馆里发言，旁边的人也在聊天。普通降噪需要判断哪些声音应当保留；Falcon 额外看到你的嘴型，因此可以把画面中的目标人与声音对应起来。

这篇论文值得关注的地方，是它同时处理了两个实际问题：模型如何少算一些，以及训练数据如何覆盖更复杂的声学条件。理解实验结果时，还要区分可训练参数与完整模型大小、计算耗时与通话延迟。

1 研究背景

1.1 目标语音提取要解决什么问题

视听目标语音提取（Audio-Visual Target Speaker Extraction，AVTSE）接收两类输入：麦克风录到的混合声音，以及指定说话人的嘴型视频。模型输出该说话人的语音波形。

因此，用户需要先指定画面中要听谁。系统不必把所有人的声音分别输出，也不直接把嘴型转换成文字。嘴型在这里提供了识别目标的线索，声音仍然来自音频输入。

例如，老师和学生同时开口时，画面中老师的嘴部运动可以帮助模型锁定老师的声音。这个例子说明了任务用途；论文没有直接验证中文课堂中的效果。

1.2 现有模型的两类困难

第一类困难来自数据。常见的双人混音测试把两段语音叠加，便于比较算法，却难以覆盖咖啡馆、商场和街道中的组合干扰：身边有人插话，远处有人交谈，房间产生回声，还可能突然响起碰撞声。

第二类困难来自计算。较大的时频模型能做精细分析，但推理开销较高。另一类轻量模型反复调用同一个小分离器，虽然参数少，每次调用仍然消耗计算资源。

Falcon 对第二类方法做了调整：在分离器内部安排多个分辨率的处理模块，让一次遍历获得不同尺度的信息。作者同时提供 RealSSA 数据集，用更复杂的声音组合考察模型。官方仓库概述

2 RealSSA 如何构造更复杂的测试环境

2.1 模拟数据与真实录音分别承担什么任务

RealSSA 包含两部分，它们的作用不同。

模拟数据可以保留每个人的独立声音，因此研究者知道模型应当输出什么。真实录音则保留自然干扰，但通常无法获得同一时刻完全隔离的目标人声，需要使用其他评估方法。

RealSSA-Sim 的数据卡列出100,826条训练样本、9,133条验证样本和9,169条测试样本。它覆盖小会议室、中型室内空间、大型公共空间和室外四类场景。RealSSA-Sim 数据卡

2.2 干扰人数与声源距离为什么重要

模型面对的不只是目标人和另一个人。模拟设置包含1至5名近场干扰者；有远场干扰的场景还加入10至15名远场说话人。这里的干扰人数均不包含目标人。论文摘要

附近的人声往往清晰、响亮，容易混入输出；远处的人声经过距离衰减和房间反射，会呈现不同的声学特征。把两者分开建模，能够让研究者观察模型是否适应这些差异。

需要注意，数据卡说明模拟声源位置固定。“人数变化”描述的是不同样本具有不同的干扰人数，不能据此推断模型已经通过了说话人持续走动的测试。

2.3 真实录音集的规模

当前 RealSSA-Real 数据卡提供54个配对的音视频片段，对应40段逻辑录音，涉及10名说话人、8类环境，总时长约84分钟。这些片段可以用来检查真实环境中的表现，但规模仍然有限。RealSSA-Real 数据卡

3 Falcon 的核心方法

3.1 整体流程

模型先分别处理音频与嘴型视频，再融合两者，最后恢复目标人的语音。

flowchart TD
    A[混合音频] --> B[音频编码与 AudioBlock]
    C[目标人嘴型视频] --> D[冻结视觉编码器与 VideoBlock]
    B --> E[音视频特征融合]
    D --> E
    E --> F[多尺度分离器]
    F --> G[预测掩码并解码]
    G --> H[目标语音]

音频分支通过短时傅里叶变换（STFT）把波形转成时频表示。读这种表示时，可以把横轴理解成时间，纵轴理解成频率；不同位置记录声音在某个时刻、某个频段的成分。

视觉分支使用预训练并冻结的 FRCNN 唇读编码器提取嘴型特征。冻结表示训练时不更新它的参数，推理时仍然需要运行这个编码器。音视频特征对齐后，模型预测用于恢复目标声音的掩码。模型卡

图中把编码、融合与解码概括成几个步骤，便于理解整体关系。具体实现见官方仓库的 Falcon 模型。

3.2 一次遍历如何获得多个尺度的信息

分离器采用类似 U-Net 的编码器—解码器结构。编码端逐步降低时间与频率分辨率，在较粗的表示上提取上下文；解码端再逐层恢复分辨率，并结合跳跃连接中保留的细节。

可以把它理解成处理一张声音的“频谱图”：先缩小图像，观察较大范围的结构，再逐步放大，辨认局部细节。较粗的尺度有助于分析持续的声音模式，较细的尺度有助于恢复短暂变化。

Falcon 在瓶颈层和各解码层安排时频处理模块。三次下采样连同原始分辨率，共形成四个尺度；较粗层的信息还通过门控方式传给其他尺度，帮助模型调整不同频段的特征。

这里的“单次”指每次分离器调用内部只做一次编码器—解码器遍历。整体网络在音视频融合前后都使用 AudioBlock，不能把它理解成整个模型只调用一次该模块。AudioBlock 与 Separator 实现

3.3 时频处理模块如何安排计算

每个时频细化模块（Time-Frequency Refinement Block，TFRB）依次进行三类处理。

频率轴的“双向”不会直接读取未来时刻。它是在同一时刻遍历不同频率；时间轴则使用单向 LSTM，注意力也限制未来时间位置的访问。官方模型配置

不过，完整系统还有视觉前视缓冲。理解模型内部的时间约束后，还需要把输入缓冲算进系统延迟，具体见第5节。

3.4 说话人对比损失如何减少声音泄漏

只要求输出接近目标语音，未必能充分惩罚另一位说话人的残留声音。Falcon 因此加入额外的训练目标：让输出的说话人特征接近目标人，同时远离近场干扰者。

训练时，模型形成三类向量。

• **查询向量 q：**从当前分离结果的编码特征中提取。
• **正样本 p：**来自目标人的独立语音。
• **负样本 nₖ：**来自每位近场干扰者的独立语音。

这些向量使用同一个音频编码空间。正负参考分支停止梯度传播，训练通过分离结果这一侧调整模型。用于提取说话人向量的池化模块，将频率和时间上的信息汇总为一个固定长度向量。对比训练模型实现

对比目标可以写成：

$$ L_{spk}=1-\cos(q,p)+\sum_k w_k\max(0,\cos(q,n_k)-m) $$

第一项鼓励输出接近目标人；第二项惩罚输出与干扰者过于相似。权重由负样本相似度的 softmax 得到，因此较难区分的干扰者可以获得更高权重。论文将这个权重分布从均匀逐步调整为更关注困难负样本，并设置间隔 m=0.5。损失函数实现 · 参数配置

这部分只在训练时计算，推理不需要再输入各个干扰者的独立声音，也不增加对比计算分支。相应的代价发生在训练数据上：研究者必须拿到各近场干扰者的独立波形，才能构造负样本。

4 实验结果

4.1 先理解指标

评估目标语音提取时，需要同时检查声音质量、识别效果和计算开销。

这些指标回答不同问题。例如，一段声音可能听起来更平滑，却损失了识别文字需要的细节；也可能背景很干净，但残留了错误说话人的声音。因此，单个指标不能替代全部评价。

4.2 分离质量与强基线接近或更好

下表摘录作者公布的 SI-SNRi 结果，单位为 dB。

来源：官方仓库结果表。

RealSSA-Sim 上，Falcon 比 AV-TF-GridNet 高0.1 dB。这个差距应当与计算开销一起看：论文的主要价值在于以较低成本维持较强的分离质量。相较 Swift-Net-12，它在 VoxCeleb2-2Mix 上提高1.1 dB，提升更明显。

比较范围也有区别：RealSSA-Sim 与 VoxCeleb2-2Mix 的基线分别按共同流程重训；LRS2、LRS3 的基线结果引用自 Swift-Net。Dolphin 与 AV-Mossformer2 使用的是作者改造后的因果版本。论文第6.1节

4.3 真实录音上的表现取决于评价目标

真实录音测试中，Falcon 的 DNSMOS 为3.276，与 Swift-Net-12 并列。它的说话人相似度为42.23，在论文所比较的提取系统中最高；WER 为32.74%，排名第二，AV-Mossformer2 的 WER 更低，为32.00%。论文表3与表4

这组结果说明，模型较好地保留了目标人的声音特征，但识别文本仍有错误。对于会议转写或语音助手，最终需要考察下游识别效果，不能只根据听感分数选择模型。

RealSSA-Real 没有与混音严格配对的独立目标波形，所以这里没有报告真实录音的 SI-SNRi。数据集中的注册语音来自目标人的另一次发声，用于比较说话人身份，不能当作逐时刻对齐的干净答案。真实数据的参考语音说明

4.4 复杂训练数据带来的收益

作者还固定模型结构，对比在 VoxCeleb2 与 RealSSA-Sim 上训练后，再到真实录音上测试的表现。

以 Falcon 为例，改用 RealSSA-Sim 后，NISQA 从2.431升至3.615，DNSMOS 从2.878升至3.276。五种被比较的模型全部改善了 DNSMOS，四种改善了 NISQA；AV-TF-GridNet 的 NISQA 则略降。论文第6.3节

这些结果支持一个具体判断：覆盖更多声学干扰的训练数据，有助于模型适应这组真实录音。不过，真实测试集仍然较小，不能据此推断所有设备和环境都会获得相同收益。

5 效率数字应该怎样理解

5.1 与谁比较决定了提速幅度

下表使用作者对2秒片段的测量结果；参数列统计可训练参数。

来源：官方效率结果。输入为16 kHz音频与50帧嘴型，batch size为1，GPU为 RTX 3090，CPU为 Xeon Gold 6226R，CPU测试使用单线程。

按照表中数值计算，AV-TF-GridNet 的计算量约为 Falcon 的20.2倍，GPU耗时约为11.1倍。若与同样只有0.5M可训练参数的 Swift-Net-12 比较，GPU耗时约为3.35倍。

Falcon 因此证明了低参数量模型仍有减少重复计算的空间。效率表选取了质量较强的基线；它并不说明 Falcon 比所有语音分离模型都快。

5.2 完整模型约为11.72M参数

Falcon 的模型卡给出了完整口径：发布模型约11.72M参数，其中约11.2M属于冻结的 FRCNN 视觉编码器，论文强调的0.5M是可训练部分。模型卡参数说明

部署时仍要存储和运行冻结编码器。因此，估算设备资源时应当使用完整模型、输入处理与运行时开销；只看可训练参数，会低估实际需求。

5.3 51.3毫秒是片段计算时间

论文附录E使用 CUDA events 测量GPU前向耗时，排除主机侧开销，预热5次后取后续50次运行的中位数。51.3毫秒对应完整2秒输入的计算时间。论文附录E

此外，视觉输入需要缓冲3个未来帧，在25 fps下对应120毫秒前视。实际通话还要经过采集、嘴部跟踪、音视频对齐、输出调度和播放，端到端延迟需要连同这些环节测量。

官方 Studio 当前采用2秒窗口、每次输出0.5秒的新音频，与论文描述的音频 hop 调度也应分别理解。Studio 运行说明

所以，论文数据能够说明模型计算效率较高，不能直接把51.3毫秒标成用户听到声音的总延迟。

6 消融实验说明哪些设计有效

6.1 多尺度深度

作者把下采样阶段从1次增加到2次、3次时，RealSSA-Sim 上的 SI-SNRi 分别为7.1、7.4、7.7 dB。这支持了多尺度结构的作用，但没有证明继续加深还会改善效果；更深的结构也会影响前视预算与音视频对齐。

6.2 训练时增加对比约束

加入说话人对比损失后，Falcon 的 SI-SNRi 从7.3升至7.7 dB；同一训练目标也让 Swift-Net-12 从7.3升至7.5 dB，让 Dolphin 从6.7升至7.0 dB。项目页消融结果

这说明该约束的收益可以出现在不同分离器上。对已有模型而言，训练目标可能是一个可复用的改进方向；前提仍然是训练数据能够提供独立的干扰人声。

6.3 嘴型信息持续丢失的影响

论文还在固定的500条测试样本上删除视觉信息。Falcon 在随机丢失75%帧时，SI-SNRi 为5.97 dB；若连续丢失同样比例，则降至0.01 dB；完全没有视觉时为−9.91 dB。论文附录M

随机缺帧与长时间看不到嘴型，对系统的影响差别很大。实际产品因此需要处理转头、遮挡、跟踪中断等情况。论文测试了缺失视觉信息，嘴部裁剪偏移和跟踪错人的影响还需要单独评估。

7 局限与应用启发

7.1 模型依赖目标人的视觉线索

嘴型视频帮助模型确定要提取谁，也形成了使用条件。对于摄像头关闭、嘴部长期不可见的场景，不能默认该模型会稳定退化为纯音频方案。产品需要在视觉线索不足时提供可理解的反馈，并评估其他音频处理方式。

7.2 训练与复现需要额外数据准备

公开数据卡发布的是多通道模拟音频，论文中的模型与实验使用单通道。仓库提示，现有训练加载器需要先做通道选择和目录适配；元数据中的源文件路径也不等于已经提供各近场干扰者的独立波形。完整复现对比训练，需要补齐这些源信号。仓库数据准备说明

代码和权重采用 Apache 2.0。数据集则需要单独申请访问，RealSSA-Sim 当前限定为非商业学术研究；使用模型与使用数据的条件需要分别查看。代码许可 · 数据访问条件

7.3 对教育与会议场景的启发

下面是根据方法与实验作出的应用推断，论文没有直接测试这些业务场景。

• **在线课堂：**若能稳定获取老师的嘴型，可探索减少旁人插话对收音的影响；需要另外验证中文、远距离拍摄与多人入镜。
• **会议转写：**把目标语音提取放在识别之前，可检查它是否改善目标人的转写，同时观察漏词与错误说话人混入。
• **端侧视频通话：**多尺度结构值得借鉴，但选型时应测完整视觉模型、窗口调度与持续运行开销。

这篇论文提供了一个较具体的工程思路：在多个尺度上安排一次遍历中的计算，再用训练目标约束说话人泄漏。对准备应用它的团队，最有价值的下一步，是在自己的设备、语言和视觉条件下，同时测量提取质量、识别错误率与端到端延迟。