训练阶段，只需要160ms的chunk，不需要上下文就可以学会state预测嘛？

[eyree]

非常感谢您开源如此优秀的工作！

有个疑问是 训练阶段，只需要160ms的chunk，不需要上下文就可以学会state预测嘛？

请问流式ASR适配阶段，训练数据是什么样子？是和流式推理一样？即1160ms的音频（960ms的左窗口+当前chunk+40ms的右窗口） 当前chunk的状态 1160ms的文本嘛？还是160ms当前chunk的音频，当前chunk的文本，当前chunk的状态

[Ruiqi-Yan]

感谢关注！

有个疑问是 训练阶段，只需要160ms的chunk，不需要上下文就可以学会state预测嘛？

这里不太确定你提到的“上下文”具体指的是哪一部分。如果是指提取 token 时的上下文，那么在提 token 的阶段我们采用的是 block causal 的方式，block size 为 240ms。

在实际训练中，模型是可以看到历史 chunk 的 token 和对应的文本信息的，因此并不是完全基于单个 160ms chunk 做预测，而是利用已有上下文来进行 state prediction，所以是可以学到合理的状态预测能力的。

---

请问流式ASR适配阶段，训练数据是什么样子？是和流式推理一样？即1160ms的音频（960ms的左窗口+当前chunk+40ms的右窗口） 当前chunk的状态 1160ms的文本嘛？还是160ms当前chunk的音频，当前chunk的文本，当前chunk的状态

训练数据的组织方式整体上是和流式推理一样采用 interleaved 的形式，仅仅是每个 chunk 后面不包含当前 chunk 的 state ，例如：

<token><text><token><text><token><text>...

另外，关于你提到的：

960ms 左窗口 + 当前 chunk + 40ms 右窗口

这一部分仅用于推理时的 token 提取，并不会将整个 1160ms 的音频一起输入模型，真正输入模型的只是对应当前 chunk 位置的 token。例如 用 1160ms 的音频提取 token，得到 15 个 token，取出对应当前 chunk 位置的 token（倒数第 2、3 个）输入

[eyree]

感谢关注！

有个疑问是 训练阶段，只需要160ms的chunk，不需要上下文就可以学会state预测嘛？

这里不太确定你提到的“上下文”具体指的是哪一部分。如果是指提取 token 时的上下文，那么在提 token 的阶段我们采用的是 block causal 的方式，block size 为 240ms。

在实际训练中，模型是可以看到历史 chunk 的 token 和对应的文本信息的，因此并不是完全基于单个 160ms chunk 做预测，而是利用已有上下文来进行 state prediction，所以是可以学到合理的状态预测能力的。

请问流式ASR适配阶段，训练数据是什么样子？是和流式推理一样？即1160ms的音频（960ms的左窗口+当前chunk+40ms的右窗口） 当前chunk的状态 1160ms的文本嘛？还是160ms当前chunk的音频，当前chunk的文本，当前chunk的状态

训练数据的组织方式整体上是和流式推理一样采用 interleaved 的形式，仅仅是每个 chunk 后面不包含当前 chunk 的 state ，例如：

<token><text><token><text><token><text>...

另外，关于你提到的：

960ms 左窗口 + 当前 chunk + 40ms 右窗口

这一部分仅用于推理时的 token 提取，并不会将整个 1160ms 的音频一起输入模型，真正输入模型的只是对应当前 chunk 位置的 token。例如 用 1160ms 的音频提取 token，得到 15 个 token，取出对应当前 chunk 位置的 token（倒数第 2、3 个）输入

大概明白了，非常感谢您的解答！respect