日语跟读应用的分句与音频对齐实践

把视频变成日语跟读练习，难点并不在录音按钮。句子怎么切、循环从哪里开始、发音错在哪里、听写答案该不该判错，每一步都需要重新定义「正确」。

Corodomo 团队的做法，是围绕一句能记住、能一口气复述的台词组织整条处理流程。它对做语音、字幕和 AI 学习工具的程序员很有参考价值：模型提供识别能力，产品还得负责边界、解释和纠错。不过，原文给出的是工程经验，没有量化评测。

一句适合跟读的话，不能直接从字幕里截出来

用户练习的单位是一句话，而字幕通常按展示时长切块，两者并不一致。日语又没有词间空格，连起来的分句可能长达 15 秒，还会出现说到一半停顿、换口气补一个「ね／よ」的情况。

他们先用语音识别生成自己的转写，保留词级时间戳。这样既能处理没有字幕的视频，也能为后续切句和循环定位提供依据。日语分词器则同时服务于切分和可点击词典。

切句要合并两类信号：文本告诉系统语义在哪里相对完整，音频告诉系统说话人在哪里停顿。句子过长时，可以在「〜て、〜けど、〜から」等分句边界考虑拆开。

只看文本，容易忽略呼吸；只看停顿，又会把犹豫切成独立片段。作者称，两种信号结合后，测试中的循环片段明显更自然，但没有提供样本规模或对照指标。

切好句子，还得对准声音。边界偏差 300 ms，就可能吞掉第一个音拍，或者带出下一句的开头。他们从词级时间戳出发，把边界向附近停顿微调，再留少量余量，避免切掉起始辅音。原文没有给出余量大小和边界选择算法。

作者认为，允许用户编辑字幕，是这些改动里投入回报最好的一项。

用户能点两下修正错误边界，比只能忍受错误更容易接受。这也是一个直接的产品判断：自动处理难免失误，修正入口应当进入主流程。

发音评分必须告诉用户下一遍练什么

「72/100」可以展示结果，却解释不了哪里需要重练。Corodomo 因此同时展示逐音节分数和整句分数，并把日语音拍作为需要关注的自然单位。

原文用下面的流程说明，如何把一次录音拆成可反馈的评估：

record attempt ──► align to reference text ──► assess each unit ──► aggregate
                     (per syllable)            (sounds + pitch)    (sentence score)

要注意第二步的 align to reference text：录音要与目标文本对齐。如果先识别学习者说了什么，再根据识别结果打分，评估对象就混进了识别器自己的猜测。

界面上，参考文本与分数并排展示，用户可以选择显示假名注音。每次练习之后，还要给出鼓励和下一个练习目标，让反馈能接上下一次尝试。

他们也把音高重音纳入逐单元评分，检查高低音是否匹配参考。例如「はし」即使各个音都发对，重音不符也会被标出。

这里需要保留一个问号：原文没有说明参考音高如何获取、如何处理不同说话人的音域，也没有交代逐音节与逐音拍的具体对应方式。可以确认的是设计方向，无法据此判断评分精度。

作者也明确限定了分数的用途：它是帮助学习者重新聆听的线索，不能当成最终裁决。

听写判分要消除写法差异，保留声音差异

听写不能直接对原始字符串做差异比较。用户写「すこし」，参考答案是「少し」，不该因此判成听错；但「しょう」和「しよう」之间的小假名差别，确实对应不同的声音。

他们在比较前统一双方的文字形式和标点，同时保留小假名、长音等听觉差异。假名和汉字答案都接受，最后把差异并排高亮。

这一环节最容易踩的坑，是把「归一化」理解成尽量抹平差别。学习工具需要先确定哪些差异属于书写选择，哪些差异正是练习要检查的内容。

原文没有披露具体转换规则或使用的库，因此这还不是一份可以直接照抄的实现方案。

我的判断

我认同它把练习单位、反馈粒度和人工修正放在同一条流程里考虑。字幕看起来通顺，不代表循环听起来完整；总分看起来精确，也不代表用户知道怎么改。这些细节会直接影响练习能否继续。

但这篇更适合作为设计检查表。文本与音频融合「更自然」、编辑功能「回报最好」，都属于作者的经验判断，没有对照数据；发音评分也缺少准确率和误判情况。

与直接复用字幕块、只展示总分相比，这套方案能提供更细的操作与反馈，但也增加了分词、对齐和评估工作。Corodomo 的核心团队只有 2 人，另有兼职协作者；原文没说明哪些能力来自外部服务，不能据此推断小团队可以低成本自建整套能力。

它覆盖 Web、iPhone、iPad、Mac 和 Android。无需注册即可开始学习，导入自己的视频、发音检查和 AI 口语练习需要免费账号，免费计划每月包含 1 小时 AI 使用。这说明了产品使用门槛，并不能证明处理成本或技术效果。

能拿来做什么

• 做前端跟读播放器时，把句子边界调整与循环播放一起设计，让用户能修正开头被截断、末尾带出下一句的问题。
• 做 Node 语音处理链路时，尽早保留词级时间戳，让切句和循环定位共享同一份依据。
• 做听写判分时，先明确假名、汉字、标点、小假名和长音的处理规则，再进行差异比较，避免把写法不同判成听错。
• 接入发音评分时，让界面展示参考文本、具体错误位置和下一步练习目标，同时说明模型无法可靠判断的部分。