transcription-quality-evaluation

录音转写质量对比评测

何时使用

• 用户想比较多个转写方案（录音硬件端到端 / 云转写产品 / API 模型）谁转得准、谁录得好、钱花得值不值
• 用户提供了同一时段的录音文件 + 各家转写 SRT，要求对比音频质量和转写质量
• 输出：对比矩阵（音频质量表 + 转写质量表 + 产品可用性 + 成本 + 结论），可直接改写成评测文章/产品分析作业

核心原则：拆开测，别混着测

"录音硬件+云转写"产品的贵，贵在「采集端 + 转写端 + 总结归档」一条龙。必须拆成两个变量：

• 采集端（硬件麦克风/DSP）→ 用 ffmpeg 客观指标比
• 转写端（引擎/模型）→ 同一段音频过不同引擎比
• 端到端方案（录音豆/录音卡 app 只转自己录的音）无法喂外部音频 → 补一层"同一音频上传纯转写产品"（通义听悟/讯飞听见），剥离硬件差异
• 理想测试矩阵 = 2×2（音频源 × 引擎）；免费额度内完成（35 段 × 510 分钟即可，故意埋术语/数字"地雷"算保留率）

一、音频质量客观指标（ffmpeg，全部可复现）

# 基本参数：编码/采样率/声道/时长/码率
ffprobe -v quiet -show_format -show_streams in.mp3 | grep -E "duration|bit_rate|sample_rate|channels|codec_name"

# 响度与动态范围（EBU R128）：I=整体响度(LUFS)，LRA=动态范围(LU)
ffmpeg -v info -i in.mp3 -t 300 -af ebur128 -f null - 2>&1 | grep -A8 "Summary"

# 全片电平：RMS level(均方根电平) / Peak level(峰值) / DC offset
ffmpeg -v info -i in.mp3 -af astats -f null - 2>&1 | grep -E "RMS level|Peak level|DC offset"

# 静音段检测（底噪探针）：调低阈值仍检不出静音 = AGC 把底噪抬起来了
ffmpeg -v info -i in.mp3 -af silencedetect=noise=-38dB:d=2.5 -f null - 2>&1 | grep silence

# 同一时间段截取对比电平（两文件同 offset 比 RMS，看增益差异）
ffmpeg -v info -ss 490 -t 4 -i in.mp3 -af astats -f null - 2>&1 | grep "RMS level"

# 双声道是否真立体声：astats 输出 Channel 1/2 的 RMS，几乎相同 = 同源信号非真立体声

判读规则（2026-08 实测）：

• Peak > 0dB → 削波风险（前端增益过激），如飞书录音豆 1.38dB
• 动态范围 LRA < 9 LU → 强压缩；同材料 A 有静音段而 B 检不出 → B 的 AGC 抬噪
• 底噪/压缩不致命（语音主体清晰即可转写），但可分出"信号干净度"高低
• ⚠️ 声道数不等于质量：双声道若两通道 RMS 差 <0.5dB 是同源复制，对转写无额外信息

二、SRT 变体识别与统计（先识别格式再清洗）

见 scripts/analyze_srt.py（解析任意变体 → 结构统计 + 术语计数 + 锚点定位）。 已知变体（2026-08 实测，详见 references/transcription-products-2026.md）：

• 飞书妙记：标准 SRT，无说话人标记 → 直接可用
• 钉钉听记：文本行首带内嵌时间戳（00:00:02,760推动），清洗正则 re.sub(r'^\d{2}:\d{2}:\d{2},\d{3}\s*', '', line)
• 通义听悟：导出为纯文本段落、无任何时间戳 → 不能做字幕/时间轴定位
• 空文件排查：0 字节 SRT = 导出失败/为空，先确认再分析，别当"没内容"跳过

结构指标：块数、总字数、字/分（中文口语 200~300 正常）、片段时长中位、<1s 微块占比（碎片化，>15% 偏碎）、是否含说话人标记。

三、转写质量对照方法（没有金标准也能比）

1. 关键术语识别对照：找音频里反复出现、ASR 容易错的词（产品名/英文术语/人名，如 "Claude Code"），在各家文本里数正确/错误出现次数。实测效果极佳：同一句话钉钉 8/8 全对、飞书 6 次全错（Clang/Clash code）——铁证级差异。
2. 内容锚点对齐（跨产品时间轴不可信时）：用独特短语（如"MCP"、"替我审批"）在每份转写里定位时间戳，对比位置差。恒定差 = 开机时间差；非恒定差（前段错位 4-17 分钟、后段对齐）= 某台设备中途暂停/智能暂停 → 报告注明"按内容锚点对齐，非时间戳对齐"。
3. 幻觉检测模式：凭空英文客服话术（"Okay, thank you very much..."）、无意义字母组合（"AN""DK"）、脏话误听（"我他妈"）、术语变乱码（skill→sql/scale/SRO）。免费版/弱模型幻觉远多于强模型。
4. 同句铁证：找同一个长句在各家的完整版并排输出（搜"大长条"这类独特词），人工一读便知高下。
5. CER/字错率（要严谨数字时）：抽 3-5 分钟人工精校为金标准，用 jiwer（pip 安装，WER/CER）计算；无金标准时不做，别编数字。