Сигнальный тракт: как звук готовится к распознаванию
Перед Whisper каждый речевой фрагмент проходит через ffmpeg:
-af "highpass=f=80,lowpass=f=6000,afftdn=nf=-20,acompressor=threshold=-25dB:ratio=4:attack=5:release=50,loudnorm" \
-ac 1 -ar 16000- highpass=80 срезает гул, вибрации и лишний низ
- lowpass=6000 убирает верхнечастотное шипение
- afftdn подавляет постоянный фоновый шум
- acompressor выравнивает тихие и громкие фразы
- ratio=4 сжимает пики примерно в пропорции 4:1
- attack=5 быстро реагирует на резкие звуки
- release=50 плавно возвращает уровень
- loudnorm нормализует итоговую громкость
- mono, 16 kHz приводит запись к формату Whisper
Здесь легко перестараться.
Сильное шумоподавление вместе с фоном начинает удалять окончания слов. Компрессия может поднять шум, а noise gate способен отрезать тихую речь.
Поэтому основной режим очищает запись, но старается не разрушить голос.
Для сложных условий предусмотрен более жёсткий Noisy preset.
В результате Whisper получает не исходную запись с iPhone, а подготовленный сигнал с более ровной громкостью и меньшим количеством фонового шума.