Voice Reference: как система понимает, где мой голос

Whisper может понять, что сказано.

Но сам по себе он не знает, кто это сказал.

Даже если система разделит разговор на:

SPEAKER_00
SPEAKER_01
SPEAKER_02

она все еще не понимает, где среди них я.

Для этого в VoxBase спроектирован отдельный слой: Voice Reference.

Его задача:

разделить говорящих
› сравнить каждый голос с моим эталоном
› пометить Me / Other

Сначала я записал несколько образцов своего голоса:

iPhone
микрофон Mac
разные условия записи
по 1–3 минуты речи

Из этих записей система создает не текст и не аудиокопию, а voice embedding. Это числовой отпечаток голоса.

reference = embed(my_voice)

for speaker in speakers:
    score = similarity(embed(speaker), reference)

me = speaker_with_highest_score

embed() превращает голос в набор числовых признаков
similarity() сравнивает каждый найденный голос с моим референсом
голос с наибольшим совпадением получает метку Me
остальные становятся Other

Полный pipeline выглядит так:

запись разговора
› pyannote делит её по говорящим
› SpeechBrain создаёт embeddings
› VoxBase сравнивает их с моим голосом
› Whisper добавляет текст

На выходе может появиться уже не безличная стенограмма:

[00:00:04] Speaker 1: Значит, я хочу понять...
[00:00:09] Speaker 2: Да, давай посмотрим.

А нормальный разговор:

[00:00:04] Me: Значит, я хочу понять...
[00:00:09] Other: Да, давай посмотрим.

При этом система не должна притворяться, что уверена всегда.

В metadata сохраняется score совпадения:

высокий › уверенное совпадение
средний › Me, но с предупреждением
низкий › best guess и low confidence

Это важный принцип VoxBase: не скрывать неопределенность, а сохранять ее вместе с результатом.

Voice Reference добавляет новый уровень.

Сначала VoxBase научился понимать:

где есть речь

Потом:

что было сказано

Следующий шаг:

кто именно это сказал

И здесь транскрипт начинает сохранять структуру разговора.

В следующем посте расскажу, как из VoxBase вырос ClipMind: слой, который превращает TikTok, YouTube и подкасты в такие же текстовые артефакты.