7 из 82 мин

ClipMind: как TikTok, YouTube и Apple Podcasts превращаются в Markdown

После голосовых заметок у VoxBase появился второй вход.

Не мой голос, а чужие медиа.

Я отправляю ссылку с iPhone через Share Sheet.

Дальше ClipMind сам определяет источник:

if is_tiktok(url):
    process_tiktok(url)
elif is_youtube(url):
    process_youtube(url)
elif is_apple_podcast(url):
    process_podcast(url)

То есть одна очередь принимает разные ссылки, но внутри запускает разные стратегии.

Потому что TikTok, YouTube и подкаст нельзя обрабатывать одинаково.

TikTok

Сначала ClipMind ищет captions и проверяет:

  • тот ли язык
  • достаточно ли текста
  • не lyrics ли это
  • не мусорные ли автосубтитры

Если captions не проходят проверку:

видео
› аудио
› ffmpeg
› локальный Whisper
› Markdown

YouTube

Здесь принцип другой:

не скачивать видео, если текст уже существует.

YouTube URL
› metadata
› готовый transcript
› Markdown

Никакого видео, аудио и Whisper, если субтитры доступны.

Если их нет, ClipMind не начинает тяжелую загрузку вслепую. Он сохраняет metadata и понятный статус ошибки.

Apple Podcasts

Это самый сложный источник.

Apple Podcasts URL
› iTunes Lookup
› RSS
› готовый transcript

Если текста в RSS нет:

RSS audio enclosure
› локальная транскрибация

Но длинный подкаст нельзя незаметно отправить в Whisper фоном. Однажды такой fallback создал лишнюю нагрузку на GPU, поэтому теперь он отключён для автоматической очереди и запускается только явно.

Самая важная часть ClipMind начинается еще до транскрипции.

Как только ссылка попадает в очередь, создаётся задача в Todoist.

Даже если обработка позже завершится ошибкой.

  • исходная ссылка не теряется
  • одна задача обновляется по мере обработки
  • дубли не создаются
  • после завершения ссылка удаляется из очереди
  • временные видео, аудио и chunks очищаются
  • в iCloud остаются только лёгкие финальные артефакты

В итоге три совершенно разных источника сходятся в одной форме:

ссылка
› правильная стратегия извлечения
› Markdown
› Todoist
› память

Главная идея ClipMind оказалась не в том, чтобы транскрибировать все подряд.

А в том, чтобы сначала найти самый дешёвый и точный путь к тексту.

Иногда это готовые субтитры.
Иногда RSS.
Иногда локальный Whisper.
Иногда честный failure artifact.

Разные входы.
Разные маршруты.
Один результат: медиа перестает исчезать в ленте и становится частью моей рабочей системы.

Ссылка из TikTok попадает в Todoist и превращается в текст, с которым уже можно работать
Ссылка из TikTok попадает в Todoist и превращается в текст, с которым уже можно работать
Оглавление серии
  1. Почему голосовые заметки обычно умирают
  2. Как VoxBase превращает запись с iPhone в Markdown
  3. Почему Whisper здесь не главное: VAD, chunks и подготовка аудио
  4. Сигнальный тракт: как звук готовится к распознаванию
  5. Почему VoxBase работает локально и самостоятельно
  6. Voice Reference: как система понимает, где мой голос
  7. ClipMind: как TikTok, YouTube и Apple Podcasts превращаются в Markdown
  8. Серия про VoxBase закончилась