Microsoft/VibeVoice

Microsoft/VibeVoice. VibeVoice — это аудиомодель Microsoft в стиле Whisper для преобразования речи в текст, лицензированная MIT и со встроенной в модель диаризацией говорящего.

Microsoft выпустила его 21 января 2026 года, но я не пробовал его до сегодняшнего дня. Вот однострочник для запуска его на Mac с помощью uvmlx-audio (от Prince Canuma) и преобразование MLX mlx-community/VibeVoice-ASR-4bit объемом 5,71 ГБ модели VibeVoice-ASR объемом 17,3 ГБ, в данном случае против загруженной копии моего недавнего выступления в подкасте с Ленни Рачицким:

uv run --with mlx-audio mlx_audio.stt.generate \
  --model mlx-community/VibeVoice-ASR-4bit \
  --audio lenny.mp3 --output-path lenny \
  --format json --verbose --max-tokens 32768

Инструмент сообщил:

Processing time: 524.79 seconds
Prompt: 26615 tokens, 50.718 tokens-per-sec
Generation: 20248 tokens, 38.585 tokens-per-sec
Peak memory: 30.44 GB

Итак, это 8 минут 45 секунд на час аудио (при работе на MacBook Pro M5 Max емкостью 128 ГБ).

Я проверил это на .wav и .mp3 файлы, и они оба работали нормально.

Если вы опустите --max-tokens по умолчанию установлено значение 8192, чего достаточно примерно для 25 минут звука. Я обнаружил это методом проб и ошибок и увеличил его в четыре раза, чтобы гарантировать, что получу полный час.

Эта команда сообщила об использовании 30,44 ГБ ОЗУ на пике, но в Activity Monitor я заметил использование 61,5 ГБ на этапе предварительного заполнения и около 18 ГБ на этапе генерации.

Вот полученный JSON. Ключевая структура выглядит следующим образом:

{
  "text": "And an open question for me is how many other knowledge work fields are actually prone to these agent loops?",
  "start": 13.85,
  "end": 19.5,
  "duration": 5.65,
  "speaker_id": 0
},
{
  "text": "Now that we have this power, people almost underestimate what they can do with it.",
  "start": 19.5,
  "end": 22.78,
  "duration": 3.280000000000001,
  "speaker_id": 1
},
{
  "text": "Today, probably 95% of the code that I produce, I didn't type it myself. I write so much of my code on my phone. It's wild.",
  "start": 22.78,
  "end": 30.0,
  "duration": 7.219999999999999,
  "speaker_id": 0
}

Поскольку это массив объектов, мы можем открыть его в Datasette Lite, что упрощает просмотр.

Забавно, что в представлении Datasette Lite показаны три динамика: он идентифицировал Ленни и меня для разговора, а затем отдельный Ленни для голоса, который он использовал для дополнительного вступления и спонсора!

VibeVoice может обрабатывать аудио продолжительностью не более часа, поэтому при выполнении приведенной выше команды расшифровывается только первый час подкаста. Чтобы расшифровать больше, вам нужно будет разделить аудио, в идеале с перекрытием в минуту или около того, чтобы избежать ошибок из-за частично транскрибированных слов в точке разделения. Затем вам также потребуется выровнять идентифицированные идентификаторы говорящих по нескольким сегментам.