Kage Project

[Talking_Sword]

На другом форуме была тема про нейросети и прочие ИИ. В ней один пользователь написал про автоматическое распознавание субтитров из речи в SubtitleEdit (с использованием FasterWhisper).

Уже давно хочу прпробовать, но пока что-то не получается. Проблему изначально описал на том форуме в теме про нейросети. Процитирую:

[tox]

Привет.

Буквально вчера этим занимался.

Всё работает.


Что делал:

Скачал свежую версию: https://github.com/SubtitleEdit/subtitleedit/releases (я качал портативную);
Запустил программу;
Выбрал audio to text(Whisper).


Далее программа предложила:

Скачать ffmpeg? - Да;
Скачать faster-whisper? - Да;
Скачать cuBLAS и cuDDN? - Да.

После этого выбор модели (я скачивал large-v3).

И всё, всё должно скачаться и работать без проблем.

P.S. У меня 10 Гб ОЗУ и файл подкачки автоматически регулируется Виндой.

[Talking_Sword]

tox, я все так же делал. Только скачивал программу с сайта VideoHelp, а не GitHub. Скачивал тоже портативную версию. На предложения скачать ffmpeg, faster-whisper, cuBLAS, cuDDN отвечал "да". Правда модель качал отдельно (уже до обновления), через браузер, так как до обновления у меня не качалось.

Я не знаю, удалить что ли все, и перекачать заново с GitHub и скачать модель через саму программу. Но очень не хочется повторно скачивать несколько гигабайт.

[Kir-Dagoor]

Ухх, до чего техника дошла! Искины из старинного киберпанка уже тут, среди нас :)

Тоже попробовал конвертнуть "Видео/Аудио в текст (Whisper)", и тоже словил сперва пустой srt-файл размера 7кб. Немного поразбирался и сумел победить. Общая рекомендация следующая: SubtitleEdit выступает графической оболочкой для консольных утилит ffmpeg и whisper-faster, поэтому чтобы диагностировать проблемы, лучше запускать эти утилиты сразу в консоли, там и увидите что вызывает ошибку.


1) У меня винда, поэтому Subtitle Edit закачивает сторонние тулзы в "AppData\Roaming\Subtitle Edit\"

2) Сперва при открытии "Видео/Аудио в текст (Whisper)" должна качнуться утилита ffmpeg в директорию "AppData\Roaming\Subtitle Edit\ffmpeg". Она нужна для выдирания звуковой дорожки из вашего видеофайла и записи её во временный звуковой wav-файл во временную директорию. У меня с её работой проблем не возникло, файл я словил в "AppData\Local\Temp\", но у вас временная директория может быть иной.

3) Затем при выборе движка whisper-faster закачивается "AppData\Roaming\Subtitle Edit\Whisper\Purfview-Whisper-Faster\"

4) И наконец, при выборе модели происходит попытка закачки и инсталляции dll-библиотек cudnn для whisper-faster. Если прав у учетной записи нет на регистрацию dll, то закачки не произойдет. Мне например пришлось запустить Subtitle Edit с административными привилегиями, выкачивать библиотеки и копировать их в пользовательскую аппдату.

5) После выбора и закачки модели можно попробовать конвертнуть видео в субтитры. Кстати, на больших моделях у меня вылазило сообщение о нехватке оперативной памяти. В моем случае мне улыбается только лишь модель small

6) Если чуда не произошло, и вы получили на выходе пустой srt, то можно попробовать запустить whisper-faster из командной строки, дабы видеть на каком этапе спотыкается конвертация. В файле "AppData\Roaming\Subtitle Edit\whisper_log.txt" есть лог запусков whisper-faster, там можно подсмотреть консольную команду.

[Kir-Dagoor]

Опытным путем выяснилось, что с консольным Whisper-Faster работать даже удобнее. Оболочки типа Subtitle Edit не нужны.

Брать Purfview Whisper-Faster тут:
https://github.com/Purfview/whisper-standalone-win/releases/

Описание как использовать тут:
https://github.com/Purfview/whisper-standalone-win/blob/main/README.md

Модельки утилита подгрузит автоматом при конвертации. Подсмотреть название моделек (или выкачать их руками можно тут: https://huggingface.co/Systran)


Для вывода полной справки запускать с ключом -h

Для уменьшения использования оперативки запускать с ключами:
--best_of=1, beam_size=1, --temperature_increment_on_fallback=None

Для большей производительности можно указать свой тип процессора в ключе:
--compute_type {default,auto,int8,int8_float16,int8_float32,int8_bfloat16,int16,float16,float32,bfloat16}

Можно указать формат выгрузки в ключе:
--output_format {lrc,txt,text,vtt,srt,tsv,json,all}

[ED_Sln]

Я тоже проверял, сперва SubtitleEdit, но консольный whisper-faster мне показался удобнее, раз сделал cmd и запускай. В нем ffmpeg встроен, поэтому дополнительно не нужен, можно видео указывать. Но у меня должен был остаться и рабочий SubtitleEdit, могу залить, если кому нужно (без моделей). Маленькие модели лучше не пробовать, результат будет плохой и может отбить желание экспериментировать с большой и медленной large.

Для работы в режиме GPU нужна видеокарта Nvidia, хотя бы с 6 ГБ видеопамяти, но лучше 8 или больше. А еще, нужно скачать и распаковать в папку whisper-faster этот архив: https://github.com/Purfview/whisper-standalone-win/releases/download/libs/cuBLAS.and.cuDNN_win_v3.zip Это нужные библиотеки для работы на GPU.

У меня подходящей видеокарты нет, поэтому проверял в режиме CPU, медленно, зато будет работать на любом железе, ОЗУ требуется гораздо меньше, модели large хватит 4ГБ. Количество потоков процессора лучше указывать вручную, на один меньше, чем есть ядер/потоков, так система не будет тормозить, пока идет распознавание.

Вот пример как запустить на процессоре с минимальными настройками: whisper-faster Test.mkv --model large-v2 --device cpu

Файл Test.mkv должен быть в этой же папке, или нужно прописать полный путь до него.

А так я запускал у себя: whisper-faster Test.mkv --model large-v2 --device cpu --threads 7 --output_dir source

Параметр --output_dir source задает, чтобы файл субтитров создавался в папке с видео, а не в папке программы, как по умолчанию.