Список форумов Kage Project Kage Project
 
  РегистрацияРегистрация  ВходВход
  Архив субтитровАрхив субтитров  ПоискПоиск  ЧаВоЧаВо  ПользователиПользователи
 Войти и проверить личные сообщенияВойти и проверить личные сообщения

SubtitleEdit с FasterWhisper - не работает

 
Начать новую тему   Ответить на тему    Список форумов Kage Project -> Техническая поддержка
Предыдущая тема :: Следующая тема 
Автор Сообщение
Talking_Sword



Зарегистрирован: 07.06.2018
Сообщения: 19

СообщениеДобавлено: Ср Дек 06, 2023 9:17 am   Заголовок сообщения: SubtitleEdit с FasterWhisper - не работает Ответить с цитатой

На другом форуме была тема про нейросети и прочие ИИ. В ней один пользователь написал про автоматическое распознавание субтитров из речи в SubtitleEdit (с использованием FasterWhisper).

Уже давно хочу прпробовать, но пока что-то не получается. Проблему изначально описал на том форуме в теме про нейросети. Процитирую:
Talking_Sword:
Я тоже попробовал эту программу, но у меня почему-то ничего не получилось. Сначала программа предложила скачать ffmpeg, прямо из самой программы, затем FasterWhisper, тоже из самой программы. Скачал и то и другое. Затем нужно было скачать модель. А вот тут ждал облом, написал, якобы не найдено ничего по этому URL. Ну ладно, попытался найти в интернете модель самостоятельно, вроде нашел. Скачал и закинул в папку с моделями. После чего попробовал "натравить" программу на одно видео, но поработав немного, погрузив сильно процессор программа выдала файл объемом в 7 байт, в котором содержалось лишь три переноса.
После этого пользователь, написавший про эту программу сказал, якобы у него тоже ничего не работает, но после обновления стало работать.

Тоже попробовал обновиться - это дало некоторые результаты, но в итоге все равно ничего не вышло. После обновления программа предложила загрузить cuBLAS и cuDDN перед началом процесса (раньше не предлагала). Согласился. Программа в этот раз поработала дольше - этап сильной загрузки процессора прошел, началось сильное заполнение памяти, но потом все снова прекратилось и на выходе все тот же файл объемом в 7 байт. Подумал, может не хватило памяти, так как у меня 16 гигабайт памяти, а файл подкачки отключен. Знаю, что так нельзя делать, но мне для всего хватало 16 гигабайт с запасом. Но попробовал включить файл подкачки, ничего не изменилось. Правда задал вручную размер 16 гигабайт (в сумме 32 гигабайта), возможно надо было размер по выбору системы.

На другом форуме уже создавал по этому поводу тему, но там ничего не ответили.
К началу
Посмотреть профиль Отправить личное сообщение Добавить в игнор-лист
tox

Переводы



Зарегистрирован: 03.12.2010
Сообщения: 63
Откуда: Волшебная страна
СообщениеДобавлено: Ср Дек 06, 2023 11:20 am   Ответить с цитатой

Привет.

Буквально вчера этим занимался.

Всё работает.


Что делал:

Скачал свежую версию: https://github.com/SubtitleEdit/subtitleedit/releases (я качал портативную);
Запустил программу;
Выбрал audio to text(Whisper).


Далее программа предложила:

Скачать ffmpeg? - Да;
Скачать faster-whisper? - Да;
Скачать cuBLAS и cuDDN? - Да.

После этого выбор модели (я скачивал large-v3).

И всё, всё должно скачаться и работать без проблем.

P.S. У меня 10 Гб ОЗУ и файл подкачки автоматически регулируется Виндой.
К началу
Посмотреть профиль Отправить личное сообщение Добавить в игнор-лист
Talking_Sword



Зарегистрирован: 07.06.2018
Сообщения: 19

СообщениеДобавлено: Ср Дек 06, 2023 16:17 pm   Ответить с цитатой

tox, я все так же делал. Только скачивал программу с сайта VideoHelp, а не GitHub. Скачивал тоже портативную версию. На предложения скачать ffmpeg, faster-whisper, cuBLAS, cuDDN отвечал "да". Правда модель качал отдельно (уже до обновления), через браузер, так как до обновления у меня не качалось.

Я не знаю, удалить что ли все, и перекачать заново с GitHub и скачать модель через саму программу. Но очень не хочется повторно скачивать несколько гигабайт.
tox:
P.S. У меня 10 Гб ОЗУ и файл подкачки автоматически регулируется Виндой.
А какая у вас видеокарта?
К началу
Посмотреть профиль Отправить личное сообщение Добавить в игнор-лист
Kir-Dagoor

Переводы



Зарегистрирован: 17.07.2019
Сообщения: 200

СообщениеДобавлено: Вт Янв 09, 2024 20:11 pm   Ответить с цитатой

Ухх, до чего техника дошла! Искины из старинного киберпанка уже тут, среди нас :)

Тоже попробовал конвертнуть "Видео/Аудио в текст (Whisper)", и тоже словил сперва пустой srt-файл размера 7кб. Немного поразбирался и сумел победить. Общая рекомендация следующая: SubtitleEdit выступает графической оболочкой для консольных утилит ffmpeg и whisper-faster, поэтому чтобы диагностировать проблемы, лучше запускать эти утилиты сразу в консоли, там и увидите что вызывает ошибку.


1) У меня винда, поэтому Subtitle Edit закачивает сторонние тулзы в "AppData\Roaming\Subtitle Edit\"

2) Сперва при открытии "Видео/Аудио в текст (Whisper)" должна качнуться утилита ffmpeg в директорию "AppData\Roaming\Subtitle Edit\ffmpeg". Она нужна для выдирания звуковой дорожки из вашего видеофайла и записи её во временный звуковой wav-файл во временную директорию. У меня с её работой проблем не возникло, файл я словил в "AppData\Local\Temp\", но у вас временная директория может быть иной.

3) Затем при выборе движка whisper-faster закачивается "AppData\Roaming\Subtitle Edit\Whisper\Purfview-Whisper-Faster\"

4) И наконец, при выборе модели происходит попытка закачки и инсталляции dll-библиотек cudnn для whisper-faster. Если прав у учетной записи нет на регистрацию dll, то закачки не произойдет. Мне например пришлось запустить Subtitle Edit с административными привилегиями, выкачивать библиотеки и копировать их в пользовательскую аппдату.

5) После выбора и закачки модели можно попробовать конвертнуть видео в субтитры. Кстати, на больших моделях у меня вылазило сообщение о нехватке оперативной памяти. В моем случае мне улыбается только лишь модель small

6) Если чуда не произошло, и вы получили на выходе пустой srt, то можно попробовать запустить whisper-faster из командной строки, дабы видеть на каком этапе спотыкается конвертация. В файле "AppData\Roaming\Subtitle Edit\whisper_log.txt" есть лог запусков whisper-faster, там можно подсмотреть консольную команду.
К началу
Посмотреть профиль Отправить личное сообщение Добавить в игнор-лист
Kir-Dagoor

Переводы



Зарегистрирован: 17.07.2019
Сообщения: 200

СообщениеДобавлено: Ср Янв 10, 2024 3:53 am   Ответить с цитатой

Опытным путем выяснилось, что с консольным Whisper-Faster работать даже удобнее. Оболочки типа Subtitle Edit не нужны.

Брать Purfview Whisper-Faster тут:
https://github.com/Purfview/whisper-standalone-win/releases/

Описание как использовать тут:
https://github.com/Purfview/whisper-standalone-win/blob/main/README.md

Модельки утилита подгрузит автоматом при конвертации. Подсмотреть название моделек (или выкачать их руками можно тут: https://huggingface.co/Systran)


Для вывода полной справки запускать с ключом -h

Для уменьшения использования оперативки запускать с ключами:
--best_of=1, beam_size=1, --temperature_increment_on_fallback=None

Для большей производительности можно указать свой тип процессора в ключе:
--compute_type {default,auto,int8,int8_float16,int8_float32,int8_bfloat16,int16,float16,float32,bfloat16}

Можно указать формат выгрузки в ключе:
--output_format {lrc,txt,text,vtt,srt,tsv,json,all}
К началу
Посмотреть профиль Отправить личное сообщение Добавить в игнор-лист
ED_Sln

Переводы



Зарегистрирован: 25.03.2014
Сообщения: 365
Откуда: С просторов Сибири
СообщениеДобавлено: Чт Янв 11, 2024 11:17 am   Ответить с цитатой

Я тоже проверял, сперва SubtitleEdit, но консольный whisper-faster мне показался удобнее, раз сделал cmd и запускай. В нем ffmpeg встроен, поэтому дополнительно не нужен, можно видео указывать. Но у меня должен был остаться и рабочий SubtitleEdit, могу залить, если кому нужно (без моделей). Маленькие модели лучше не пробовать, результат будет плохой и может отбить желание экспериментировать с большой и медленной large.

Для работы в режиме GPU нужна видеокарта Nvidia, хотя бы с 6 ГБ видеопамяти, но лучше 8 или больше. А еще, нужно скачать и распаковать в папку whisper-faster этот архив: https://github.com/Purfview/whisper-standalone-win/releases/download/libs/cuBLAS.and.cuDNN_win_v3.zip Это нужные библиотеки для работы на GPU.

У меня подходящей видеокарты нет, поэтому проверял в режиме CPU, медленно, зато будет работать на любом железе, ОЗУ требуется гораздо меньше, модели large хватит 4ГБ. Количество потоков процессора лучше указывать вручную, на один меньше, чем есть ядер/потоков, так система не будет тормозить, пока идет распознавание.

Вот пример как запустить на процессоре с минимальными настройками: whisper-faster Test.mkv --model large-v2 --device cpu

Файл Test.mkv должен быть в этой же папке, или нужно прописать полный путь до него.

А так я запускал у себя: whisper-faster Test.mkv --model large-v2 --device cpu --threads 7 --output_dir source

Параметр --output_dir source задает, чтобы файл субтитров создавался в папке с видео, а не в папке программы, как по умолчанию.
К началу
Посмотреть профиль Отправить личное сообщение Добавить в игнор-лист
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов Kage Project -> Техническая поддержка Часовой пояс: GMT + 3
Страница 1 из 1
 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы можете скачивать файлы, прикрепленные к сообщениям