Развој на моделот на говорен глас

Првата фаза на развој се фокусираше на креирање на прилагоден модел на говорен глас користејќи го снимениот говор на корисникот. Збирот податоци се состоеше од приближно 15 минути говор на македонски и англиски јазик, снимен користејќи го природниот говорен глас на корисникот. Снимките беа подготвени како збир на податоци за обука и беа наменети да обезбедат доволна варијација во изговорот и шемите на говорење на двата јазика.

Платформата Applio беше користена за претходна обработка на збирот на податоци, екстракција на карактеристики и обука на моделот. За време на претходната обработка, снимките беа автоматски сегментирани во пократки аудио примероци. RMVPE беше користен за екстракција на висината на тонот, а ContentVec беше користен за екстракција на карактеристиките на говорникот. Резултирачките карактеристики потоа беа користени за обука на моделот на говорен глас базиран на RVC.

Обуката беше извршена со користење на Tesla T4 GPU преку Google Colab, овозможувајќи моделот да се обучи со поголема количина на GPU меморија отколку што беше достапна на локалниот систем GTX 1650. Моделот беше обучен 30 епохи користејќи претходно обучени тежини. Обуката беше успешно завршена, а добиениот модел беше зачуван заедно со неговата генерирана индексна датотека за употреба за време на конверзија на глас.

По обуката, моделот беше тестиран со помош на надворешни снимки на говор. Поставките за инференција беа прилагодени за да се зачуваат оригиналните карактеристики на говорот, додека се пренесуваат карактеристиките на гласот научени од базата на податоци за обука. Конечниот обучен модел, ConVoxAI-говор, потоа беше користен како компонента за говор на системот за конверзија на глас.

Тренирање на говорен глас