Changes between Version 1 and Version 2 of SingingVoiceConversionDevelopment


Ignore:
Timestamp:
09/28/26 22:26:51 (3 days ago)
Author:
226140
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • SingingVoiceConversionDevelopment

    v1 v2  
    22= Развој на модел и конверзија на глас при пеење
    33
    4 Третата фаза се фокусираше на развивање на посебен гласовен модел за конверзија на пеечкиот глас. За обука беше подготвен наменски збир на податоци што се состоеше од приближно 17 минути од снимките на корисникот за пеење и акапела. Снимките вклучуваа различни вокални стилови, вклучувајќи мелодично пеење, рап и јамајкански патоис изведби, обезбедувајќи варијација во вокалните карактеристики присутни во податоците за обука.
     4Третата фаза се фокусираше на развивање на посебен гласовен модел за конверзија на пеечкиот глас. За обука беше подготвен наменски збир на податоци што се состоеше од приближно 17 минути од снимките на корисникот за пеење и акапела. Снимките вклучуваа различни вокални стилови, вклучувајќи мелодично пеење, рап и англиски изведби, обезбедувајќи варијација во вокалните карактеристики присутни во податоците за обука.
    55
    66Збирот на податоци беше обработен и потребните карактеристики на висината и звучникот беа извлечени со помош на Applio. Обуката беше извршена со помош на Tesla T4 GPU преку Google Colab и беше успешно завршена по 30 епохи. Обучениот модел на пеење ConVoxAI и неговата соодветна индексна датотека беа генерирани и подготвени за инференција.
    77
     8Процесот на тренирање се одвиваше идентично како и за говорниот модел VoiceModelDevelopment, додека процесот на инференција (конверзија) користеше малку поинакви поставки и беше подложен на експериментација. Во главно разликата на поставки е што Split Audio е уклучено, Autotune не беше искористен иако покажува на сликата подолу спротивно, ова е дискутирано во TestingEvaluationAndFinalization. Онлајн платформата https://mvsep.com/en беше искористена да извлечат вокалите и инструменталот од песната за која правиме конверзија на вокали.
     9
    810Конечниот модел беше тестиран на надворешен вокален материјал за да се процени неговата способност да ги конвертира изведбите и во пеење и во рап стил во целниот глас. Конвертираниот вокал беше исто така тестиран заедно со оригиналниот инструментал за да се процени колку добро генерираниот глас ги зачувал тонот, мелодијата и изведбата на оригиналната песна.
     11
     12
     13Подолу се слики од сите поставки кои беа искористени.
    914
    1015== Тренирање на глас при пеење