Changes between Version 1 and Version 2 of F3


Ignore:
Timestamp:
09/20/23 15:48:50 (12 months ago)
Author:
186074
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • F3

    v1 v2  
    1 Ф3
     1== Генерирање на вокали
     2
     3Првичната идеја за генерирање на пеење беше да користиме [https://github.com/NVIDIA/mellotron Mellotron], но поради тоа што беше потребно да се истренира моделот, е застарен и делумно не сакаше да функционира, ниту пак да се надгради на модерни верзии на Tensorflow, заедно со краткиот временски рок, одлучивме да користиме нешто поедноставно и побрзо.
     4
     5Како алтернативи ги најдовме наредните апликации:
     6 - Uberduck - https://uberduck.ai
     7 - Kits.AI - https://app.kits.ai
     8 - Voicemod - https://www.voicemod.net/text-to-song
     9 - ControllaVoice - https://www.controlla.xyz/voice
     10 - Lyrebird - https://www.descript.com/lyrebird
     11но бидејќи дел од нив бараа да се плати за користење или имаа некаков систем на кредити за наједноставна синтетизација на глас, одлучивме да користиме Uberduck.
     12
     13Uberduck е едноставна и лесна за користење алатка, која овозможува брзо генерирање на рапувачки глас.
     14[[Image(https://i.imgur.com/GmYTetx.png)]]
     15
     16Оттука, избравме Acapella (no beat) и ја наместивме еднаш на 70 и еднаш на 140bpm за да истестираме на крај како ќе звучи ако изгенерираме поспоро пеење кое ќе го убрзаме на крај, за разлика од пеењето изгенерирано на темпото на песната.
     17
     18[[Image(https://i.imgur.com/4hu9W3H.png)]]
     19
     20Кога ќе го наместиме темпото на пеењето, одиме на пишување на лирика, каде што избираме Use custom lyrics. Бидејќи користивме бесплатна корисничка сметка, моравме да го поделиме текстот на по 4 линии и да отстраниме линија или две за да соодветствува на песната.
     21
     22[[Image(https://i.imgur.com/8A5dLrZ.png)]]
     23
     24При избирање на кој глас да го користиме, ги истестиравме Aiden Botha, Big G, B LA B, JSXI, RELIKK, T.A.G, Fat Tony, Damon Deepvoice, Frosty John, General Herring, Leroy, Movie Trailer Guy, Newsreader, Zeus, и ZWF.
     25[[Image(https://i.imgur.com/ov28cAn.png)]]
     26Најдобар од овие беше Zeus според наредните критериуми:
     27 - разбирливост
     28 - колку ги преклопува слоговите
     29 - колку соодветствува на рап песна
     30Пробавме да го изгенерираме текстот неколку пати за да видиме дали има варијација, но секој пат звучеше практично идентично за ист текст.
     31
     32[[Image(https://i.imgur.com/jOacdum.png)]]
     33
     34Кога ги изгенериравме сите делови од песната, ги симнавме, споивме во еден аудио фајл и ги едитиравме така што останаа само деловите со пеење, дека инаку има и гласовен watermark по пеењето.
     35
     36[[Image(https://i.imgur.com/bdjQwgr.png)]]