Kā apmācīt mākslīgā intelekta balss modeli? [Video un viktorīna]

Īsa atbilde: apmāciet mākslīgā intelekta balss modeli, izmantojot apstiprinātus, tīrus ierakstus, precīzus transkriptus, rūpīgu pirmapstrādi, pēc tam precizējiet un pārbaudiet to reālos skriptos. Jūs iegūsiet labākus rezultātus, ja datu kopa saglabāsies nemainīga starp mikrofonu, telpu, tempu un pieturzīmēm. Ja kvalitāte pasliktinās, pirms apmācības iestatījumu maiņas izlabojiet datus.

Galvenie secinājumi:

Piekrišana: Apmāciet tikai tās balsis, kas jums pieder vai kuru lietošanai jums ir skaidra rakstiska atļauja.

Ieraksti: Visās sesijās izmantojiet vienu mikrofonu, vienu telpu un vienu enerģijas līmeni.

Transkripti: precīzi saskaņojiet katru izrunāto vārdu, ieskaitot ciparus, aizpildītājus, nosaukumus un pieturzīmes.

Novērtēšana: Testējiet ar nekārtīgiem, īstiem skriptiem, nevis tikai noslīpētām demonstrācijas rindām.

Pārvaldība: pirms apmācītās balss ieviešanas definējiet piekļuvi, izpaušanu un aizliegtos lietošanas veidus.

Kāpēc cilvēki vēlas iemācīties, kā apmācīt mākslīgā intelekta balss modeli? 🎧

Ir daudz iemeslu, un daži ir spēcīgāki par citiem.

Lielākā daļa cilvēku trenē balss modeļus, jo vēlas:

• Izveidojiet balss pārraides, manuāli neierakstot katru scenāriju

• Izveidojiet konsekventu stāstītāja balsi videoklipiem vai podkāstiem

• Lokalizēt saturu ātrāk

• Padariet digitālos produktus personiskākus

• Saglabāt balsi pieejamības vai arhivēšanas nolūkos

• Eksperimentējiet ar tēlu balsīm spēlēm vai stāstu stāstīšanai 🎮

Tad vēl ir praktiskā puse. Katru reizi ierakstīts svaigs audio ātri nolietojas. Apmācīts modelis var ietaupīt laiku, samazināt studijas izmaksas un nodrošināt atkārtoti izmantojamu balss resursu, kas var tikt mērogots.

Tomēr, būsim skaidri – tehnoloģiju var izmantot arī ļaunprātīgi. Tāpēc, pirms ķeraties pie darba plūsmas, nostipriniet vienu noteikumu: apmācieties tikai ar balsi, kas jums pieder vai kuru jums ir nepārprotama atļauja izmantot. Nekādu attaisnojumu, nekādas "tikai testēšanas", nekādu aizdomīgu klonēšanas eksperimentu. Šis ceļš ātri vien kļūst neglīts.

Kas veido labu mākslīgā intelekta balss modeli? ✅

Labs mākslīgā intelekta balss modelis nav tikai “skaidrs”. Tas skan ticami, stabili, izteiksmīgi un konsekventi dažāda veida tekstā.

Lūk, kas parasti atšķir pienācīgu modeli no tāda, kuru cilvēkiem patiesi patīk klausīties:

• Tīri ieraksti — bez dūkoņas, atbalss, klaviatūras pieskārieniem vai telpas atbalss

• Vienmērīga piegāde — līdzīgs mikrofona attālums, runas enerģija un telpas iekārtojums

• Dabisks temps — ne pārāk sasteigts, ne sāpīgi lēns

• Spēcīgs izrunas pārklājums — pietiekama vārdu, nosaukumu, skaitļu un teikumu formu daudzveidība

• Emociju kontrole — pat neitrālam modelim nevajadzētu izklausīties iekšēji mirušam 😬

• Teksta izlīdzināšanas precizitāte — transkriptiem ir pareizi jāatbilst audio

• Zems artefaktu līmenis — mazāk kļūmju, norītu vārdu vai robotiskas ļodzīšanās

“Perfekta” radio balss ne vienmēr ir vispiemērotākā. Nedaudz nepilnīga, bet labi ierakstīta balss bieži vien labāk trenējas, jo tā jau no paša sākuma izklausās cilvēciska. Pārāk noslīpēta var kļūt stīva. Pārāk ikdienišķa var kļūt dubļaina. Tā ir līdzsvarošanas darbība – mazliet līdzīga mēģinājumam grauzdēt maizi ar liesmasmetēju... iespējams, bet diez vai eleganti.

Mākslīgā intelekta balss modeļa apmācības galvenie pamatelementi 🧱

Pirms ķeraties pie rīku un apmācību ekrānu apskatīšanas, ir lietderīgi izprast galvenās iesaistītās daļas. Katrā darbplūsmā neatkarīgi no platformas parasti ir iekļautas šādas sastāvdaļas:

1. Balss dati

Šis ir jūsu izejmateriāls — ierakstīti runas fragmenti.

2. Transkripti

Katram audio klipam ir nepieciešams atbilstošs teksts. Ja transkripts ir nepareizs, modelis apgūst nepareizo lietu. Diezgan vienkārši, nedaudz kaitinoši.

3. Priekšapstrāde

Tas ietver klusuma apgriešanu, skaļuma normalizēšanu, trokšņa noņemšanu un garu ierakstu sadalīšanu izmantojamos segmentos.

4. Modeļu apmācība

Šeit sistēma apgūst saistību starp tekstu un runātāja balss modeļiem.

5. Novērtējums

Jūs pārbaudāt, cik dabiski, precīzi un stabili skan balss.

6. Precīza regulēšana

Jūs pielāgojat modeli, uzlabojat datus, pārkvalificējat vai pievienojat labākus paraugus.

Tāpēc, kad cilvēki jautā, kā apmācīt mākslīgā intelekta balss modeli,viņi bieži iztēlojas, ka apmācība ir viss stāsts. Tā nav. Apmācība ir tikai viens posms ķēdē. Ļoti svarīga ķēde, protams, bet tomēr tikai viens posms.

Salīdzināšanas tabula — visizplatītākie pieejas veidi 📊

Zemāk ir sniegts praktisks galveno cilvēku izvēlēto maršrutu salīdzinājums. Ne katra iespēja der katram projektam, un tas ir labi.

Nav universāla uzvarētāja. Lielākajai daļai cilvēku iepriekš apmācīta modeļa precizēšana ar augstas kvalitātes balss datiem . Tas sniedz labus rezultātus, nepiespiežot pašam būvēt visu kosmosa kuģi.

1. darbība. Ierakstiet pareizos balss datus, ne tikai lielu daļu 🎤

Šeit sākas kvalitāte. Tieši šeit arī daudzi projekti klusi izjūk.

Daudzi cilvēki pieņem, ka vairāk audio automātiski nozīmē labāku sniegumu. Dažreiz jā. Dažreiz nemaz. Desmit stundas rupju ierakstu var zaudēt vienu stundu tīras, konsekventas runas.

Kā izskatās labi ierakstīšanas dati

• Viens un tas pats mikrofons visā datu kopā

• Tā pati telpa, tā pati pamata ierakstīšanas iestatīšana

• Minimāls fona troksnis

• Dabisks runas tonis

• Skaidra dikcija bez pārlieku teatrālas skaņas

• Teikumu garumu un fonētisko kombināciju diapazons

Labs mērķa datu kopums bieži vien ietver

• Īsas sarunu rindas

• Garāki skaidrojoši teikumi

• Jautājumi

• Skaitļi un datumi — tomēr izvairieties no konkrētu gadu atsauču norādīšanas savos rakstos, ja tās jums nav nepieciešamas.

• Vārdi, vietas un sarežģīti izrunas gadījumi

• Pauzes, komati un pieturzīmju vadīts ritms

Praktiski ierakstīšanas padomi

• Ierakstiet klusā, mīksti mēbelētā telpā

• Saglabājiet mikrofona pozīciju fiksētu

• Izvairieties no klikšķināšanas mutē, lietojot ūdens pauzes un veicot soļus

• Nepārspīlējiet audio apstrādi ievades laikā

• Saglabājiet enerģijas līmeni nemainīgu

Un te nu ir neliela patiesības bumba — ja runātājs sesijas vidū izklausās noguris, arī modelis var iemācīties šo noslīkušo toni. Balss modeļi ir kā sūkļi ar austiņām.

2. solis. Sagatavojiet transkriptus tā, it kā no tā būtu atkarīga jūsu modeļa dzīvība 📝

Jo, savā ziņā, tā arī ir.

Transkripta kvalitātei ir ārkārtīgi liela nozīme. Modelis mācās no audio un teksta savienošanas. Ja runātājs saka vienu, bet transkripts – ko citu, tad kartējums kļūst paviršs. Paviršs kartējums noved pie neveiklas sintēzes – izlaistiem vārdiem, nepareizi izrunātām frāzēm, nejaušiem uzsvara modeļiem un tamlīdzīgām muļķībām.

Jūsu transkriptiem jābūt

• Precīzas atbilstības runātajiem vārdiem

• Vienmērīgs pieturzīmju stils

• Tīri formatēts

• Bez pareizrakstības kļūdām

• Bez nevajadzīgiem simboliem, ja vien jūsu rīkam tie nav nepieciešami

Jau laikus izlemiet, kā rīkoties

• Skaitļi — “42” pret “četrdesmit divi”

• Saīsinājumi — “Dr.” pret “Doctor”

• Pildvielas - “um”, “uh”, “tu zini”

• Smiekli vai elpas vilcieni

• Īpaši nosaukumi vai svešvārdi

Daži satura veidotāji mēģina visu automātiski transkribēt un tad turpina. Protams, tas ir vilinoši. Taču automātiskajai transkripcijai ir nepieciešama cilvēka pārskatīšana, īpaši vārdiem, akcentiem, tehniskajai vārdnīcai un pieturzīmēm. Transkripcija ar 95% precizitāti uz papīra izklausās diezgan labi. Apmācībā šie trūkstošie 5% var skanēt skaļi.

3. solis. Datu kopas tīrīšana un segmentēšana apmācībai ✂️

Šī daļa ir garlaicīga. Es zinu. Tas ir arī viens no soļiem ar vislielāko ietekmi.

Jūs vēlaties, lai jūsu datu kopa tiktu sadalīta pārvaldāmos klipos, parasti pietiekami īsos, lai modelis varētu apgūt skaidras teksta un audio attiecības, neapmaldoties milzīgos ierakstos.

Laba segmentācija parasti nozīmē

• Klipi ir īsi un koncentrēti

• Klusums ir apgriezts, bet ne nedabiski sagriezts

• Viens transkripts katrā klipā

• Nav runas pārklāšanās

• Nav mūzikas gultu

• Nav pēkšņu pieauguma lēcienu

Bieži veicamie tīrīšanas darbi

• Trokšņu samazināšana

• Skaļuma normalizācija

• Klusuma apgriešana

• Apgrieztu vai deformētu kadru noņemšana

• Atkārtota eksportēšana uz jūsu apmācības steka nepieciešamo formātu

Tomēr šeit ir viens slazds. Pārāk ilga tīrīšana var padarīt balsi trauslu. Jūs nevēlaties no tās izslīpēt cilvēcību. Dažas nelielas elpas un dabiska tekstūra ir labi – pat noderīgi. Sterils audio var pārvērsties sterilā sintēzē, un neviens nevēlas balsi, kas izklausās tā, it kā tā būtu radīta izklājlapā 😬

4. solis. Izvēlies savam prasmju līmenim atbilstošu apmācības ceļu ⚙️

Šeit ir punkts, kur cilvēki vai nu pārāk sarežģī, vai pārāk vienkāršo.

Kopumā jums ir trīs reālas izvēles iespējas:

A variants — izmantot mitinātu apmācību platformu

Vislabāk, ja vēlaties ātrumu un ērtības.

Plusi:

• Vienkāršāka saskarne

• Mazāk tehniskas iestatīšanas

• Ātrāks ceļš uz izmantojamu izvadi

• Parasti ietver secinājumu rīkus

Mīnusi:

• Mazāk kontroles

• Izmaksas var pieaugt

• Modeļa uzvedība var būt ierobežota ar rāmjiem

B variants — atvērtā pirmkoda vai pielāgota TTS modeļa precizēšana

Vislabāk, ja vēlaties kvalitāti un elastību.

Plusi:

• Lielāka kontrole pār apmācību

• Labāka pielāgošana

• Vieglāk optimizēt jūsu datu kopai

Mīnusi:

• Nepieciešamas zināmas tehniskas zināšanas

• Vairāk izmēģinājumu un kļūdu

• Aparatūra ir svarīgāka

C variants — apmācība no nulles

Vislabāk, ja veicat padziļinātu izpēti vai veidojat kaut ko specializētu.

Plusi:

• Maksimāla arhitektūras kontrole

• Pielāgota modeļa uzvedība

Mīnusi:

• Milzīgas datu vajadzības

• Ilgāks eksperimentu cikls

• Ļoti viegli tērēt laiku, enerģiju un pacietību

Lielākajai daļai cilvēku — un jā, tas attiecas arī uz gudriem izstrādātājiem ar ierobežotu joslas platumu — precīza iestatīšana ir saprātīgākā izvēle. Tā ir vidējā josla. Ne uzkrītoša, ne primitīva, tikai efektīva.

5. solis. Apmācība, novērtēšana un pēc tam vēlreiz apmācība... jo tā tas notiek 🔁

Šeit sistēma sāk apgūt balss modeļus.

Apmācības laikā modelis mēģina sasaistīt fonēmas, laiku, prozodiju un vokālo identitāti ar transkribētajiem audio paraugiem. Atkarībā no ietvara jūs varat arī apmācīt vai sasaistīt pārī ar vokoderu, stila kodētāju, skaļruņa iegulšanas sistēmu vai teksta frontend. Izsmalcināta valoda, jā, bet pamatideja paliek nemainīga — iemācīt tekstam kļūt par šo balsi.

Ko jūs uzraugāt treniņu laikā

• Zaudējumu vērtības

• Izrunas stabilitāte

• Audio dabiskums

• Runāšanas temps

• Emocionālā konsekvence

• Artefaktu klātbūtne

Pazīmes, ka jūsu modelis uzlabojas

• Mazāk sagrozītu vārdu

• Vienmērīgākas pārejas

• Vairāk ticamu paužu

• Labāka nepazīstamu teikumu apstrāde

• Stabila balss identitāte visās izejās

Pazīmes, ka kaut kas noiet greizi

• Metāliska vai dūkoņaina izeja

• Atkārtotas zilbes

• Neskaidri līdzskaņi

• Nejaušs dramatisks uzsvars

• Plakana, nedzīva piegāde

• Balss nobīde no viena parauga uz nākamo

Un jā, iterācija ir normāla. Ļoti normāla. Pirmais apmācītais rezultāts varētu būt daudzsološs, bet nedaudz nepareizs. Varbūt tas izklausās pareizi, bet lasās pārāk lēni. Varbūt tas labi tiek galā ar īsām rindām un paklūp pie garākiem scenārijiem. Varbūt tas labi pārvalda stāstījumu, bet kļūst nenoteikts skaitļu apzināšanās ziņā. Tas nenozīmē, ka projekts neizdevās. Tas nozīmē, ka tagad esat nonākuši svarīgajā daļā.

6. solis. Precizējiet, lai panāktu reālismu, emocijas un kontroli 🎭

Šeit pienācīgs modelis sāk pārvērsties par tādu, kas nopelnījis savu vietu.

Kad pamatbalss darbojas, nākamais izaicinājums ir kontrole. Jūs nevēlaties, lai balss vienkārši eksistētu. Jūs vēlaties, lai tā uzvestos.

Jomas, kuras ir vērts precizēt

• Prosodija - kāpums un kritums, dabisks uzsvars, temps

• Emocijas - mierīgas, enerģiskas, siltas, nopietnas

• Runas stils — sarunvalodas, pamācošs, kinematogrāfisks

• Izrunas ignorēšana — zīmolu nosaukumi, žargons, nosaukumi

• Teikumu apstrāde — īpaši garākas vai sarežģītākas struktūras

Daudzi veidotāji pārtrauc darbu pārāk agri. Viņi iegūst balsi, kas “izklausās pēc runātāja”, un sauc to par pabeigtu. Taču līdzība pati par sevi nav pietiekama. Lielisks modelis lasās dabiski dažādos scenāriju veidos. Tam vajadzētu tikt galā ar pamācību, reklāmas rindiņu un dialoga rindkopu, neizklausoties tā, it kā tas būtu mainījis personību pusceļā.

Tāpēc arī uz jautājumu " Kā apmācīt mākslīgā intelekta balss modeli?" nav atbildes ar vienu klikšķi. Patiesi panākumi rodas no apmācības un pilnveidošanas. Modelis, kas ir 80% kārtībā, joprojām var šķist nepareizs. Tie pēdējie 20%? Daudz svarīgāk, nekā sākumā šķiet.

7. darbība. Pārbaudiet to uz reāliem skriptiem, ne tikai uz tīrām demonstrācijas rindām 🧪

Lūdzu, nevērtējiet savu modeli, izmantojot tikai perfektas mazas testa frāzes, piemēram, “Sveiki un laipni lūgti kanālā”. Tā ir demonstrācijas ēsma.

Izmantojiet arī aptuvenus, reālistiskus skriptus:

• Garas rindkopas

• Produktu nosaukumi

• Skaitļi un simboli

• Jautājumi

• Ātras pārejas

• Emocionālas pārmaiņas

• Neērta pieturzīmju lietošana

• Sarunu fragmenti

Labi stresa testu piemēri ir šādi:

• Pamācības ievads

• Klientu atbalsta paskaidrojums

• Stāsta rindkopa

• Sarakstu bagāts skripts

• Līnija ar zīmolu nosaukumiem un akronīmiem

• Teikums, kura tonis mainās pusceļā

Kāpēc tas ir svarīgi? Tāpēc, ka noslīpētas demonstrācijas līnijas glaimo vājiem modeļiem. Reāls saturs tos atmasko. Tas ir kā automašīnas testēšana, lēnām ripinot to pa piebraucamo ceļu — tehniski kustība, nevis gluži pierādījums.

8. solis. Izvairieties no kļūdām, kuru dēļ balss modeļi izklausās viltoti 🚫

Dažas kļūdas parādās atkal un atkal.

Bieži sastopamas problēmas

• Izmantojot trokšņainus vai atbalsojošus ierakstus

• Vairāku mikrofonu miksēšana

• Apmācība ar sliktiem transkriptiem

• Dažādu runas stilu apvienošana vienā datu kopā

• Sagaidot, ka niecīgi datu kopumi izklausīsies augstākās klases

• Pārmērīga audio tīrīšana

• Ignorējot izrunas malējos reģistrus

• Novērtējuma izlaišana pēc katra uzlabojuma

Vēl viena milzīga kļūda

Modeļa apmācība bez skaidrām lietošanas robežām.

Jums vajadzētu definēt:

• Kas var izmantot balsi

• Kur to var izvietot

• Vai ir nepieciešama informācijas atklāšana

• Kāda veida saturs ir aizliegts?

• Kā piekrišana tiek dokumentēta

Tas varētu izklausīties garlaicīgi, varbūt pat nedaudz korporatīvi. Bet tam ir nozīme. Balss ir personiska. Patiesībā ļoti personiska. Tāpēc izturieties pret to atbilstoši.

Ētiski un praktiski noteikumi, kas nekad nedrīkst būt izvēles 🛡️

Tas ir pelnījis savu atsevišķu sadaļu, jo pārāk daudzi to aprok pašās beigās kā zemsvītras piezīmi.

Veidojot balss modeli:

• Saņemiet nepārprotamu piekrišanu no runātāja

• Saglabājiet rakstisku atļauju ierakstus

• Neuzdoties par īstiem cilvēkiem bez atļaujas

• Atzīmējiet sintētisko saturu, ja nepieciešams

• Aizsargājiet neapstrādātus balss datus

• Ierobežot piekļuvi apmācītiem modeļiem

• Izvades rezultātu pārskatīšana pirms publicēšanas

Pastāv arī plašāks uzticēšanās jautājums. Auditorija kļūst asāka. Tā bieži vien var sajust, kad audio šķiet “nepareizs”, pat ja nevar izskaidrot, kāpēc. Tātad caurspīdīgums ir ne tikai ētisks, bet arī praktisks. Uzticību ir vieglāk saglabāt, nekā atjaunot.

Noslēguma domas par to, kā apmācīt mākslīgā intelekta balss modeli? 🎯

Tātad, kā apmācīt mākslīgā intelekta balss modeli? Jums jāsāk ar piekrišanu, tīriem ierakstiem un precīziem transkriptiem. Pēc tam rūpīgi jāsagatavo datu kopa, jāizvēlas pareizais apmācības ceļš, jāveic rūpīga novērtēšana un jāprecizē, līdz balss skan stabili un dabiski dzīvajos skriptos.

Tā ir īstā atbilde.

Varbūt ne glaunīgi. Bet taisnība.

Cilvēki, kas sasniedz lieliskus rezultātus, parasti dara dažas lietas labāk nekā visi pārējie:

• Viņi respektē datus

• Viņi nesteidzas ar transkripta tīrīšanu

• Viņi testē uz aptuveniem, reālistiskiem skriptiem

• Viņi turpina atkārtot pēc pirmā “pietiekami labā” rezultāta

• Viņi saprot, ka ticama runa ir daļēji tehnisks process, daļēji audio māksla, daļēji pacietība... un arī nedaudz spītības 😄

Ja jūsu mērķis ir balss, kas izklausās cilvēcīga, uzticama un praktiska, mazāk koncentrējieties uz īsceļiem un vairāk uz ķēdi: labi ierakstiet, labi notīriet, labi saskaņojiet, uzmanīgi trenējieties, kritiski klausieties, apzināti pilnveidojieties. Tas ir ceļš.

Un jā, tas ir mazliet līdzīgi dārzkopībai ar kodu. Zinu, ka šī nav perfekta metafora. Bet tu iestādi pareizo materiālu, rūpīgi par to rūpējies, un pēc kāda laika kaut kas pārsteidzoši dzīvīgs sāk atbildēt.

Reālās pasaules piemērs: uz piekrišanu balstīta stāstījuma balss modeļa izveide 🎙️

Scenārijs

Iedomājieties nelielu izglītojošu YouTube kanālu, kas katru nedēļu publicē trīs skaidrojošus video. Vadītājs manuāli ieraksta katru stāstījumu, taču atkārtota filmēšana, rediģēšana un video rediģēšana sāk palēnināt visu grafiku.

Mērķis nav aizstāt vadītāja balsi bez atļaujas. Vadītājam pieder kanāls, viņš paraksta rakstisku piekrišanas paziņojumu un ieraksta tīru datu kopu tieši apmācībai. Apmācītā balss tiek izmantota tikai pirmās kārtas narācijas melnrakstiem, nelielām scenārija izmaiņām un īsiem labojumiem, ja vadītājs nav pieejams.

Šis ir reālistisks lietošanas gadījums, jo balss modelis atbalsta paša veidotāja darbplūsmu, nevis izliekas par kādu citu.

Kas asistentam ir nepieciešams

Šai iestatīšanai veidotājs sagatavo:

• 90 minūtes tīra naratīva, kas ierakstīts ar to pašu mikrofonu

• Precīzi transkripti katram klipam

• Vienkāršs izrunu saraksts zīmolu nosaukumiem, akronīmiem un bieži lietotiem tematiskiem vārdiem

• Piekrišanas dokuments, kurā norādīts, kur balss var tikt izmantota

• Testa skriptu mape, kurā iekļautas pamācības, sarakstiem bagātas sadaļas, jautājumi un neveikla pieturzīmju lietošana

• Pārbaudes saraksts audio kvalitātei, izrunai, tonim un informācijas atklāšanai

Galvenais noteikums ir vienkāršs: nesāciet apmācību, kamēr transkripti un audio nav rūpīgi tīri. Šeit labs ir vienkāršs, konsekvents materiāls. Vienkāršs, konsekvents materiāls labi apmāca.

Instrukcijas piemērs

Izmantojiet apstiprināto vadītāja balsi, lai radītu mierīgu, draudzīgu izglītojošu stāstījumu. Saglabājiet tempu dabisku, izvairieties no pārspīlētām emocijām un skaidri izrunājiet tehniskos terminus. Ja rakstībā ir skaitļi, datumi, akronīmi vai produktu nosaukumi, saglabājiet tos tieši tā, kā tie ir uzrakstīti. Neveidojiet runu politiskiem atbalstīšanas, medicīnisku padomu, finansiālu solījumu vai citas personas atveidošanas nolūkos. Atzīmējiet jebkuru rindiņu, kurai pirms audio eksportēšanas var būt nepieciešama cilvēka pārskatīšana.

Kā to pārbaudīt

Sāciet ar pieciem īsiem scenārijiem, nevis pilnu ražošanas ciklu.

Testa skripts 1: 30 sekunžu kanāla ievads ar vienu jautājumu un vienu aicinājumu uz darbību.

Testa skripts 2: Divu minūšu pamācības sadaļa ar numurētām darbībām.

3. testa scenārijs: rindkopa ar neveiklu pieturzīmju lietošanu, iekavām, domuzīmēm un toņa maiņu teikuma vidū.

Testa skripts 4: Skripts ar lieliem sarakstiem, kas satur nosaukumus, akronīmus, cenas un datumus.

Testa skripts 5: Labojuma rinda, kurai jāatbilst jau publicēta video tonim.

Pēc audio ģenerēšanas salīdziniet katru rezultātu ar kontrolsarakstu:

• Vai balss joprojām skanēja kā apstiprinātā runātāja balss?

• Vai visi vārdi un cipari tika izrunāti pareizi?

• Vai temps šķita dabisks?

• Vai bija atkārtotas zilbes, metāliskas skaņas vai norīti vārdi?

• Vai vadītājs to apstiprinātu bez atkārtotas ierakstīšanas?

• Vai galīgajā videoklipā ir nepieciešama mākslīgās balss atklāšana?

Rezultāts

Ilustratīvs rezultāts: Pamatojoties uz piecu parauga narācijas uzdevumu laika noteikšanu pirms un pēc šīs darbplūsmas izmantošanas, veidotājs varēja samazināt pirmās kārtas balss pārraides producēšanu no 40 minūtēm uz 600 vārdu scenāriju līdz aptuveni 12 minūtēm.

Mērīšanas pamats: visa procesa laika mērīšana no skripta atvēršanas līdz pārskatīšanai gatava stāstījuma faila eksportēšanai.

Tajā pašā piecu skriptu testā veidotājs varētu izsekot:

• 5 ģenerēti skripti

• 3 pieņemti pēc nelielas rediģēšanas

• 2 nosūtīti atpakaļ izrunas labošanai

• Atrastas kopā 11 izrunas problēmas

• 0 klipi publicēti bez cilvēka pārskatīšanas

• 100% izvaddatu pārbaudīti atbilstoši piekrišanas un lietošanas noteikumiem

Šie skaitļi nepierāda, ka katrs balss modelis darbosies vienādi. Tie parāda praktiskus mērījumus, kam ir nozīme: ietaupītais laiks, pārskatīšanas sekmīgas izpildes rādītājs, izrunas kļūdas un tas, vai tika ievērots pārvaldības process.

Kas var noiet greizi

Visbiežāk pieļautā kļūme ir pārāk agra modeļa izmantošana. Ja pirmais rezultāts izklausās “gandrīz pareizi”, var rasties kārdinājums to publicēt ātri. Tas ir riskanti. Nelielas kļūmes tempā, uzsvarā vai izrunā kļūst acīmredzamākas, kad audio atrodas gatavā video.

Citas problēmas ir šādas:

• Apmācība ar veciem ierakstiem, izmantojot citu mikrofonu

• Nogurušu un enerģisku impulsu apvienošana

• Automātisko transkriptu izlaišana bez pārskatīšanas

• Aizmirstot pārbaudīt skaitļus, nosaukumus un akronīmus

• Piešķirot pārāk daudziem cilvēkiem piekļuvi balss modelim

• Izmantojot balsi saturam, runātājs nekad nepiekrita

• Veiktspējas uzlabojumu apgalvošana, pareizi nenosakot darbplūsmas laiku

Praktiska līdzņemšana

Spēcīgs mākslīgā intelekta balss modelis nav tikai gudrs audio triks. Tas ir kontrolēts ražošanas līdzeklis. Izturieties pret to kā pret tādu: saņemiet piekrišanu, ierakstiet tīrus datus, pārbaudiet ar jau izmantotiem ražošanas skriptiem, izmēriet kļūdu līmeni un pirms jebkādu izmaiņu publiskošanas regulāri informējiet cilvēku recenzentu.

Bieži uzdotie jautājumi

Kā apmācīt mākslīgā intelekta balss modeli no sākuma līdz beigām?

Mākslīgā intelekta balss modeļa apmācība parasti sākas ar piekrišanu, tīriem ierakstiem un precīziem transkriptiem. Pēc tam darbplūsma virzās uz pirmapstrādi, segmentāciju, modeļa apmācību, novērtēšanu un precizēšanu. Rakstā ir skaidri norādīts, ka apmācība ir tikai viena daļa no ilgāka procesa, un spēcīgus rezultātus var sasniegt, labi apstrādājot katru posmu, nevis paļaujoties uz vienu rīku vai saīsni.

Cik daudz audio ir nepieciešams, lai apmācītu labu mākslīgā intelekta balss modeli?

Vairāk audio var palīdzēt, taču kvalitāte ir svarīgāka par neapstrādātu ilgumu. Rokasgrāmatā norādīts, ka viena stunda tīras, konsekventas runas var pārspēt daudzas stundas trokšņainus vai nevienmērīgus ierakstus. Spēcīgs datu kopums parasti ietver dažādus teikumu veidus, skaitļus, vārdus, jautājumus un dabisku tempu, lai modelis apgūtu, kā runātājs apstrādā ikdienas tekstu.

Kādi ieraksti vislabāk der balss modeļu apmācībai?

Vislabākie ieraksti ir tīri, konsekventi un uzņemti vienā un tajā pašā iestatījumā visā datu kopā. Tas nozīmē izmantot vienu un to pašu mikrofonu, vienu un to pašu telpu un vienmērīgu runāšanas attālumu, vienlaikus izvairoties no atbalss, dūkšanas, klaviatūras trokšņiem un intensīvas apstrādes. Svarīga ir arī dabiska atskaņošana, jo modelis absorbēs runātāja tempu, toni un enerģiju.

Kāpēc transkripti ir tik svarīgi, apmācot balss modeli?

Transkripti ir svarīgi, jo modelis mācās no runātā audio un rakstītā teksta savienošanas. Ja transkripts neatbilst teiktajam, modelis var absorbēt vājas izrunas modeļus, nepareizus uzsvarus vai izlaistus vārdus. Rakstā uzsvērts arī tas, ka pirms apmācības sākuma ir jāievēro konsekvence skaitļu, saīsinājumu, aizpildošo vārdu un pieturzīmju lietošanā.

Kā pirms apmācības vajadzētu tīrīt un segmentēt audio?

Audio jāsadala īsos, fokusētos klipos ar vienu atbilstošu transkriptu katram klipam. Bieži veicamie sagatavošanās darbi ietver klusuma apgriešanu, skaļuma normalizēšanu, trokšņa samazināšanu un izkropļotu ierakstu vai pārklājošas runas noņemšanu. Rokasgrāmatā arī brīdināts par pārmērīgu tīrīšanu, jo katras elpas vilciena un tekstūras daļas noņemšana var padarīt galīgo balsi sterilu un mazāk dabisku.

Kā vislabāk apmācīt mākslīgā intelekta balss modeli, ja neesat eksperts?

Lielākajai daļai cilvēku iepriekš apmācīta modeļa precizēšana ir vispraktiskākais risinājums. Tā piedāvā labāku kvalitātes, datu vajadzību un tehnisko piepūļu līdzsvaru nekā apmācība no nulles, vienlaikus sniedzot lielāku kontroli nekā vienkārša platforma bez koda. Mitinātie rīki ir ātrāk lietojami, taču precizēšana parasti ir kompromiss, kas nodrošina spēcīgākus un pielāgojamākus rezultātus.

Kā jūs zināt, vai jūsu mākslīgā intelekta balss modelis uzlabojas apmācības laikā?

Uzlabojumi parasti izpaužas kā vienmērīgāka runa, mazāk kropļotu vārdu, labākas pauzes un stabilāka balss dažādos uzvednēs. Brīdinājuma pazīmes ir metālisks tonis, atkārtotas zilbes, neskaidri līdzskaņi, vienmuļa runa un balss nobīde starp paraugiem. Rakstā uzsvērts, ka novērtēšana nav vienreizēja pārbaude, bet gan daļa no nepārtraukta testēšanas un pārkvalifikācijas cikla.

Kā padarīt mākslīgā intelekta balss modeli reālistiskāku un izteiksmīgāku?

Kad pamatmodelis ir izveidots, nākamais solis ir prozodijas, emociju, tempa un runas stila pilnveidošana. Reālistiskai balsij ir nepieciešams kas vairāk nekā tikai runātāja līdzība, jo tai ir jāspēj tikt galā ar pamācībām, stāstījumu, reklāmas rindām un garākām rindkopām, neizklausoties stīvi vai nekonsekventi. Precīza regulēšana arī palīdz ar izrunas ignorēšanu un uzlabo to, kā modelis apstrādā garākus, sarežģītākus teikumus.

Kas jāpārbauda pirms mākslīgā intelekta balss modeļa izmantošanas ražošanā?

Nepaļaujieties tikai uz īsām demonstrācijas rindām, kas liek gandrīz jebkuram modelim izklausīties pieņemami. Rokasgrāmata iesaka testēt ar garām rindkopām, neveiklām pieturzīmēm, produktu nosaukumiem, akronīmiem, skaitļiem, jautājumiem un emocionālām maiņām. Pilni skripti daudz ātrāk atklāj vājās vietas, īpaši, ja modelim ir jātiek galā ar toņa maiņām, sarežģītām frāzēm vai saturu, kas ir pilns ar sarakstiem.

Kādi ētikas noteikumi jāievēro, apmācot mākslīgā intelekta balss modeli?

Rakstā piekrišana tiek uzskatīta par neapspriežamu. Jums vajadzētu apmācīt tikai balsi, kas jums pieder vai kuru jums ir nepārprotama atļauja izmantot, saglabāt rakstiskus ierakstus, aizsargāt neapstrādātus balss datus, ierobežot piekļuvi apmācītajam modelim un definēt skaidras lietošanas robežas. Tajā arī ieteikts marķēt sintētisko audio, ja tas ir atbilstoši, un izvairīties no jebkādas reālu cilvēku personības atveidošanas bez atļaujas.

Atsauces

1. Microsoft Learn — nepārprotama atļauja — learn.microsoft.com

2. ElevenLabs palīdzības centrs — jūsu balss — help.elevenlabs.io

3. NVIDIA NeMo ietvara dokumentācija — pirmapstrāde — docs.nvidia.com

4. Monreālas piespiedu izlīdzinātāja dokumentācija — teksta izlīdzināšanas precizitāte — montreal-forced-aligner.readthedocs.io

5. ASV Federālā tirdzniecības komisija — Neizdodieties par īstiem cilvēkiem bez atļaujas — ftc.gov

6. Nacionālais standartu un tehnoloģiju institūts — marķēt sintētisko saturu, ja tas ir nepieciešams — nist.gov

Atrodiet jaunāko mākslīgo intelektu oficiālajā mākslīgā intelekta palīgu veikalā

Par mums