In che modo Dubverse consente ai creatori di doppiare un video in più lingue utilizzando l'intelligenza artificiale

0
151

Quando la pandemia era al suo apice, Varshul Gupta e Anuja Dhawan, co-fondatori di Dubverse, hanno visto un enorme problema nel fatto che i contenuti educativi basati su video fossero disponibili solo in inglese. La mancanza di supporto nella lingua locale era una barriera per i non madrelingua inglese. Fu allora che Gupta e Dhawan pensarono a una piattaforma di doppiaggio basata sull'intelligenza artificiale che consentisse ai creatori di doppiare un video in ben 30 lingue in tempo reale.

“L'intelligenza artificiale era principalmente limitata a laboratori e istituti due -tre anni fa, ma abbiamo pensato a come utilizzare l'intelligenza artificiale per risolvere i problemi della vita reale”, Dhawan, 30 anni, spiega l'idea alla base di Dubverse, che è stato avviato con una mentalità educativa ma ora si rivolge a qualsiasi creatore visivo che voglia doppiare un video nella lingua che preferiscono.

Consigliato per te

  • 1 Lancio di GitHub Copilot X: come cambia la programmazione con l'AI
  • 2Un buco nell'atmosfera del Sole potrebbe produrre aurore abbaglianti a marzo
  • 3ChatGPT può inventare una nuova lingua? Il robot AI stupisce l'utente di Twitter con alcune risposte sbalorditive

Il doppiaggio per lungo tempo è stato associato ai film. Gli studi cinematografici e le case di produzione si sono affidati al doppiaggio per distribuire i loro film in altre lingue ampiamente parlate per rivolgersi a un pubblico più ampio. Il doppiaggio o la voce fuori campo è un processo in cui il suono della sceneggiatura viene sostituito con parole di un'altra lingua, ma la sfida è come ogni dialogo suoni semplicemente fluido con le giuste emozioni per fondersi bene con una lingua madre.


Storicamente, il doppiaggio dei contenuti è stato un compito complesso con più livelli. Richiede un narratore, uno sceneggiatore, uno studio e un editor video. Il processo è lungo, costoso e dispendioso in termini di tempo, oltre al costo del narratore il cui compenso può variare da Rs 20.000 l'ora a Rs 5.00.000 l'ora a seconda dell'esperienza e del tipo di lavoro svolto dall'artista/narratore del doppiaggio fatto nel corso degli anni.

Ma con l'aumentare della domanda di produzione di video ad alta produzione, il doppiaggio di un video in più lingue rappresenta una sfida importante, soprattutto per i creatori di contenuti più piccoli con budget limitati.

Leggi anche |Perché HMD Global non vuole davvero lanciare un L'ammiraglia Nokia presto

La startup di Dhawan con sede a Gurgaon vuole portare il doppiaggio dagli studi di produzione cinematografica a creatori indipendenti e pubblicazioni di notizie, che potrebbero non voler entrare nel complesso processo di produzione necessario per rendere i loro video disponibili in più lingue. “La barriera linguistica è reale”, dice Dhawan. “Quello che stiamo cercando di fare è fare in modo che qualsiasi video creato da un TikTok di 10 secondi a un contenuto di YouTube di un minuto possa essere facilmente doppiato in più lingue con un solo clic di un pulsante”, ha aggiunge.

Il concetto di voci generate dall'intelligenza artificiale non è nuovo. Le voci AI sono state utilizzate per anni in e-book, giochi, assistenti vocali ed esercizi di branding. Ma quello che fa la piattaforma Dubverse di Dhawan è far suonare le voci digitali come se fossero narrate da un essere umano. “Ci siamo resi conto che il problema è quando un relatore AI parla, suona piatto, monotono e non coinvolgente al punto che i consumatori non consumano mai il contenuto”, afferma. “Siamo tornati al tavolo da disegno e ci siamo detti 'Come possiamo migliorare questo?' È stato allora che abbiamo pensato di dover migliorare queste voci per renderle più simili a quelle umane.”

Pubblicità

Gupta e Dhawan insieme al loro team. (Credito immagine: Dubverse)

Dubverse rappresenta un grande cambiamento in cui i creatori di contenuti ora hanno la possibilità di doppiare i propri video in lingue che suonano meno robotiche e più umane senza la necessità di un vero narratore. L'azienda di Dhawan utilizza una combinazione di esseri umani e intelligenza artificiale per creare voci che suonano come persone reali. “Prendiamo una voce umana, la cloniamo e ne creiamo un avatar AI”, dice Dhawan quando gli viene chiesto come gli algoritmi e il software di apprendimento automatico dell'azienda possano produrre audio che suoni più come un essere umano che voci generate sinteticamente. L'idea è di mantenere la voce originale mentre si parla una nuova lingua con accento e dialetto locale.

Le piattaforme di doppiaggio AI come Dubverse promettono un modo semplice per doppiare un video in una lingua a scelta. Tutto ciò che l'utente deve fare è inserire un collegamento video (diciamo un video di YouTube) nella piattaforma, selezionare una lingua in cui si desidera convertire il video, selezionare un oratore e il video è disponibile in una nuova lingua. L'azienda vuole rendere “accessibile” il doppiaggio di un video in più lingue per raggiungere la scala che il creatore ha per il contenuto. Pensa a un creator che gestisce più canali YouTube e desidera che i contenuti siano disponibili non solo in hindi o bengalese, ma anche in spagnolo, tedesco e coreano.

Leggi anche |Il futuro incontra il passato: “Ghostwriter” è un AI- macchina da scrivere potenziata che può parlarti

Dhawan afferma che la sua azienda ha una libreria di 30 voci umane che vengono addestrate sui modelli di intelligenza artificiale che replicano un certo accento o voce. Nonostante l'uso di un software di voice over basato sull'intelligenza artificiale per doppiare una voce, Dhawan afferma che il ruolo degli esseri umani è fondamentale perché il software viene addestrato utilizzando persone reali. Sebbene una voce generata da un software basato sull'intelligenza artificiale non possa ancora avvicinarsi a come suona una vera voce umana, Dhawan afferma di aver visto risultati tra il 90 e il 95%, ma che variano da lingua a lingua.

Dubverse ha un database di 500 milioni di parole in diverse lingue. (Credito immagine: Dubverse)

“L'intelligenza artificiale ha ancora bisogno di assistenza. Non è accurato al 100%”, concorda Dhawan. Sebbene le voci fuori campo basate sull'intelligenza artificiale abbiano fatto molta strada, Dhawan afferma di aver progettato un meccanismo in cui un creatore può richiedere se il video doppiato creato sulla sua piattaforma può essere rivisto da un esperto di lingue che parla la lingua prima di pubblicare il contenuto online. “Ci assicuriamo sicuramente che ci siano esseri umani nel giro e rendiamo l'IA più assistiva in natura in modo che il risultato finale sia più affidabile da pubblicare a nome di chiunque.”

L'argomento principale che mette le piattaforme di doppiaggio AI sul banco degli imputati è se la voce generata dal software può abbinare la voce di un narratore con emozioni reali e le piccole sfumature’ senza perdita di qualità e di pieno significato. “Direi che l'unica risposta a questa domanda sono i dati. Se sei in grado di darmi la tua voce felice, la tua voce eccitata, la tua voce triste e la tua voce criminale in un certo modo, allora sono in grado di replicare tutto ciò”, afferma Dhawan.

Ma Dhawan dice che ottenere le emozioni giuste dipende anche dal tipo di contenuto che stai presentando. Il quoziente emotivo, come diceva Dhawan, vale di più quando la narrazione è fatta da una celebrità. Per ora, tuttavia, il doppiaggio AI è più adatto per contenuti “informativi” come e-learning, formazione e spiegazioni di prodotti. La startup di Dhawan ha lavorato con Reliance e ITC in passato e presto Mahindra e Kotak inizieranno a utilizzare Dubverse per uso interno.

La lamentela principale sul doppiaggio AI, indipendentemente dalla lingua doppiata, è che l'intelligenza artificiale sostituirà i lavori dei narratori umani e dei doppiatori. “L'intelligenza artificiale non sta sostituendo gli esseri umani”, afferma. Per lei, il doppiaggio AI è un modo per sbarazzarsi dei compiti ripetitivi svolti da un narratore umano. Potrebbe essere semplice come visitare uno studio più volte per registrare una voce quando non richiesto. “Questo è un costo aggiuntivo notevole”, aggiunge.

Sebbene Dubverse sia stato pubblicato solo a gennaio e sia stato reso disponibile al pubblico dopo una closed beta durata quasi un anno, la piattaforma ha raccolto oltre 20.000 utenti. La startup punta sugli abbonamenti per aumentare la base di utenti e aumentare le entrate. I piani di abbonamento partono da Rs 3000 al mese e arrivano fino a Rs 60.000 al mese. I diversi livelli di prezzo aiutano ad attrarre una varietà di creatori tra cui YouTuber, creatori di Courser ed editori di notizie, ma l'azienda si sta anche concentrando sul coinvolgimento di organizzazioni più grandi.

© IE Online Media Services Pvt Ltd