Google的AI視頻翻譯技術Universal Translator：不但能同步口譯成各種語言，連人物嘴型都能配合

通過科技的幫助，現(xiàn)在我們遇到不熟悉的外語時，已經(jīng)有很多技術可以輔助我們理解。

最早，像是一些線上翻譯網(wǎng)站，可以幫我們翻譯文本；之后，我們在YouTube增至到可以有即時識別語音的功能，把語音先轉成文本，然后再翻譯成不同的字幕。

然后又有Google Lens，可以拍照之后就把圖片中的外國文本轉換成你認識的文本，出國的時候遇到看不懂的菜單、海報特別好用。

再來就是ChatGPT的加入，利用AI翻譯更多更長的文本，也變成輕松簡單。

現(xiàn)在，Google不但打算要攻下同步口譯這一塊，而且他們打算連說話者的嘴型都要改變。

先前在2023 I/O開發(fā)者大會上，Google披露了這項他們正在開發(fā)的技術，名為Universal Translator。

顧名思義，該工具旨在將視頻不但從一種語言翻譯成另一種語言，同時保留整體基調和氛圍。這意味著該技術不僅可以將視頻從一種語言翻譯成另一種語言，還可以模仿說話者的聲音、語氣和面部表情，人物說話的時候，視頻會根據(jù)目標語言的發(fā)音同步改變口型。

如下圖所示，Universal Translator首先檢測單詞并進行翻譯。然后，它會檢查說話者的語氣以及他們強調的內容。結合這兩個方面后，它會生成目標語言的語音。最后，它會根據(jù)AI生成的語音的發(fā)音同步視頻中說話者的口型。

不過，考慮到此工具可能被濫用來創(chuàng)建假新聞，目前Google并不開放給一般人使用，表示將限制對Universal Translator的使用權限。因此，只有Google授權合作伙伴才能將其用于建設性項目，而一般用戶暫時無緣。