科技| Meta新AI系統變身巴別魚  語音即時翻譯101種語言

[星島綜合報道]科幻小說中的通用翻譯器，例如《銀河便車指南》中著名的巴別魚，一直描繪著即時翻譯語言的夢想。如今，Facebook 的母公司 Meta 的科學家開發出一種 AI 系統，可以即時翻譯語音和文字，包括語音到語音的直接翻譯，涵蓋多達 101 種語言，這或許是實現這一幻想的關鍵一步。

「科幻為我們的團隊提供了一個清晰的目標，」Meta 基本 AI 研究團隊（位於加州門洛帕克）的研究科學家Marta Costa-jussà表示。

隨著世界越來越緊密地互聯，人們比以往任何時候都能更廣泛地接觸多語言內容。然而，大多數自動翻譯系統僅設計為處理文字輸入和輸出。目前現有的語音到語音翻譯系統在覆蓋語言數量上遠不及文字翻譯系統。此外，之前的語音到語音翻譯系統通常偏向於將某種語言翻譯為英文，而非將英文翻譯為其他語言。

Meta 現在開發了一種名為 SeamlessM4T 的 AI 系統，可翻譯多達 101 種語言的語音和文字。

為了開發 SeamlessM4T，研究人員訓練了一個模仿大腦的神經網路 AI 系統，使用了 400 萬小時的多語音頻和數十億句子，這些資料來自公開的網路數據庫。他們還分析了約 44.3 萬小時的帶有匹配文字的音頻（例如帶字幕的網路視頻剪輯），以進一步改進系統。

在語音到語音翻譯方面，研究團隊發現 SeamlessM4T 的準確率比先前的最先進系統提高了 23%。在語音到文字的任務中，它的準確率比之前的系統高出 8%。

此外，在語音到文字的任務中，SeamlessM4T 在背景噪音和說話者語音差異的情況下，比起其他系統大約多出 50% 的抗干擾能力。它還能翻譯混合兩種或多種語言的語句。

為減少 SeamlessM4T 在翻譯中可能添加髒話或其他有害語言的風險，研究人員採用了兩種策略來消除訓練和運行過程中的有害內容。與最先進的模型相比，這些策略在翻譯中減少有害內容的比例高達 20%。

除了 SeamlessM4T，Meta 還釋出了多種支援語音與文字分析的 AI 系統。未參與此次研究的愛沙尼亞塔林理工大學語音處理副教授Tanel Alumäe提到，他和同事已成功利用其中一款工具進行語音的情感識別及早期認知衰退（如阿茲海默症）的檢測。

目前，Meta 正使用 SeamlessM4T 來自動為 Instagram 和 Facebook 上的視頻配音。它還幫助實現 Ray-Ban 智能眼鏡即時將西班牙語、法語或意大利語翻譯為英語的功能。為促進未來語音翻譯技術的研究，Meta 正將與 SeamlessM4T 有關的代碼、工具、庫及其他資源以非商業用途公開。

圖片：istock

T10