技術(shù)
導(dǎo)讀:谷歌研究人員開發(fā)了一種應(yīng)用人工智能的新方法,可以增強(qiáng)視頻會(huì)議等多項(xiàng)服務(wù)。該研究與已知的“雞尾酒會(huì)效應(yīng)(cocktail party effect)”有關(guān)。所謂“雞尾酒會(huì)效應(yīng)”,指的是人的一種聽力選擇能力。在這種情況下,注意力集中在某一個(gè)人的談話之中而忽略背景中其他的對(duì)話或噪音,該效應(yīng)揭示了人類聽覺系統(tǒng)中令人驚奇的能力,即我們可以在噪聲中談話。
谷歌研究人員開發(fā)了一種應(yīng)用人工智能的新方法,可以增強(qiáng)視頻會(huì)議等多項(xiàng)服務(wù)。
該研究與已知的“雞尾酒會(huì)效應(yīng)(cocktail party effect)”有關(guān)。所謂“雞尾酒會(huì)效應(yīng)”,指的是人的一種聽力選擇能力。
在這種情況下,注意力集中在某一個(gè)人的談話之中而忽略背景中其他的對(duì)話或噪音,該效應(yīng)揭示了人類聽覺系統(tǒng)中令人驚奇的能力,即我們可以在噪聲中談話。
同理,谷歌的這項(xiàng)研究可以讓人工智能模仿大腦,在一個(gè)充滿干擾的環(huán)境中(例如到處都有其他的人在說(shuō)話),將注意力集中在一個(gè)單獨(dú)的物體(例如某一個(gè)人)的能力。
人工智能模型通常很難以相同的效果調(diào)整外部輸入,特別是當(dāng)包含多個(gè)聲音的音頻流時(shí)更是如此。這已被證明是語(yǔ)音識(shí)別領(lǐng)域的主要挑戰(zhàn),這是當(dāng)今神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用領(lǐng)域之一。
谷歌表示,
其研究人員通過(guò)開發(fā)一種考慮不同類型信息的深度學(xué)習(xí)模型克服了這一障礙:視覺輸入。
該技術(shù)被設(shè)計(jì)用于處理視頻。人工智能可以分析剪輯中顯示人物的嘴部動(dòng)作,以使每個(gè)人都能與他們發(fā)出的聲音進(jìn)行匹配。一旦它建立起了必要的關(guān)聯(lián)關(guān)系,模型就可以將單個(gè)的語(yǔ)音軌道分開。
教會(huì)人工智能有效地完成這項(xiàng)任務(wù)并不是一件容易的事。谷歌的研究人員從YouTube上收集了100,000個(gè)視頻,提取了包含每個(gè)發(fā)言人聲音的音頻片段,然后將這些片段拼接成具有多個(gè)音軌的“合成雞尾酒會(huì)”。
該小組使用這個(gè)數(shù)據(jù)集來(lái)訓(xùn)練模型,以便在各種條件下都能夠?qū)⒄f(shuō)話者的聲音與其他聲音分開。
谷歌表示,
用戶可以點(diǎn)擊他們希望聽到的人的臉部,并讓視頻中的其他說(shuō)話的人自動(dòng)靜音。
該技術(shù)對(duì)這家搜索巨頭來(lái)說(shuō)有很多潛在的用途。
谷歌可以在YouTube中使用這個(gè)人工智能版本,讓用戶調(diào)出剪輯中的一些聲音。對(duì)于在嘈雜的環(huán)境中錄制的視頻來(lái)說(shuō),這可能是一個(gè)特別大的便利。
該人工智能也有可能會(huì)改善Hangouts和Meet——谷歌的視頻會(huì)議服務(wù)——的用戶體驗(yàn),它能夠讓會(huì)議的參與者更容易地專注于特定的人的語(yǔ)音。
該搜索巨頭還相信這項(xiàng)技術(shù)可以應(yīng)用于醫(yī)療領(lǐng)域,例如可以開發(fā)出更復(fù)雜的助聽器。