【南昌APP開(kāi)發(fā)】“全球約有 4.66 億耳聾和聽(tīng)力障礙患者，這是非常巨大的一個(gè)數(shù)目，如果把這個(gè)數(shù)字當(dāng)成是一個(gè)國(guó)家的人口的話，這個(gè)‘國(guó)家’就是世界人口第三大國(guó)了
2019-05-14 09:32:05“全球約有 4.66 億耳聾和聽(tīng)力障礙患者，這是非常巨大的一個(gè)數(shù)目，如果把這個(gè)數(shù)字當(dāng)成是一個(gè)國(guó)家的人口的話，這個(gè)‘國(guó)家’就是世界人口第三大國(guó)了?！?/span>
遠(yuǎn)在美國(guó)的 Google AI Research Group 高級(jí)產(chǎn)品經(jīng)理 Sagar Savla，通過(guò)遠(yuǎn)程視頻參與了一次在中國(guó)舉行的采訪會(huì)議。采訪中，他展示了上述讓人意想不到的統(tǒng)計(jì)數(shù)字。
借助技術(shù)的力量，普通人得到了能力增強(qiáng)，能完成過(guò)去做不到的事情，比如 Sagar 可以借助實(shí)時(shí)視頻串流跨洋交流。在科技公司做產(chǎn)品的 Sagar，想讓聽(tīng)力障礙群體也能受惠于技術(shù)進(jìn)步。
Google AI Research Group 高級(jí)產(chǎn)品經(jīng)理 Sagar SavlaLive Transcribe 是什么？
Sagar 和他的團(tuán)隊(duì)已經(jīng)邁出了第一步——Live Transcribe。Live Transcribe 是一個(gè) Android 端的 App，能將自動(dòng)生成字幕功能引入日常對(duì)話，幫助聽(tīng)力障礙人群融入即時(shí)口頭交流。這款 App 已于 2019 年 2 月底發(fā)布，目前支持 70 多種語(yǔ)言并覆蓋全球 80% 以上的人群。
如上所述，全球有 4.66 億耳聾和聽(tīng)力障礙患者。過(guò)去，他們想要參與即興對(duì)話和社交場(chǎng)合，得提前預(yù)訂昂貴的手動(dòng)轉(zhuǎn)錄服務(wù)，成本頗高，Live Transcribe 用技術(shù)來(lái)解決了這個(gè)問(wèn)題。
Live Transcribe 基于 Google 過(guò)去幾十年的自動(dòng)語(yǔ)音識(shí)別（Automatic Speech Recognition，以下簡(jiǎn)稱 ASR ）技術(shù)積累，能把人類的語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)文本。YouTube 上的自動(dòng)字幕生成，就是應(yīng)用 ASR 技術(shù)的結(jié)果。
（安靜環(huán)境下 Live Transcribe 實(shí)時(shí)字幕轉(zhuǎn)錄普通話測(cè)試）
2018 年，Sagar 利用 20% 的工作時(shí)間開(kāi)啟了 Live Transcribe 這個(gè)項(xiàng)目?！伴_(kāi)始不久我們立刻意識(shí)到，這其實(shí)是一個(gè)非常切實(shí)的項(xiàng)目。因?yàn)樵?Google 也有一些聾人員工，他們拿到這個(gè)產(chǎn)品后幾乎無(wú)時(shí)無(wú)刻不在使用。啟動(dòng)一個(gè)月后，我們就把這個(gè)項(xiàng)目固定下來(lái)了，建立了相應(yīng)的產(chǎn)品開(kāi)發(fā)團(tuán)隊(duì)?！盨agar 對(duì) PingWest 品玩回溯起項(xiàng)目的發(fā)展。
值得一提的是，美國(guó)國(guó)家級(jí)院士 Dmitri Krakovsky 也加入了 Live Transcribe 項(xiàng)目組，他天生就是聾人，已經(jīng)研究 ASR 30多年。
Live Transcribe 是怎么運(yùn)行的？
過(guò)去，基于 ASR 的轉(zhuǎn)錄系統(tǒng)一般都需要計(jì)算密集型模型、詳盡的用戶研究以及昂貴的連接服務(wù)費(fèi)用。
為了降低用戶使用自動(dòng)連續(xù)轉(zhuǎn)錄服務(wù)的成本，Sagar 團(tuán)隊(duì)將 Live Transcribe 背后的神經(jīng)網(wǎng)絡(luò)模型分別部署在設(shè)備端和云端（Google Cloud）。
設(shè)備端的是卷積神經(jīng)網(wǎng)絡(luò)模型，主要做聲音分類的工作，能辨別 570 個(gè)聲音類別，比如嬰兒哭聲或玻璃破碎聲。
云端的神經(jīng)網(wǎng)絡(luò)模型規(guī)模大得多，主要做語(yǔ)音轉(zhuǎn)錄成文字的工作，由三個(gè)部分組成。
第一部分是聲學(xué)模型，能夠從音節(jié)的角度辨析說(shuō)話者所說(shuō)的是“Hi”還是“Hello”。
第二個(gè)部分是發(fā)音模型，可以根據(jù)識(shí)別出來(lái)的音節(jié)做拼接或組合，組成實(shí)際的單詞。第三部分是語(yǔ)言模型，根據(jù)識(shí)別出來(lái)的單詞添加適當(dāng)?shù)臉?biāo)點(diǎn)符號(hào)和停頓，以符合人類語(yǔ)言使用習(xí)慣。
基于云端神經(jīng)網(wǎng)絡(luò)做語(yǔ)音轉(zhuǎn)錄的好處是，對(duì)設(shè)備性能要求沒(méi)這么高。Sagar 告訴 PingWest 品玩：“這意味著，Live Transcribe 在一些性能較弱的低端設(shè)備上也可以正常運(yùn)行?！?/span>
理想狀態(tài)下只要有互聯(lián)網(wǎng)接入，能使用 Google 服務(wù)，語(yǔ)音轉(zhuǎn)錄延遲都可以控制在 200 毫秒以內(nèi)。Sagar 對(duì) PingWest 品玩表示：“在一些網(wǎng)絡(luò)接入速度沒(méi)這么快的第三世界國(guó)家，聽(tīng)覺(jué)障礙人群其實(shí)愿意花一點(diǎn)時(shí)間來(lái)獲得更加準(zhǔn)確識(shí)別的效果。因?yàn)槿绻麤](méi)有這款產(chǎn)品的話，他們是很難聽(tīng)見(jiàn)的?！?/span>
落地遇到的問(wèn)題
落到實(shí)際用戶使用場(chǎng)景，Sagar 團(tuán)隊(duì)要解決的問(wèn)題不止設(shè)備性能和網(wǎng)絡(luò)連接。
Sagar 團(tuán)隊(duì)與加拉德特大學(xué)共同發(fā)起了用戶體驗(yàn)研究，考慮了幾種不同的設(shè)備：計(jì)算機(jī)、平板電腦、智能手機(jī)、小型投影儀，甚至還有 VR/AR 眼鏡?！翱紤]到產(chǎn)品能夠具有普惠性，最終選擇了成本比較低廉，大家都用得起的一種設(shè)備——智能手機(jī)”。
“第二個(gè)我們要解決的問(wèn)題是，實(shí)時(shí)顯示字幕的時(shí)候是否要顯示字幕轉(zhuǎn)錄的置信度（轉(zhuǎn)錄后文字的可信程度）?！盨agar 說(shuō)。
一開(kāi)始，他們?cè)鴩L試用顏色來(lái)代表轉(zhuǎn)錄文字置信度，黃色代表高置信度，綠色代表中等置信度，而藍(lán)色代表低置信度，白色單詞為新文本。
Sagar 團(tuán)隊(duì)最終放棄了顯示置信度：“經(jīng)過(guò)測(cè)試，我們發(fā)現(xiàn)這種方式會(huì)給用戶造成一個(gè)錯(cuò)覺(jué)，好像同一顏色的是一個(gè)詞組?！?/span>
第三個(gè)要解決的問(wèn)題是環(huán)境噪音，又稱之為“雞尾酒會(huì)問(wèn)題”：在一個(gè)派對(duì)場(chǎng)景中，有很多人在交談，機(jī)器很難識(shí)別正確的談話對(duì)象。
“為解決此問(wèn)題，我們構(gòu)建了一個(gè)指示器，用于顯示相對(duì)于背景噪聲的用戶說(shuō)話音量?！盨agar 說(shuō)：“較亮的內(nèi)部同心圓代表噪聲層，代表當(dāng)前環(huán)境所處的噪聲級(jí)別。外部同心圓表示麥克風(fēng)對(duì)說(shuō)話人聲音的接收狀況。用戶可借此收到即時(shí)反饋，了解麥克風(fēng)的接收狀況，以便其調(diào)整手機(jī)位置。”
將來(lái)，Sagar 團(tuán)隊(duì)會(huì)繼續(xù)改善“雞尾酒會(huì)問(wèn)題”的解決方案，讓對(duì)話者的聲音更好地從多個(gè)說(shuō)話對(duì)象中分離出來(lái)。Sagar 說(shuō)：“Live Transcribe 也不排除會(huì)出 iOS 版本，讓更多受眾用上這項(xiàng)服務(wù)。”
