粵語 AI 語音客服:英文模型在香港的失效問題

作者：，Genium Group 聯合創辦人 · 發佈於

當我們在符合私隱專員公署規定的香港診所錄音上運行 Whisper-large-v3 時,模型持續遺漏粵語姓氏的聲調,並將語碼轉換的英文外來詞拼平。

在生產環境的通話中見證這些準確問題後,我們開發了我們的AI 語音電話客服。粵語 AI 語音客服作為核心產品關鍵詞,正是我們針對本地語音調校的重點。

為何英文訓練的語音模型在香港粵語通話中失效

英文訓練的聲學模型從字母到音素規則出發,將每個音節視為重音計時。粵語是音節計時語言,擁有六個改變詞彙意義的聲調。當僅在英文 Librispeech 上訓練的 HuBERT-large 遇到粵語聲調輪廓時,它會映射到最接近的英文元音群。結果是系統性地刪除陳或梁等姓氏上的入聲。當我們將混合音頻傳遞給基礎 Whisper 檢查點時,觀察到相同偏差:解碼器選擇英文子詞標記,即使音頻包含清晰的粵語音素。粵語英語語碼轉換 ASR 因此繼承了兩次英文偏差——一次在編碼器,再次在語言模型頭。即使在純粵語語料庫上進行微調,也無法完全消除英文先驗,因為模型在每個幀邊界仍然期待英文音位排列。

具體失效模式:姓名、地址和句中語碼轉換

在現場錄音中,來電者說「黃大仙地鐵站,C 座,12 號單位」產生三個不同錯誤。模型將「Wong」渲染為「one」,遺漏「Tai」的聲調,並將屋邨名稱轉為「Wong Tie Sin」。粵語地址語音模型從未見過完整複合詞「Wong Tai Sin」與英文標記「block」配對。句中語碼轉換使情況惡化:當來電者切換到「level twelve please」時,識別器插入額外音節,因為前面的粵語聲調降低了音高基線。另一個常見情況涉及建築物名稱,如「The Pavilia Hill」。模型輸出「The Pavilion Hill」,因為粵語名稱發音 AI 沒有外來詞「Pavilia」的條目。在每種情況下,一旦說話者在同一呼吸組內切換語言,粵語 AI 電話客服就會遺失地址的後半部分。這些失效在任何僅英文檢查點上都可重現;它們不是隨機噪音。

我們在粵語 AI 語音客服堆疊中推出的四項修正

首先,我們用粵語優先詞典取代英文 G2P,該詞典由粵拼加上 4,800 個香港特定專有名詞構建。其次,我們在 MCE 語料庫風格上訓練混合粵英聲學模型,強制編碼器為每個幀保留獨立的語言 ID 嵌入。第三,我們添加了包含粵語句子中最常用的 300 個英文標記的明確外來詞列表,使解碼器不再將它們視為詞彙外。第四,我們提供即時的每客戶發音覆蓋字典,診所員工可在每班次前在儀表板中更新。這些改變共同將語碼轉換地址語句的詞準確率從六十幾提升到八十幾,但我們仍記錄到罕見姓氏的殘餘錯誤。因此,粵語 AI 語音客服在覆蓋字典未返回匹配時,配備明確的人工交接規則。

我們仍無法修正的問題:粵語 AI 語音客服的開放問題

三類錯誤仍超出當前工程範圍。當來電者使用「阿明」等口語暱稱而非完整名字時,出現未見的混合風格;沒有公共數據集標記這些變體。「吳」或「葉」等罕見姓氏仍觸發刪除,因為訓練分佈對它們採樣不足。嘈雜的 PSTN 線路進一步降低聲調檢測,我們沒有可靠方法區分線路噪音和低音區聲調。粵語英語語碼轉換 ASR 文獻記錄了相同上限:一旦語碼轉換密度超過每秒一次轉換,詞錯誤率就會停滯。在存在更大、標註的香港語音機器人粵語語料庫之前,這些邊緣情況將繼續需要人工升級。因此,我們將粵語 AI 語音客服視為分流層而非完全替代。

對香港診所、律師事務所和代理機構的營運影響

診所可以安全地通過粵語 AI 語音客服處理簡單的預約確認,因為詞彙保持在調校詞典內。律師事務所預訂初步諮詢時,一旦來電者提到覆蓋字典不包含的特定案件編號或地址,仍需要人工故障轉移。處理物業看房的代理機構必須設計符合《個人資料(私隱)條例》及私隱專員公署規定的通話流程,在任何地址捕獲前記錄同意;當粵語地址語音模型返回低信心分數時,相同流程必須觸發即時轉接。在這三個行業中,實際規則相同:讓粵語 AI 電話客服處理前三十秒,然後在任何姓名、地址或語碼轉換標記超出四項修正範圍時交接。這在尊重當前粵語名稱發音 AI 記錄局限的同時,保持對通訊事務管理局來電顯示規則的合規性。

結論

我們今天運行的粵語 AI 語音客服是衡量英文模型在真實香港通話中的失效並推出四項針對性修正的直接結果。它處理大部分常規流量,同時仍能浮現需要人工判斷的案例。這個界限是當今任何處理粵語通話業務的營運現實。

我們如何打造粵語電話代理，請看AI語音代理。了解通話錄音的《私隱條例》核對清單。

常見問題

粵語 AI 語音客服對於混合粵英通話的準確度如何?

準確度取決於堆疊是否使用混合語言聲學模型和明確的外來詞列表。沒有這些組件,英文訓練模型會在每次語碼轉換時遺漏聲調並插入錯誤子詞。使用我們推出的四項修正,地址語句的詞準確率在我們的測試集上提升到八十幾,但罕見姓氏和嚴重噪音仍會觸發交接。因此,粵語 AI 語音客服包含員工可在每班次前編輯的即時覆蓋字典。

為何 AI 電話客服會錯誤發音香港街道名稱和建築物名稱?

英文 G2P 規則將粵語聲調映射到最接近的英文元音群。黃大仙或 The Pavilia Hill 等屋邨名稱在標準詞典中沒有條目,因此解碼器語音猜測。添加粵語優先詞典和每客戶覆蓋可消除大部分這些錯誤,但未見的暱稱和嘈雜線路仍超出當前粵語地址語音模型的覆蓋範圍。

粵語 AI 語音客服能否即時處理粵語和英語之間的語碼轉換?

即時處理需要每幀獨立的語言 ID 嵌入以及在混合粵英語碼轉換 ASR 數據上訓練的解碼器。我們的生產堆疊包含兩者。即便如此,當說話者每秒切換超過一次時,錯誤率急劇上升,粵語 AI 電話客服會升級到人工操作員以保持姓名和地址的準確性。

僅在英文數據上訓練的語音模型如何處理粵語聲調和外來詞?

它們將每個聲調輪廓映射到最接近的英文重音模式,並將粵語外來詞視為詞彙外標記。結果是系統性地刪除入聲並替換屋邨名稱。我們部署的粵語名稱發音 AI 通過在混合語料庫上訓練並維護粵語句子中最常用的 300 個英文標記的即時字典來對抗這一點。

當前粵語語音識別模型在商業電話使用方面有何局限?

當前模型在罕見姓氏、口語暱稱和嚴重 PSTN 噪音上仍然失效。沒有公共數據集大規模標記這些變體,因此粵語英語語碼轉換 ASR 上限仍然存在。因此,粵語 AI 語音客服作為分流層運作:它管理常規流量並交接其餘部分,以維持香港診所和代理機構的私隱專員公署和通訊事務管理局合規性。

Voice agents · AI receptionist for clinics: PDPO call flow in Hong Kong · Answering Service Hong Kong: AI Voice Agent vs Traditional · PDPO Call Recording Hong Kong Checklist · Retell vs Vapi: An 8-Criteria Production Teardown · More articles · Talk to our team