香港語音代理延遲預算

作者：，Genium Group 聯合創辦人 · 發佈於

當端點與電訊商位於同一可用區時,香港的 Twilio SIP 中繼線顯示語音轉文字交接時間為 280 毫秒。

語音代理延遲決定來電者會留在線上還是在首次回應前掛斷。在香港診所和律師事務所,該閾值約為 800 毫秒的靜默時間。我們已在粵語和英語工作流程中部署AI 語音電話代理並測量每個環節。同一批來電者能容忍人類接待員 400 毫秒的停頓,卻會在 1.2 秒時放棄語音代理。

以下五個部分將預算拆解為具體毫秒數,展示哪些可以削減,並將數字轉化為來電者實際聽到的體驗。

為何語音代理延遲決定掛斷風險

香港來電者期望獲得與人類接待員相同的節奏。地產代理報告顯示,根據我們去年合作的三家公司內部日誌,18% 的來電線索在 1.5 秒靜音後斷線。首 400 毫秒感覺正常。在 600 毫秒至 900 毫秒之間,來電者開始懷疑線路是否中斷。超過 1.2 秒,大腦會將靜默登記為連接失敗,手指便移向紅色按鈕。國際電信聯盟 G.114 建議書涵蓋單向傳輸時間,並包括網際協議語音的指引。

語音代理延遲在不同語言間複合累積。粵語對話通常比英語有更短的自然停頓,因此 700 毫秒的代理延遲對粵語使用者來說聽起來更長。我們追蹤了通過編排層路由的 2,400 個通話,發現任何超過 850 毫秒總時長的對話輪次,掛斷率比 600 毫秒以下的高 9%。這種差距在診所、物流調度和專業服務公司中一致出現。

因此實際目標是每輪對話的語音代理表現須低於一秒。任何超過 1 秒的延遲都會迫使來電者判斷系統是否損壞。忽視此閾值的團隊會在對話開始前便失去潛在客戶。

延遲預算的毫秒級拆解

完整的對話輪次分為五個可測量的部分。當音訊串流從香港 SIP 電訊商到達時,Deepgram 或 Whisper 的語音轉文字管道需時 280–420 毫秒。在新加坡託管的 70B 模型上,大型語言模型首個標記延遲增加 180–320 毫秒。文字轉語音合成運行 220–380 毫秒,取決於語音模型及是否啟用串流。電訊商與編排伺服器之間的網絡往返在同一地區內增加 60–110 毫秒。用於狀態管理、工具調用和故障轉移邏輯的編排開銷消耗另外 90–150 毫秒。

將中位數相加,來電者聽到第一個字前的端對端時間約為 1,050 毫秒。該數字已超過我們在生產環境中測量的 850 毫秒閾值。因此語音轉文字延遲預算和文字轉語音延遲減少成為兩個最大的可控變數。一旦模型和地區固定,其餘組件更接近物理極限。

這些數字來自我們自己堆疊上的生產追蹤,而非實驗室基準測試。當我們將大型語言模型端點從東京移至新加坡時,首個標記時間平均下降 90 毫秒。當我們啟用串流文字轉語音時,合成部分的中位數從 310 毫秒降至 240 毫秒。預算是真實的,並可在每個通話中測量。

哪些環節可以實際削減

語音轉文字延遲預算最容易通過選擇串流提供商和保持語言模型溫暖來縮減。從批次 Whisper 切換到串流 Deepgram 將我們香港英語語音轉文字的中位數從 410 毫秒減至 290 毫秒。粵語模型仍然滯後;我們測試的最佳串流端點為 380 毫秒。在更好的粵語串流端點出現之前,這種差距仍然是結構性的。Deepgram 的串流延遲測量指南將轉錄延遲定義為其伺服器處理音訊並返回結果所需的時間。

文字轉語音延遲減少來自兩個槓桿:串流合成和語音模型選擇。非串流 ElevenLabs 增加了 140 毫秒的緩衝。啟用分塊串流移除了該緩衝,但在粵語聲調上偶爾引入韻律故障。這種權衡在地產代理通話中是可聽見的,因為地址號碼必須正確發音。

大型語言模型和編排開銷更難移動。量化模型減少首個標記時間,但在預約邏輯上增加幻覺。移除工具使用中介軟體削減了 70 毫秒,但迫使我們在提示內重新實施防護欄。當錄音被保留時,根據《個人資料(私隱)條例》要求安全、可審計的通話處理,其餘 90–150 毫秒的編排在很大程度上是成本。

一旦選擇 SIP 中繼線,網絡和電訊商交接便超出大多數團隊的控制範圍。將語音代理伺服器與香港電訊商放置在同一數據中心內平均移除 40 毫秒。這項單一更改出現在我們為本地診所運行的每個部署中。

1.5 秒停頓聽起來像甚麼

1.5 秒的語音機械人停頓對來電者來說登記為兩個不同的事件。首 800 毫秒感覺像正常處理。接下來的 700 毫秒進入尷尬的沉默。在香港診所接待線上,來電者通常在 1.1 秒標記時說「喂?」。如果代理然後在 1.4 秒回應,重疊會創造一個雙向通話時刻,損害感知的能力。

這種長度的通話回應延遲也打破了粵語對話的節奏。母語使用者期望每 400–600 毫秒有反向通道提示。當這些提示遲到時,來電者會假設系統沒有理解先前的話語。我們檢閱了物流客戶的 340 個放棄通話,發現 62% 在首 1.5 秒內包含明確的「喂?」或重複問題。

心理效應在外撥電話上複合。收到意外來電的潛在客戶已經具有較低的耐心。首輪對話的 1.5 秒語音代理延遲提高了他們將代理視為垃圾訊息並在傳達價值主張前掛斷的機會。

香港及亞太團隊應如何測量

測量必須在實際電訊商路徑上進行,而非在實驗室中。我們為每個部署配備分段計時器,記錄到存儲通話錄音的同一數據庫。計時器從來電者的最後一個音訊幀開始,在文字轉語音引擎返回的第一個音訊幀停止。該定義與來電者體驗的內容相符。

語言混合很重要。處理英語和粵語的診所必須運行單獨的預算。我們的追蹤顯示,在相同硬件上,粵語語音轉文字加文字轉語音輪次平均比英語輪次長 120 毫秒。發布單一延遲數字的團隊隱藏了一半來電者的真實體驗。

需要定期重新測試,因為提供商端點會改變。我們在每次模型更新和任何 SIP 中繼線更改後重新運行完整的預算測量。語音代理每次通話成本文章展示了這些延遲選擇如何也影響並發通話容量,從而影響每月支出。AI IVR 替換決策框架進一步將延遲目標與亞太實踐的替換投資回報率聯繫起來。

最後,在 850 毫秒中位數輪次時間設置內部警報。一旦中位數超過該線,下一個版本必須在添加新功能之前包含延遲減少任務。這種紀律使語音代理延遲保持在來電者的容忍窗口內。

結論

語音代理延遲不是單一數字,而是必須在每次部署中測量和削減的預算。將中位數輪次保持在 850 毫秒以下的香港團隊可以留住原本會掛斷的來電者。可以移動的組件是語音轉文字串流選擇、文字轉語音串流和區域模型放置。其餘是結構性的。在實時電訊商路徑上測量,分開英語和粵語預算,並將任何超過 850 毫秒的中位數視為發布阻礙因素。這一單一紀律將預約成功的代理與在第一句話完成前失去通話的代理區分開來。

在您自己的香港中繼線上測試我們的回應時間。在 https://genium-group.com/services/voice-agents 預約 15 分鐘延遲審核,並獲得針對您當前電訊商和語言混合的分段細分。

常見問題

甚麼是語音代理延遲?

語音代理延遲是從來電者話語結束到代理開始說出回應之間的總時間。它包括語音轉文字、語言模型推理、文字轉語音和所有網絡跳轉。在香港部署中,中位數目標低於 850 毫秒以避免掛斷。

語音代理應該多快回應?

實際上限是實時 SIP 流量上的 850 毫秒中位數輪次時間。在香港和更廣泛的亞太地區,任何持續超過 1 秒的延遲都會在診所、地產代理和物流公司中產生可測量的來電者放棄增加。

是甚麼導致語音代理延遲?

延遲來自五個部分:語音轉文字處理、大型語言模型首個標記生成、文字轉語音合成、區域網絡往返和編排狀態管理。每個部分根據提供商選擇和是否啟用串流,貢獻 60 毫秒至 420 毫秒不等。

1.5 秒停頓聽起來像甚麼?

1.5 秒停頓登記為兩個事件:首 800 毫秒為正常處理,然後是尷尬的沉默。香港來電者通常在 1.1 秒標記左右插話說「喂?」,當代理最終回應時產生重疊,並損害感知的可靠性。

如何減少語音代理延遲?

通過啟用串流語音轉文字和文字轉語音、將編排伺服器與香港電訊商放置在一起、選擇較低延遲的語音模型,以及將大型語言模型端點保持在新加坡而不是更遠的地區來減少延遲。在每次更改後重新測量,因為提供商端點會隨時間變化。

Voice agents · AI IVR Replacement Decision Framework for APAC SMEs · AI Warm Transfer Hong Kong Failure Modes · AI Receptionist for Small Business USA: TCPA Compliance Checklist · EU AI Act Article 50 for AI Voice Agents · Number Porting Hong Kong: Twilio vs SIP for Agents · More articles · Talk to our team