我的推特時間線上每個人都在談論 Gemini Omni。我理解——洩露令人興奮,Google I/O 下週舉行,影片模型的框架也受媒體青睞。但我想把 1500 字的篇幅留給一個四月份悄悄釋出、至今幾乎無人基於其構建的模型。
Gemini 3.1 Flash Live 是谷歌 2026 年釋出的最被低估的產品。如果你是一位獨立開發者,正在考慮語音介面,那麼你應該現在就關注它——趁它還沒因為 I/O 的釋出而短暫流行起來。
三十秒速覽
Gemini 3.1 Flash Live 是一個即時的、音訊到音訊的模型。你輸入麥克風音訊流,它輸出合成的語音音訊流,延遲在幾百毫秒以內,並且能像人類一樣在句子中間接受打斷。
幾個重要的細節:
- 目前在 Gemini 開發者 API 中免費(谷歌官方定價頁面上帶有“免費”標識)。歐洲/英國/瑞士使用者需要付費套餐,但其他地區使用者均可免費使用。
- 支援多人對話——模型可以在多人的來回對話中保持上下文。
- 原生音訊模型,而不是拼湊的 STT-LLM-TTS 管道。上述的低延遲和“自然打斷”行為正源於此。
- 自 谷歌四月的公告 起公開可用。不是預覽版排隊。不是企業專享。直接用就行。
過去兩週,我一直在悄悄地將 /chat 的語音模式構建在其上,其效果感覺比我交付過的任何東西都更像一個皮克斯風格的語音助手。
為什麼沒人談論它
三個原因,與技術無關。
Omni 的洩露吸走了所有氧氣。 可以理解。當 I/O 到來時,Gemini Omni 將成為一個更大的消費者故事。但對於獨立開發者來說,那個今天即可使用、成本為 0 美元的語音模型,是比未釋出模型更有趣的構建目標。
語音介面在 2023 年經歷了一輪大多令人失望的炒作週期。 還記得“嘿 ChatGPT,像斯嘉麗·約翰遜那樣跟我說話”嗎?人們構建了語音應用,但延遲有 2-3 秒,個性設定令人不安,用例未能累積,開發者的興趣也隨之轉移。Gemini Live 是我使用過的第一個感覺足夠快、可以和人對話的語音技術,但這個領域對 2023 年的炒作週期存在PTSD。
API 比 HTTP 更難用。 Gemini Live 使用基於 WebSocket 的流式協議,處理雙向音訊塊。如果你習慣了“POST 一個提示,GET 一個回覆”,那麼這裡有個學習曲線。文件寫得不錯,但並非一行程式碼就能搞定。下面我會向你展示實際程式碼——不算難,只是大多數獨立開發者不習慣這種方式。
程式碼長什麼樣
最小可行的語音迴圈程式碼比你想象的要短。以下是驅動 /chat 語音模式的程式碼骨架:
// 在服务端 API 路由中(浏览器永远接触不到密钥)
import { GoogleGenAI, Modality } from '@google/genai';
const ai = new GoogleGenAI({ apiKey: process.env.GEMINI_API_KEY });
const session = await ai.live.connect({
model: 'gemini-3.1-flash-live-preview',
config: {
responseModalities: [Modality.AUDIO],
speechConfig: {
voiceConfig: { prebuiltVoiceConfig: { voiceName: 'Aoede' } },
},
},
});
// 将浏览器麦克风音频管道输入到会话中
for await (const audioChunk of clientAudioStream) {
await session.sendRealtimeInput({ media: audioChunk });
}
// 将模型音频管道输出到浏览器
for await (const response of session.receive()) {
if (response.data) {
serverSentEvent(browserResponseStream, response.data);
}
}這就是概念驗證。生產版本還包括重連邏輯、音訊重取樣(Gemini 需要 16kHz 單聲道 PCM,瀏覽器提供的是 48kHz 交錯格式)、中斷處理,以及在無法建立 WebSocket 時回退到文本模式。但核心協議確實很簡潔。
實際能做什麼
我想談談三個在 2026 年因為此模型而突然變得可構建的用例。
1. 真正能理解打斷的語音助手。 在 Gemini Live 之前,每個消費級語音產品都有同樣的糟糕模式:你說,它處理,它回答。在它回答過程中打斷要麼被忽略,要麼導致笨拙的狀態重置。Gemini Live 優雅地處理打斷——當它正在回答時說“等等,算了”,它就會停下來,確認這個變化,然後等待你的新指令。這是五年來語音介面中最大的使用者體驗升級。
2. 即時語言輔導。 我用 60 秒就構建了一個原型,你可以用目標語言進行自由對話。模型會溫和地糾正你的發音,根據你的水平調整語言風格,並以與你相匹配的速度回應。延遲足夠低,對話能有自然的節奏——你可以進行真實對話所依賴的回應小詞(“嗯哼”、“好的”、“等等什麼?”)。Duolingo 每月收費 7 美元,本質上是升級版閃卡應用,而目前市場上沒有任何語言輔導產品能與你花一個週末在 Gemini Live 上構建的東西相媲美。
3. 不像 1995 年那麼糟糕的客服語音互動。 電話樹 IVR(“賬單請按1,技術支援請按2”)仍在 B2C 客服中無處不在,因為其他替代方案更糟糕。Gemini Live 是第一個讓我在處理常規查詢時真正更願意選擇 AI 而非人力的系統——它不會讓我重複三次帳號,不會讓我等待,並且能記住整個對話上下文。
這三個用例的共同模式:語音技術變得足夠快,感覺就像真正的對話。這是閾值上的變化。
成本故事
定價表上“開發者 API 中免費”這一行是真的,但理解其覆蓋範圍很重要。
免費層級覆蓋了模型推理本身。它不覆蓋:
- 在伺服器和客戶端瀏覽器之間傳輸音訊流的頻寬(取決於你的託管方式)
- 會話開啟期間你伺服器上的計算時間(取決於你的執行時)
- 任何音訊儲存或錄音(如果你保留記錄的話)
在實踐中,執行一個5分鐘的語音對話大約消耗我 50 MB 的頻寬和一些毫秒的 Cloudflare Worker 計算時間。按 Cloudflare 的定價,這大約是 0.00012 美元的真實基礎設施成本——可以說微不足道。
這將會改變。谷歌在 Gemini Live 上的“免費”定價是一種市場培育策略。AI Studio 上的同一個模型被限制為短互動。當消費產品真正規模化時,價格就會上漲。獨立開發者應該在成本為零的現在就推出語音功能。
我在其上交付了什麼
GeminiOmni 的 /chat 頁面有一個語音模式切換開關,可以將同一個對話介面切換到由 Gemini Live 支援的音訊 I/O。使用者點選麥克風,獲得一分鐘的免費對話(無需註冊),然後選擇註冊或不註冊。這個介面的轉化率是我們所有工具中最好的——大約 12% 嘗試過語音模式的使用者註冊了 Pro,而文字聊天只有 3%。
語音是一個能轉化為付費使用者的鉤子。即使最終不使用語音功能的使用者,其以“稍後嘗試”為目的進行註冊的比率,也比純文字路徑高出 4 倍。如果你在 AI 工具領域構建任何東西,語音都是你堆疊中成本最低的使用者獲取功能。
對於好奇的人來說,實現所需的工作量:語音模式總共約 800 行程式碼,包括 WebSocket 橋接、音訊重取樣、React UI、錯誤狀態和註冊漏斗。兩個週末加一週的打磨。
當 Omni 釋出時會發生什麼
如果我對 Gemini Omni 的解讀 正確,那麼統一的多模態模型將取代今天 Gemini Live 的部分功能。一個能聯合生成影片、影像和音訊的單一端點,其介面在功能上比 Live 的純音訊模式更強大。
但是——這一點很重要——Live 是為雙向流式傳輸而構建的。它不僅僅是生成音訊,它同時在傾聽和回應。無論 Omni 在 I/O 上釋出什麼,我敢打賭它首先是一個一次性生成模型,而對話功能將在幾個月後推出。我們今天擁有的語音技術不會消失;它會被新的能力所補充。以零成本構建語音產品的視窗現在正敞開著。
延伸閱讀
— Lena
