要让app具备自然语音视频交互能力，必须通过gemini live api建立端到端流式通道，使用gemini-3.1-flash-live模型，配置16000hz音频采样率、单声道、1024帧大小，并用firebase ai logic sdk管理有状态websocket连接，视频需与音频时间戳对齐（误差≤150ms）。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要让App具备像真人对话一样自然的语音视频交互能力，必须绕过传统“录音→识别→合成→播放”的串行延迟陷阱，直接接入Gemini Live API建立端到端流式通道。这要求你精确配置音频帧同步参数、选用支持Live功能的专用模型、并用Firebase AI Logic SDK管理有状态WebSocket连接，任何一步错配都会导致卡顿或上下文丢失。
准备开发环境与认证凭据
安装核心依赖：pip install google-genai pyaudio opencv-python firebase-ai-logic
从Google AI Studio创建项目，启用Gemini Live API服务，获取API密钥；【必须使用gemini-3.1-flash-live模型，其他模型不支持实时音频流】
设置环境变量：export GEMINI_API_KEY=your_api_key_here；该密钥需绑定到支持Live功能的服务账号，普通API密钥会静默失败。
配置实时音频流参数
方法一：基于PyAudio构建输入输出管道
设定FORMAT = pyaudio.paInt16（16位整数编码）、CHANNELS = 1（单声道）；【SEND_SAMPLE_RATE必须设为16000Hz，低于此值将触发模型降级，高于此值会被自动截断】
CHUNK_SIZE设为1024——这是延迟与CPU占用的平衡点：太小导致系统调用频繁，太大造成首帧延迟升高；实测在中低端Android设备上，1024对应平均端到端延迟128ms。
方法二：复用Firebase AI Logic内置音频处理器
调用FirebaseAudioProcessor.builder() → setSampleRate(16000) → setChannels(1) → enableJitterCompensation(true)；该方式自动注入抖动补偿逻辑，省去手动实现时间戳校准。
建立有状态WebSocket连接并启动双向流
第一步：初始化客户端实例
client = GeminiLiveClient(api_key=os.getenv("GEMINI_API_KEY"), model="gemini-3.1-flash-live")
第二步：创建会话并开启流式通道
session = client.start_session(config={"sync_config": {"buffer_size": 3, "timestamp_tolerance": 50}})
第三步：启动异步音频任务组
task_group = AudioTaskGroup(session)
task_group.add_input_task(pyaudio.PyAudio().open(...))
task_group.add_output_task(pyaudio.PyAudio().open(...))
task_group.start()
这一步不可逆：连接建立后，session会持续维持上下文状态，若中途断开需重新start_session，旧上下文无法恢复。
集成视频流与多模态上下文对齐
在已运行的session中调用session.attach_video_stream(video_source)，其中video_source可为OpenCV VideoCapture对象或MediaRecorder输出流；
注意：视频帧必须携带与音频帧严格对齐的时间戳，否则Gemini 3.1 Flash Live模型会拒绝处理——它内置硬性校验逻辑，误差超过150ms即丢弃该帧。
发送多模态请求时，构造message payload包含audio_chunk和video_frame两个base64字段，并显式声明"multimodal": true；模型将自动融合时序特征生成响应，无需额外标注对齐关系。
大量免费API接口：立即使用
涵盖生活服务API、金融科技API、企业工商API、等相关的API接口服务。免费API接口可安全、合规地连接上下游，为数据API应用能力赋能！
