必须接入gemini robotics-er 1.6具身推理模型，它支持仪表读取、多目标定位与任务状态评估；需启用gemini api、配置指定版本客户端及服务账号密钥，再通过纯文本或图文输入调用，最终解析结构化动作指令。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在自动化系统中让机器人真正理解指令、规划步骤并判断任务是否完成，必须接入专为物理世界设计的具身推理模型——Gemini Robotics-ER 1.6已全面开放API调用，它能原生读取仪表、定位多目标、评估任务成功状态，不再依赖人工写死逻辑。
确认API访问权限与模型可用性
打开 Google AI Studio（ai.google.dev/studio），登录与项目绑定的Google Cloud账号→点击左上角“Models”→在搜索框输入 gemini-robotics-er-1.6 →确认状态显示为“Available”且区域为“Global”。
若列表中未出现该模型，说明当前项目未启用 Gemini API：需进入 Google Cloud Console → API和服务 → 启用API → 搜索并启用 “Gemini API” → 返回AI Studio刷新页面。
这一步不可跳过，【未启用Gemini API的项目无法调用任何Robotics-ER模型】。
配置Python开发环境并安装客户端
执行 pip install google-generativeai==0.8.3（必须指定此版本，低版本不支持Robotics-ER系列模型）。
创建 credentials.json 文件，将Google Cloud服务账号密钥内容粘贴保存；运行 export GOOGLE_APPLICATION_CREDENTIALS="./credentials.json"（Linux/macOS）或 set GOOGLE_APPLICATION_CREDENTIALS=.\credentials.json（Windows）。
验证是否生效：python -c "import google.generativeai as genai; genai.configure(); print([m.name for m in genai.list_models() if 'robotics' in m.name])" —— 输出应包含 gemini-robotics-er-1.6。
构建首个具身推理请求：垃圾分类任务分解
方法一：纯自然语言指令直调
初始化模型：model = genai.GenerativeModel('gemini-robotics-er-1.6')。
构造输入：response = model.generate_content("请根据上海2026年最新垃圾分类规则，将面前的5个物品（玻璃瓶、咖啡渣、塑料袋、旧报纸、锂电池）分别归入厨余、可回收、有害、其他四类垃圾桶，并输出每步操作的机器人动作指令。")。
关键点：该请求会自动触发模型内置的Google Search工具调用，实时获取本地规则；若未联网或禁用工具，模型将返回错误而非幻觉结果。
方法二：带多模态上下文的增强推理
准备一张含5个物品的实拍图（JPG/PNG，≤20MB）→ 使用 genai.upload_file() 上传并获取 file_uri → 将 file_uri 与文字指令一同传入 generate_content() 的 contents 参数，格式为 [{"text": "..." }, {"file_data": {"mime_type": "...", "file_uri": "..."}}]。
此时模型不仅能识别物体类别，还能精确指出每个物品在图像中的像素坐标（用于后续机械臂抓取定位），【缺失图像时模型不会猜测位置，仅返回文本规划】。
解析结构化响应并提取可执行动作
第一步：检查 response.candidates[0].content.parts 是否含 function_call 字段——若有，说明模型已调用外部工具（如搜索、计数API），需先执行对应函数并把结果回填。
第二步：提取最终动作序列：遍历 response.candidates[0].content.parts，筛选出 text 类型内容，按换行符分割后过滤掉空行和非动作描述句（如“根据查询结果…”“综上所述…”）。
第三步：标准化动作为机器人可解析格式：将“把玻璃瓶放进蓝色桶”转为 JSON 结构 {"action": "move_to_bin", "object": "glass_bottle", "target_bin": "recyclable", "pose_2d": [x, y, w, h]}，其中 pose_2d 来自模型返回的 bounding_box 字段（仅当输入含图像时存在）。
注意：模型从不输出电机控制指令，所有 pose_2d 坐标均为图像坐标系，需经相机标定矩阵转换为机器人基坐标系后再下发给执行层。
大量免费API接口：立即使用
涵盖生活服务API、金融科技API、企业工商API、等相关的API接口服务。免费API接口可安全、合规地连接上下游，为数据API应用能力赋能！
