Look

Look 搭建起物理世界与数字智能体之间的桥梁——它接收用户提供的图像，推断用户可能希望对该图像执行的操作，并跨多个领域生成经过验证、可直接用于决策的「操作草案」（ActionDraft），涵盖日历事件、餐食宏量营养素估算、地点信息、商品比价、发票识别、文档处理以及市政事务报告等场景。Look 在向用户提出任何澄清问题之前，会先通过外部调研与选项收敛来消除歧义；且所有操作均需用户对每一份草案进行显式确认后方可执行。

适用场景

• 宣传单页或海报 → 生成日历事件或购票草案
• 餐食照片 → 宏量营养素（macro）估算
• 店铺门面或招牌 → 加入「待尝试清单」（try-list）
• 商品照片 → 价格比价或下单草案
• 市政问题照片（如路面破损、涂鸦）→ 生成 311 报告草案
• 发票照片 → 生成费用记账条目
• 文档照片 → 转为可搜索 PDF 并生成归档草案

本技能不支持的功能

• 通用 OCR 工具
• 通用计算机视觉工具包
• 后台监控或持续追踪
• 通用自动化框架

责任边界

Look 负责「图像到操作」的端到端转换：包括图像输入、上下文推断、领域路由、草案生成，以及在获得确认后的执行。

Look 不负责以下模块：网络调研（Sift）、知识图谱写入（Elephas）、用户偏好持久化（Taste）、通信调度（Dispatch）。

支持的领域

事件（Events）、食品宏量营养素（food macros）、地点（places）、商品（products）、市政事务（civic issues）、发票（receipts）、文档（documents）。

详细各领域行为规范请参阅 references/domain_playbooks.md。

核心工作流

1. 摄入图像（含可用的 EXIF 元数据）
2. 融合多源提取证据（OCR 结果、实体识别、上下文线索）
3. 推断图像上下文及用户潜在意图
4. 将任务路由至对应领域模块
5. 调用外部资源开展调研与验证
6. 依据约束条件过滤结果（如饮食限制、用户偏好、权限策略）
7. 在提问前完成选项收敛
8. 生成 1–3 份「决策就绪型」ActionDraft
9. 将提取出的实体（如地点、事件、商品）以 Signal 文件形式输出至：~/openclaw/db/ocas-elephas/intake/{signal_id}.signal.json；Signal 格式定义见 spec-ocas-shared-schemas.md
10. 通过 look.journal 记录本次运行日志

澄清交互仅发生在选项收敛之后，而非之前。

命令列表

• look.ingest.image —— 摄入图像（支持可选 EXIF 及设备预解析）
• look.propose.actions —— 生成带 DecisionRecord 的 ActionDraft
• look.execute.action —— 执行已确认的草案（须经显式授权）
• look.rollback.action —— 对可逆操作尝试回滚
• look.status —— 显示最近一次摄入状态、待确认草案、等待用户确认的条目
• look.config.set —— 更新配置项
• look.journal —— 为当前运行写入日志；每次运行结束时自动调用
• look.update —— 从 GitHub 源拉取最新版本；保留现有日志与数据

确认与回滚规则

• 始终遵循「草案先行」原则：未经用户显式确认，绝不执行任何操作。
• 高风险操作（如购买、提交 311 报告、健康数据写入）：须为每份草案单独提供确认令牌（confirmation token）。
• 可逆操作（如日历添加、地图标注）：须暴露回滚所需信息。

权限管控原则

默认拒绝一切权限请求；仅索取最低必要权限；即使缺失执行权限，草案生成流程仍继续运行；执行被阻断时须明确上报，不得静默跳过。

行为边界

• 绝不虚构 OCR 文本、条形码、价格或车牌号码
• EXIF 中记录的位置 ≠ 事件发生地（venue）
• iOS Relay 预解析结果仅为辅助证据，非事实依据
• 本技能必须能在无 Relay 上传支持的情况下正常运行

存储结构

~/openclaw/data/ocas-look/
  config.json
  state.json
  events.jsonl
  decisions.jsonl
  reports/
  artifacts/

~/openclaw/journals/ocas-look/
  YYYY-MM-DD/
    {run_id}.json

默认 config.json 内容如下：

{
  "skill_id": "ocas-look",
  "skill_version": "2.3.0",
  "config_version": "1",
  "created_at": "",
  "updated_at": "",
  "domains": {
    "events": true,
    "food": true,
    "places": true,
    "products": true,
    "civic": true,
    "receipts": true,
    "documents": true
  },
  "user_profile": {
    "diet": "vegetarian"
  },
  "commerce": {
    "auto_purchase": false
  },
  "retention": {
    "days": 30,
    "max_records": 10000
  }
}

OKR 目标

所有运行均适用 spec-ocas-journal.md 中定义的通用 OKR。

skill_okrs:
  - name: draft_accuracy
    metric: 未经修改即被接受的 ActionDraft 占比
    direction: 最大化
    target: 0.75
    evaluation_window: 30_runs
  - name: domain_routing_accuracy
    metric: 首次尝试即被正确路由至目标领域的图像占比
    direction: 最大化
    target: 0.90
    evaluation_window: 30_runs
  - name: confirmation_compliance
    metric: 高风险操作在执行前完成确认的比例
    direction: 最大化
    target: 1.0
    evaluation_window: 30_runs

可选协同技能

• Sift —— 在草案生成阶段提供网络调研支持，用于验证
• Elephas —— 草案生成完成后，为提取出的实体输出 Signal 文件

日志输出类型

观察日志（Observation Journal）—— 记录全部图像摄入与草案生成过程。

初始化流程

首次调用任意 Look 命令时，自动触发 look.init：

1. 创建 ~/openclaw/data/ocas-look/ 及其子目录（reports/、artifacts/）
2. 若不存在，则写入默认 config.json 和 state.json
3. 创建空 JSONL 文件：events.jsonl、decisions.jsonl
4. 创建 ~/openclaw/journals/ocas-look/
5. 确保 ~/openclaw/db/ocas-elephas/intake/ 存在（缺失则创建）
6. 若尚未注册，则添加 cron 任务 look:update（先执行 openclaw cron list 检查）
7. 将本次初始化记录为一条 DecisionRecord，写入 decisions.jsonl

后台任务

openclaw cron add --name look:update --schedule "0 0 * * *" --command "look.update" --sessionTarget isolated --lightContext true --timezone America/Los_Angeles

自更新机制

look.update 从本文件 frontmatter 中的 source: URL 拉取最新软件包。运行过程静默——仅当版本变更或发生错误时输出信息。

1. 从 frontmatter 读取 source: → 解析 URL 得到 {owner}/{repo}
2. 从本地 skill.json 读取当前版本号
3. 获取远程版本号：gh api "repos/{owner}/{repo}/contents/skill.json" --jq '.content' | base64 -d | python3 -c "import sys,json;print(json.load(sys.stdin)['version'])"
4. 若远程版本号等于本地版本号 → 静默终止
5. 下载并安装：

   TMPDIR=$(mktemp -d)
   gh api "repos/{owner}/{repo}/tarball/main" > "$TMPDIR/archive.tar.gz"
   mkdir "$TMPDIR/extracted"
   tar xzf "$TMPDIR/archive.tar.gz" -C "$TMPDIR/extracted" --strip-components=1
   cp -R "$TMPDIR/extracted/"* ./
   rm -rf "$TMPDIR"
   

6. 若失败 → 重试一次；若二次失败，则上报错误并终止
7. 最终输出严格为：I updated Look from version {old} to {new}

可见性

public

支持文件映射表