Glasses-to-Social

利用 AI 生成的配文，将智能眼镜拍摄的照片自动转化为社交媒体动态。

概述

该能力构建了一条从智能眼镜（如 Meta Ray-Ban 等）到社交媒体的自动化流程：

1. 用户通过眼镜拍摄照片
2. 照片同步至 Google Drive 指定文件夹
3. Agent 检测新照片，并调用视觉模型进行分析
4. Agent 根据用户的表达习惯与风格草拟发布文案
5. 用户审核确认后，Agent 自动发布

配置

1. 配置 Google Drive 文件夹

在 Google Drive 中创建一个用于存放眼镜照片的共享文件夹：

# 用户在 Google Drive 中创建名为 "Glasses-to-Social" 的文件夹
# 设置共享权限为 "任何拥有链接者均可查看"
# 复制该文件夹的 URL

2. 配置 config.json

在 glasses-to-social/config.json 路径下创建配置文件：

{
  "googleDriveFolderUrl": "https://drive.google.com/drive/folders/YOUR_FOLDER_ID",
  "folderId": "YOUR_FOLDER_ID",
  "downloadPath": "./glasses-to-social/downloads",
  "processedFile": "./glasses-to-social/data/processed.json",
  "defaultHashtags": ["#MedicalAI", "#HealthTech"],
  "autoPost": false
}

3. 配置眼镜自动同步

针对 Meta Ray-Ban 眼镜：

1. 在手机上打开 Meta View 应用
2. 进入 Settings > Gallery，启用 "Import Automatically"
3. iOS 设备：启用 Google Photos 备份（同步 Camera Roll）
4. 创建 iOS 快捷指令，将新拍摄的 Meta 照片自动复制至 Google Drive 指定文件夹

使用方法

手动检查

可向 Agent 发送指令，主动检查新照片：

Check my glasses folder for new photos

自动轮询监控

可通过 cron 定时任务实现周期性检查：

{
  "name": "Glasses-to-Social: Check photos",
  "schedule": {"kind": "cron", "expr": "*/15 * * * *", "tz": "UTC"},
  "payload": {
    "message": "Check the Glasses-to-Social folder for new photos. If found, analyze and draft a tweet."
  }
}

处理流程

当检测到新照片时，执行以下步骤：

1. 使用 gdown 从 Google Drive 下载照片：

   gdown --folder "FOLDER_URL" -O ./downloads/ --remaining-ok
   

2. 比对 data/processed.json 中已处理照片列表

3. 对未处理的新照片调用视觉模型分析：

   • 描述场景或主体内容
   • 识别适用于社交媒体发布的上下文信息
   • 标注图中文字、人物或其他显著元素

4. 按用户语气草拟发布文案：

   • 保持简洁、真实自然
   • 添加相关话题标签（hashtag）
   • 第一人称视角通常更契合眼镜拍摄内容（例如 “Look what I just saw…”）

5. 将草稿发送给用户审批：

   • 附带图片预览
   • 展示建议配文
   • 等待用户回复 “POST” 确认，或提出修改意见

6. 获准后，发布至已配置的平台（如 X/Twitter 等）

7. 在 data/processed.json 中标记该照片为已处理

脚本

check-new-photos.sh

用于检查 Google Drive 文件夹中是否存在新图片：

scripts/check-new-photos.sh

发现新照片时的输出格式示例：

NEW_PHOTO_PATH:/path/to/downloaded/photo.jpg

文件处理记录

已处理照片记录保存于 data/processed.json：

{
  "processed": ["photo1.jpg", "photo2.jpg"],
  "pending": []
}

使用提示

• 第一人称视角（POV）内容表现更佳（例如 “Look what I just saw…”）
• 配文应保持真实自然，避免过度修饰
• 特别适用于会议现场、有趣见闻、日常片段等场景
• 撰写文案时可结合当前时间（如早晚、通勤时段等）增强语境感

依赖要求

• gdown Python 包（用于访问 Google Drive）
• 支持视觉理解的模型（用于图像分析）
• Twitter/X 平台凭据（用于自动发布，可选）