将任意网站转换为文件系统,自动抓取网站并将页面挂载为 Markdown 文件,可使用 grep、diff、cat 等标准 Unix 命令进行搜索、比较、读取和浏览。
使用 OpenObj 访问任何网站的内容是一项面向实际任务的技能,主要用于页面会自动爬行, 转换为标记下, 并安装为虚拟文件系统, 您可以与标准 Unix 逗号一起探索。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
使用 OpenObj 访问任意网站的内容。系统会自动爬取网页,将其转换为 Markdown 格式,并挂载为一个虚拟文件系统,您可使用标准 Unix 命令进行探索。
本技能中的所有命令均需访问 openobj.com 的网络权限。
所有 SSH 和 curl 命令均需配置 required_permissions: ["full_network"](因其必须连接至 openobj.com)。
首选方式:SSH exec 模式(适用于具备网络访问能力的终端):
# required_permissions: ["full_network"]
ssh {domain}@openobj.com "{command}"
备用方式:通过 curl 调用 HTTP API(适用于沙箱化环境):
# required_permissions: ["full_network"]
curl -s -X POST https://openobj.com/exec
-H 'Content-Type: application/json'
-d '{"site": "{domain}", "command": "{command}"}'
重要提示:若因沙箱限制导致 SSH 失败,请改用 curl HTTP API。两种方式返回结果完全一致。
| 命令 | 说明 |
|---|---|
find /site -type f |
列出所有已索引的页面 |
cat {path} |
读取某页面的 Markdown 内容 |
grep -rl '{term}' /site |
查找包含指定关键词的页面 |
grep -r '{term}' /site |
递归搜索并显示匹配行 |
ls {path} |
列出目录下的文件 |
head -n 20 {path} |
读取文件前 N 行内容 |
wc -l {path} |
统计文件行数 |
git log --oneline |
查看爬取历史记录 |
git diff HEAD~1 |
查看最近一次爬取所发生的变更 |
git show {hash} |
查看某次特定爬取的变更详情 |
openobj rediscover |
强制执行全新爬取 |
# required_permissions: ["full_network"] ssh docs.stripe.com@openobj.com "find /site -type f" ssh docs.stripe.com@openobj.com "grep -rl 'webhook' /site" ssh docs.stripe.com@openobj.com "cat /site/docs/webhooks.md" # 变更追踪 ssh docs.stripe.com@openobj.com "cd /site && git log --oneline" ssh docs.stripe.com@openobj.com "cd /site && git diff HEAD~1" # 强制重新爬取并查看变更 ssh docs.stripe.com@openobj.com "openobj rediscover && cd /site && git diff HEAD~1"
# required_permissions: ["full_network"]
# 列出所有页面
curl -s -X POST https://openobj.com/exec
-H 'Content-Type: application/json'
-d '{"site": "docs.stripe.com", "command": "find /site -type f"}'
# 搜索关键词
curl -s -X POST https://openobj.com/exec
-H 'Content-Type: application/json'
-d '{"site": "docs.stripe.com", "command": "grep -rl webhook /site"}'
# 读取某页面
curl -s -X POST https://openobj.com/exec
-H 'Content-Type: application/json'
-d '{"site": "docs.stripe.com", "command": "cat /site/docs/webhooks.md"}'
find /site -type f 查看所有可用页面grep -rl '{keyword}' /site 查找相关页面cat {path} 读取某页面的完整内容grep -r '{term}' {path} 在特定文件内进一步搜索git log 和 git diff 查看各次爬取之间的差异openobj rediscover 强制执行全新爬取并更新页面openobj rediscover 强制执行全新爬取openobj rediscover 操作,按 每页消耗 1 积分cat、grep、find、ls、git 等命令)始终 免费ssh {any-domain}@openobj.com "openobj credits"ssh auth@openobj.comHTTP API 返回 JSON 格式响应:
{
"stdout": "...",
"stderr": "...",
"exitCode": 0
}
请使用 stdout 字段获取命令输出结果;非零的 exitCode 表示执行出错。
相关专题
热门下载
相关下载
精品课程
共13课时 | 3.7万人学习
共30课时 | 4.5万人学习
共10课时 | 1.5万人学习