通过本地 Crawl4AI 实例进行支持 JavaScript 渲染的完整网页抓取，输出整洁的 Markdown 或包含链接及媒体的详细 JSON。
Crawl4AI Web Scraper.
功能概述
Crawl4AI Web Scraper.是一项面向实际任务的技能，主要用于Local Crawl4AI 用于 JavaScript 渲染的完整网页提取实例.；Endpoints.Proxy (port 11234) – clean 输出, OpenWebUI 兼容.；
核心要点
- Returns: [{page content, me]。
- 它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。
- 使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。
使用与执行
从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。
结果检查与注意事项
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。该技能适合用于一次性任务，也可以接入自动化工作流，与其他技能或上层代理配合完成更完整的业务链路；在组合使用时，应明确每一步的输入输出关系，并避免不同步骤之间出现参数冲突。
Crawl4AI 网络爬虫
本地运行的 Crawl4AI 实例，支持完整网页提取及 JavaScript 渲染。
端点
代理模式（端口 11234） — 输出干净、兼容 OpenWebUI
- 返回值：
[{page_content, metadata}] - 适用场景：简单内容提取
直连模式（端口 11235） — 返回完整数据
- 返回值：
{results: [{markdown, html, links, media, ...}]} - 适用场景：需获取链接、媒体资源或其他元数据时
使用方法
# 通过脚本调用
node {baseDir}/scripts/crawl4ai.js "url"
node {baseDir}/scripts/crawl4ai.js "url" --json
脚本选项：
--json— 返回完整 JSON 响应
输出结果： 页面提取出的干净 Markdown 内容。
配置
必需的环境变量：
CRAWL4AI_URL— 您的 Crawl4AI 实例地址（例如：http://localhost:11235）
可选环境变量：
CRAWL4AI_KEY— 若您的实例启用了身份验证，则需提供 API 密钥
功能特性
- JavaScript 渲染支持 — 可处理动态生成的内容
- 无使用限制 — 本地部署，不设 API 调用限额
- 全量内容提取 — 包含 HTML、Markdown、链接、媒体资源、表格等
- 在含 JavaScript 的复杂页面上表现优于 Tavily
API
调用您本地 Crawl4AI 实例的 REST API。仅当设置了 CRAWL4AI_KEY 时，才会发送认证请求头（Auth header）。
相关专题
本专题介绍Gradle插件开发的基本流程，涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法，帮助你理解插件如何组织构建逻辑，减少多个项目之间的重复配置。
2026.10.22
0
11
本专题介绍Gradle Wrapper的基本作用，涵盖文件组成、生成方法、版本配置和任务调用，帮助你理解项目如何使用指定的Gradle版本，减少不同开发环境带来的构建差异。
2026.10.22
0
10
本专题整理Golangci-lint常用Linters的用途与配置方法，覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查，帮助项目合理选规则。
2026.10.22
0
15
本专题介绍Gradle Java项目构建方法，涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查，帮助你理解各阶段的任务关系，逐步完成项目构建。
2026.10.22
0
10
本专题汇总PHP常见时间戳漏洞，包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等，并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案，帮助开发者快速排查和加固时间相关代码。
2026.10.22
0
25
本专题聚焦Golangci-lint YAML配置文件，讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置，便于团队统一检查标准。
2026.10.22
0
15
本专题讲解Golangci-lint的安装、初始化、基础命令和首次代码检查，覆盖本地环境、Docker及多平台用法，帮助Go开发者快速上手。
2026.10.22
0
15
PHP2Shell漏洞是什么，哪些PHP版本和运行环境会受到影响，服务器应该如何检测与修复？本专题提供版本自查脚本、Linux与Docker升级命令、PHP-FPM和Apache排查步骤，以及修复验证、临时缓解和应急响应方案。
2026.10.22
0
12
热门下载
相关下载
精品课程
共6课时 | 54.7万人学习
共89课时 | 134万人学习
共49课时 | 82.5万人学习
最新文章