如何在 Crawl4AI v0.7+ 中正确配置与使用 LLMConfig-Python教程-PHP中文网

如何在 Crawl4AI v0.7+ 中正确配置与使用 LLMConfig

本文详解 Crawl4AI 0.7.x 版本中 LLMConfig 的用法，涵盖初始化方式、与 LLMExtractionStrategy 的集成规范、常见报错（如 LLM Provider NOT provided）的根源及修复方案，并提供 Groq、Ollama 等主流后端的完整可运行示例。

本文详解 crawl4ai 0.7.x 版本中 `llmconfig` 的用法，涵盖初始化方式、与 `llmextractionstrategy` 的集成规范、常见报错（如 `llm provider not provided`）的根源及修复方案，并提供 groq、ollama 等主流后端的完整可运行示例。

自 Crawl4AI v0.7 起，框架对 LLM 集成层进行了统一重构：原分散于策略类中的 provider、api_token、api_base 等参数被正式收归至独立的 LLMConfig 对象中。这一设计不仅提升了配置一致性，也与底层 litellm 抽象层深度对齐——LLMConfig 本质是 litellm 模型调用参数的语义化封装，其 provider 字段必须严格匹配 litellm 所支持的模型标识符（如 "groq/grok-chat"、"ollama/llama3"），否则将触发 BadRequestError。

✅ 正确初始化 LLMConfig

LLMConfig 是一个数据类（@dataclass），需显式传入 provider 和认证凭据。注意：

provider 格式为 "vendor/model-name"（如 "groq/grok-chat"、"openai/gpt-4o"、"ollama/phi3"）；
api_token 用于 Groq、OpenAI 等云服务；本地 Ollama 则可设为任意非空字符串（如 "ollama"）；
若 Ollama 运行在非默认地址（http://localhost:11434），必须通过 api_base 显式指定。

from crawl4ai import LLMConfig
import os

# ✅ Groq 示例（需设置 GROQ_API_KEY）
llm_config_groq = LLMConfig(
    provider="groq/grok-chat",
    api_token=os.getenv("GROQ_API_KEY"),
)

# ✅ Ollama 示例（本地部署，端口默认）
llm_config_ollama = LLMConfig(
    provider="ollama/llama3",
    api_token="ollama",  # 占位符，Ollama 不校验 token
    api_base="http://localhost:11434/v1",  # 必须显式声明，否则 fallback 到 OpenAI 地址
)

⚠️ 常见错误：`LLM Provider NOT provided`

你遇到的报错：

litellm.BadRequestError: LLM Provider NOT provided. Pass in the LLM provider you are trying to call.
You passed model=grok/grok-chat

根本原因在于：LLMConfig.provider 值未被正确解析为 litellm 可识别的模型标识。典型诱因包括：

provider 字符串格式错误（如写成 "grok-chat" 缺少 vendor 前缀）；
LLMConfig 实例未被传入策略，而是错误地将 provider 直接作为字符串传给 LLMExtractionStrategy；
环境变量冲突（如 OPENAI_API_KEY 存在时，litellm 可能误判为 OpenAI 请求）。

✅ 正确集成方式（关键：llm_config= 参数）：

from crawl4ai import LLMExtractionStrategy
from pydantic import BaseModel

class Product(BaseModel):
    name: str
    price: float
    description: str

INSTRUCTION_TO_LLM = "从网页内容中精准提取商品名称、价格和描述，严格按 JSON Schema 输出。"

llm_strategy = LLMExtractionStrategy(
    llm_config=llm_config_groq,  # ✅ 必须传入 LLMConfig 实例，不可传字符串！
    schema=Product.model_json_schema(),
    extraction_type="schema",
    instruction=INSTRUCTION_TO_LLM,
    chunk_token_threshold=1000,
    apply_chunking=True,
    input_format="markdown",
    extra_args={"temperature": 0.0, "max_tokens": 800},
)

? 完整端到端示例（含异步爬取 + LLM 提取）

import asyncio
from crawl4ai import AsyncWebCrawler, LLMConfig, LLMExtractionStrategy
from crawl4ai.async_configs import CrawlerRunConfig
from pydantic import BaseModel

class Product(BaseModel):
    name: str
    price: str
    rating: float

async def main():
    # 1. 配置 LLM（以 Ollama 为例）
    llm_config = LLMConfig(
        provider="ollama/phi3",
        api_token="ollama",
        api_base="http://localhost:11434/v1"
    )

    # 2. 构建 LLM 提取策略
    strategy = LLMExtractionStrategy(
        llm_config=llm_config,
        schema=Product.model_json_schema(),
        instruction="仅提取商品名称、标价和用户评分（0–5 分），忽略所有其他字段。",
        input_format="markdown"
    )

    # 3. 启动爬虫并执行
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(
            url="https://example-shop.com/product/123",
            config=CrawlerRunConfig(
                extraction_strategy=strategy,
                cache_mode="default",
                timeout=30
            )
        )
        print(result.extracted_content)  # 输出结构化 JSON 字符串

if __name__ == "__main__":
    asyncio.run(main())

? 调试建议

启用 litellm 日志定位问题：

import litellm
litellm.set_verbose = True  # 输出完整请求/响应链路

验证 Ollama 模型是否就绪：

curl http://localhost:11434/api/tags  # 应返回已拉取的模型列表

使用 crawl4ai-doctor 检查环境兼容性（确保 litellm>=1.49.0）。

总结：LLMConfig 是 Crawl4AI v0.7+ 的 LLM 配置中枢，其 provider 必须遵循 litellm 的标准命名规范，且必须作为对象传入策略类。跳过此步骤或格式错误将直接导致模型调用失败。掌握这一范式，即可无缝对接 Groq、Ollama、OpenAI、Claude 等全部 litellm 支持的后端，构建真正自主可控的 AI 数据管道。