ThinkPHP抓取页面模型详解:从原理到实战应用的最佳实践-ThinkPHP-PHP中文网

thinkphp中应封装独立抓取服务类（如app\service\httpfetcher），而非在控制器裸写curl；需支持超时、ua、重试、状态校验及html解析清洗，并对接数据库去重存储。

thinkphp抓取页面模型详解:从原理到实战应用的最佳实践

你需要在ThinkPHP项目中稳定、可控地抓取外部网页内容，完成数据采集、信息聚合或接口代理等任务，而不是依赖不可靠的第三方服务或裸写curl。

理解ThinkPHP中页面抓取的本质

ThinkPHP本身不内置“页面抓取”模块，它只提供底层HTTP客户端能力（如think\facade\Http）和扩展机制。所谓“抓取页面模型”，实际是开发者基于框架规范封装的一套可复用、可配置、可拦截的请求处理类，不是框架原生Model概念中的数据库模型。

直接在控制器里写file_get_contents或new \curl_init()会导致逻辑散乱、无法统一处理超时/重试/UA/代理，后续加日志、限流、缓存时必须全局搜索修改。

【必须将抓取逻辑从控制器剥离，封装为独立的服务类或模型类】，命名建议为App\Service\HttpFetcher或App\Model\PageCrawler，避免与数据库模型UserModel、ArticleModel混淆。

创建可复用的抓取模型类

在app目录下新建service子目录：app/service/HttpFetcher.php

定义基础结构，支持GET/POST、自动UA、默认10秒超时、自动解码gzip：

```php
namespace app\service;

use think\facade\Http;

class HttpFetcher
{
protected $options = [
'timeout' => 10,
'user_agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'verify' => false,
'allow_redirects' => true,
];

public function get($url, $query = []) {
return Http::withOptions($this->options)->get($url, $query);
}

public function post($url, $data = []) {
return Http::withOptions($this->options)->post($url, $data);
}
}
```

这一步完成后，你已拥有了一个比裸curl更安全、可继承、可覆盖选项的基础抓取器。

实战：带错误重试与状态码校验的增强抓取

真实场景中，目标页面可能临时502、DNS失败或返回空内容。不能让一次失败就中断整个采集流程。

方法一：在HttpFetcher中增加retry机制

在get方法内加入最多3次重试，每次间隔随机1~3秒：

```php
public function get($url, $query = []) {
$attempts = 0;
$maxRetries = 3;
do {
try {
$response = Http::withOptions($this->options)->get($url, $query);
if ($response->getStatusCode() === 200 && !empty($response->getBody())) {
return $response;
}
} catch (\Exception $e) {
// 捕获连接异常、超时等
}
$attempts++;
if ($attempts usleep(rand(1000000, 3000000)); // 随机休眠1~3秒
}
} while ($attempts throw new \RuntimeException("Failed to fetch {$url} after {$maxRetries} attempts");
}
```

方法二：使用中间件式拦截（推荐用于全站统一策略）

创建app/middleware/HttpFetchRetry.php，注册到全局中间件或特定路由组，在发起请求前自动注入重试逻辑，无需修改每个fetcher调用点。

btpanel phpsite 宝塔面板PHP网站

宝塔面板 PHP 网站管理：站点创建、删除、启停、PHP 版本切换、域名管理、SSL证书管理、伪静态管理、数据库管理

下载

【注意：重试不适用于POST请求，重复提交会造成业务异常】，该逻辑仅应作用于GET类采集行为。

解析HTML并提取结构化数据

抓取成功后，原始HTML需转为DOM对象才能精准定位标题、列表、价格等字段。ThinkPHP不绑定任何HTML解析器，需自行引入。

第一步：通过Composer安装simple_html_dom（轻量、无依赖）

```bash
composer require sunra/php-simple-html-dom-parser
```

第二步：在fetcher中集成解析能力

```php
use Sunra\PhpSimple\HtmlDomParser;

// 在get方法返回前追加：
$html = $response->getBody();
$dom = HtmlDomParser::str_get_html($html);
if ($dom) {
$title = $dom->find('title', 0)?->plaintext ?? '';
$items = [];
foreach ($dom->find('.product-item') as $el) {
$items[] = [
'name' => $el->find('.name', 0)?->plaintext ?? '',
'price' => $el->find('.price', 0)?->plaintext ?? '',
];
}
return ['title' => $title, 'items' => $items];
}
```

第三步：对解析结果做清洗——去除空白、截断超长文本、过滤script/style标签残留

这一步不能省略。未清洗的HTML片段直接入库或渲染，可能引发XSS或存储异常。

对接数据库保存采集结果

第一步：在app/model下创建PageData.php，对应采集结果表think_page_data

```php
namespace app\model;
use think\Model;
class PageData extends Model {
protected $autoWriteTimestamp = true;
}
```

第二步：在采集完成后批量写入

```php
$dataList = $fetcher->getParsedData(); // 假设已封装好解析逻辑
if (!empty($dataList['items'])) {
$model = new \app\model\PageData();
$model->saveAll(array_map(function($item) use ($url) {
return [
'source_url' => $url,
'title' => $dataList['title'],
'item_name' => trim($item['name']),
'item_price' => preg_replace('/[^\d.]/', '', $item['price']),
'created_at' => date('Y-m-d H:i:s'),
];
}, $dataList['items']));
}
```

第三步：为source_url字段添加唯一索引，防止同一页面重复采集写入

执行SQL：
ALTER TABLE `think_page_data` ADD UNIQUE KEY `uk_source_url` (`source_url`);