1. 简介：

enginecrawler 主要在 linux 系统上运行，用于抓取国内外主流搜索引擎返回的 url 内容。与 windows 上的搜索引擎爬虫工具相比，linux 上的选择较少。由于我的电脑是 kali linux，无法运行 windows 软件，我便自行开发了这个小工具。开发这个工具的初衷是，在为厂商进行测试时，发现了一个 web 应用程序的通用型漏洞，需要根据 url 的特征值采集大量 url 并进行批量测试。手动复制粘贴 url 非常繁琐，这时这个工具就大显身手了。

该工具利用多进程并发来提升网页抓取的效率，并且可以自定义模块添加到工具中。目前支持的搜索引擎包括：百度、谷歌、雅虎、Ecosia、Teoma、360、Hotbot。支持直接使用百度或谷歌的高级搜索语法进行搜索。谷歌搜索引擎无需访问国外网站，抓取的数据来自我搭建的谷歌镜像站。

2. 依赖：

pip install -r requirements.txt

3. 使用方法：

选项：

-h, --help 显示此帮助信息并退出

-r RULE, --rule RULE 引擎高级搜索规则

-p PAGE, --page PAGE 搜索引擎返回的页面数

-e ENGINES, --engines ENGINES

git提交前检查

在代码提交 git 前，通过 git diff 对比修改内容，逐文件审查变更点，检测潜在 BUG、隐含风险与可优化项，输出结构化审查报告。当用户表达提交前检查、提交检查、commit 前检查、pre-commit review、提前审查代码、检查一下改动、看看能不能提交等意图时使用此技能。注意：此技能与「代码评审」不同——代码评审在开发完成后结合需求文档与概要设计进行完整度审查，提交前检查是轻量级的基于 git diff 的代码质量把关。

下载

指定以逗号分隔的搜索引擎列表

-o OUTPUT, --output OUTPUT

将结果保存到文本文件中

示例：python EngineCrawler.py -e baidu,yahoo -r 'inurl:php?id=1' -p 10 -o urls.txt

4. 截图：

如果代码有任何不足之处，欢迎提出宝贵意见～

GitHub 项目地址：https://www.php.cn/link/eca85870ec8b6d70a888d143988d8a4b