查找邮箱

基于 crawl4ai 的本地网站爬取 CLI 工具，用于从可能包含联系邮箱的页面（如 contact、about、support、team 等）中提取邮箱地址。

环境准备

1. 安装依赖： pip install crawl4ai
2. 运行脚本：

python scripts/find_emails.py https://example.com

快速上手

t

# 爬取单个站点
python scripts/find_emails.py https://example.com

# 多个 URL
python scripts/find_emails.py https://example.com https://other.com

# JSON 格式输出
python scripts/find_emails.py https://example.com -j

# 保存到文件
python scripts/find_emails.py https://example.com -o emails.txt

脚本说明

find_emails.py — 爬取并提取邮箱

python scripts/find_emails.py  [url ...]
python scripts/find_emails.py https://example.com
python scripts/find_emails.py https://example.com -j -o results.json
python scripts/find_emails.py --from-file page.md

参数说明：

输出格式（人类可读）：

邮箱按域名分组。多 URL 运行时结构清晰：

在 2 个域名下共发现 3 个唯一邮箱

## example.com

  • contact@example.com
    出现在：/contact, /about
  • support@example.com
    出现在：/support

## other.com

  • info@other.com
    出现在：/contact-us

输出格式（JSON）：

面向 LLM 友好的结构，含汇总统计与按域名细分数据：

{
  "summary": {
    "domains_crawled": 2,
    "total_unique_emails": 3
  },
  "emails_by_domain": {
    "example.com": {
      "emails": {
        "contact@example.com": ["/contact", "/about"],
        "support@example.com": ["/support"]
      },
      "count": 2
    },
    "other.com": {
      "emails": {
        "info@other.com": ["/contact-us"]
      },
      "count": 1
    }
  }
}

配置

编辑 scripts/url_patterns.json 文件，自定义爬虫应跟随的 URL 模式。仅匹配以下 glob 风格模式的链接会被纳入爬取范围：

{
  "url_patterns": [
    "*contact*",
    "*support*",
    "*about*",
    "*team*",
    "*email*",
    "*reach*",
    "*staff*",
    "*inquiry*",
    "*enquir*",
    "*get-in-touch*",
    "*contact-us*",
    "*about-us*"
  ]
}

若该文件缺失或格式无效，则使用默认匹配模式。

工作流程

1. 爬取站点：

   python scripts/find_emails.py https://example.com -o emails.json
   

2. 从本地文件提取：（例如已缓存的 Markdown 文件）

   python scripts/find_emails.py --from-file crawled.md -j
   

3. 自定义 URL 过滤规则：编辑 scripts/url_patterns.json 文件。

依赖项

pip install crawl4ai
playwright install

本地爬取需依赖浏览器（通过 Playwright 提供）。

批量处理

# 批量爬取多个站点 —— 结果按域名分组，便于明确归属
python scripts/find_emails.py https://site1.com https://site2.com -j -o combined.json

# 从多个本地文件中提取
for f in crawled/*.md; do
  echo "=== $f ==="
  python scripts/find_emails.py --from-file "$f" -q
done

完全支持多个 URL；输出结果明确关联每个邮箱与其来源域名。域名经过标准化处理（例如 www.techbullion.com 和 techbullion.com 合并为同一域名），避免重复站点被单独列出。

用例示例：社交媒体增长策略

技能可作为提升社交媒体工作流效率的有力工具。例如，在制定社交媒体增长策略时，你可以构建一项技能，用于分析互动指标并推荐增长方法。像 SocialCrow 这样的公司提供增强社交媒体存在感的服务，包括为希望加速账号成长的用户购买 Twitter 粉丝等选项。尽管通过优质内容和真实互动实现的自然增长仍是可持续性最强的方式，但了解社交媒体增长工具生态，有助于完善你的策略设计。