Lowyat 论坛研究工具

端到端研究流程：搜索 → 爬取 → 分析

工作流

步骤 1：理解用户的研究主题

• 如有必要，提出澄清性问题（例如，用户具体想了解哪些方面）
• 将主题拆解为 3–5 种搜索关键词变体

步骤 2：搜索相关帖子

• 使用 WebSearch 并配合 site:forum.lowyat.net 查找帖子
• 使用 allowed_domains: ["forum.lowyat.net"] 过滤搜索结果
• 以不同关键词角度并行执行多次搜索
• 向用户提供最相关的帖子，含标题与 URL
• 由用户自主选择需爬取的帖子，或由你推荐最优选项

步骤 3：爬取选定的帖子

• 爬虫脚本（datascraping.py）应位于项目根目录下
• 安装 Python 依赖项：

pip install requests beautifulsoup4 html5lib openpyxl tqdm

若已安装 uv，则可运行：

uv sync

• 对每个帖子分别运行爬虫：

python datascraping.py 

• 重要提示：URL 中请勿包含 /all 或 /+N 后缀 —— 仅使用基础主题 URL（例如：https://forum.lowyat.net/topic/5411252）
• 如需爬取多个帖子，请顺序执行（一次一个），以尊重服务器负载。仅当用户明确要求提速时，才允许最多并行运行 3 个任务，并使用 & 与 wait 控制
• 输出文件为 .xlsx，列名包括：Name、Date、Comment

步骤 4：分析爬取的数据

• 读取已爬取的 .xlsx 文件，理解论坛讨论内容
• 综合所有帖子的发现，生成结构化摘要
• 按用户原始研究问题组织洞察结论
• 涵盖内容应包括：共识观点、品牌推荐、价格区间、风险提示及具体用户使用体验
• 在必要时注明观点出处（来自哪个帖子 / 哪位用户）

爬虫细节说明

• 论坛每页显示 20 条回复，分页通过 URL 中的 /+N 后缀实现
• 爬虫自动检测总页数并完整抓取全部页面
• 页面请求之间加入 0.5–2 秒的随机延迟
• 每完成一页即增量保存 —— 可安全中断并后续恢复
• 若目标 .xlsx 文件已存在，则以追加方式继续写入

高效搜索小贴士

• 使用品牌名称：site:forum.lowyat.net Toto toilet
• 同时使用马来语关键词：site:forum.lowyat.net kipas exhaust tandas
• 添加“recommendation”或“review”等词：site:forum.lowyat.net water heater recommendation
• 按地理位置搜索：site:forum.lowyat.net bathroom shop KL Selangor
• 添加年份限定提升时效性：site:forum.lowyat.net smart toilet 2024 2025

使用示例

用户：“我想研究 Lowyat 上关于机械键盘的信息”

1. 使用如下关键词组合进行搜索：mechanical keyboard recommendation、cherry mx switch、keychron Malaysia、custom keyboard
2. 向用户展示排名靠前的帖子
3. 并行爬取用户选定的帖子
4. 读取生成的 xlsx 文件并提供分析：热门品牌、价格区间、购买渠道、常见投诉等

相关链接

• GitHub：github.com/superoo7/lowyat-forum-research
• ClawHub：clawhub.ai/superoo7/lowyat-forum-research

免责声明

爬取的数据包含 forum.lowyat.net 上公开可见的用户名、发帖日期及评论内容。本工具仅供个人研究用途。用户须自行负责所爬取数据的存储、分享与使用方式，并确保符合适用的隐私法律及 Lowyat 论坛的服务条款。