本文详解如何解决使用 selenium 或 undetected_chromedriver 访问印度公司事务部（mca）官网时发生的意外自动跳转首页问题，涵盖检测机制分析、规避 headless 模式识别、启动参数优化等实战方案。
本文详解如何解决使用 selenium 或 undetected_chromedriver 访问印度公司事务部（mca）官网时发生的意外自动跳转首页问题，涵盖检测机制分析、规避 headless 模式识别、启动参数优化等实战方案。
在使用 undetected_chromedriver（或标准 Selenium + ChromeDriver）访问 https://www.php.cn/link/3dad37c2a74883d5adb5b795795223ed 下特定子页面（如 /content/mca/global/en/mca/master-data/MDS.html）时，常出现未触发任何显式跳转逻辑却强制重定向至首页的现象——而手动在常规浏览器中打开完全正常。这并非网络错误或验证码拦截（你已确认可绕过 CAPTCHA），而是目标网站部署了前端反自动化检测机制，重点识别并阻断无头（headless）浏览器环境。
? 根本原因：Headless 暴露与指纹特征
MCA 官网（基于 Adobe Experience Manager 构建）集成了成熟的 Bot Detection 能力，会通过以下方式识别自动化浏览器：
- 检查 navigator.webdriver 属性（Selenium 默认为 true）；
- 读取 window.chrome、permissions API 可用性等非标准对象；
- 判断 headless 状态（如 navigator.userAgent 中含 "HeadlessChrome"，或 matchMedia('(prefers-reduced-motion)') 异常）；
- 验证 plugins.length、mimeTypes.length 等浏览器插件/类型列表是否为空（headless 模式下常为 0）。
访问 https://www.php.cn/link/6b0ab2d0945961752b9de5eab588bcb5 即可验证当前驱动是否被标记为 headless —— 若显示 “Yes, you are headless”，即为问题根源。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
✅ 推荐解决方案：启用有头模式 + 指纹增强
避免使用 headless=True，改用 有头（headful）模式运行，并配合关键启动参数与运行时补丁：
import undetected_chromedriver as uc
from selenium.webdriver.chrome.options import Options
# 配置 Chrome 选项（禁用自动化特征暴露）
options = Options()
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
options.add_argument("--disable-blink-features=AutomationControlled") # 关键：隐藏自动化标识
options.add_argument("--disable-extensions")
options.add_argument("--disable-gpu")
# 启动有头浏览器（不加 --headless）
driver = uc.Chrome(
options=options,
use_subprocess=True, # 更稳定
)
# 运行时覆盖 navigator.webdriver（必须在页面加载前执行）
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
'source': '''
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
});
// 修复 plugins 和 mimeTypes（模拟真实浏览器）
const originalPlugins = navigator.plugins;
const originalMimeTypes = navigator.mimeTypes;
Object.defineProperty(navigator, 'plugins', {
get: () => originalPlugins || [1, 2, 3],
});
Object.defineProperty(navigator, 'mimeTypes', {
get: () => originalMimeTypes || [1, 2, 3],
});
'''
})
# 此时再访问目标 URL，重定向概率大幅降低
driver.get("https://www.php.cn/link/3dad37c2a74883d5adb5b795795223ed/content/mca/global/en/mca/master-data/MDS.html")
print("Current URL:", driver.current_url) # 验证是否仍停留在目标页
# 建议：添加显式等待代替 time.sleep()
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
try:
WebDriverWait(driver, 15).until(EC.presence_of_element_located((By.TAG_NAME, "body")))
except:
print("页面加载异常，可能仍被重定向")
driver.quit()
⚠️ 注意事项与进阶建议
- 切勿依赖 time.sleep()：它无法保证页面状态稳定，应改用 WebDriverWait 显式等待关键元素。
- 禁用 --headless 是关键前提：即使配置了所有指纹补丁，headless 模式仍极易被高级检测脚本捕获。
- User-Agent 不必强行伪造：undetected_chromedriver 默认使用真实 UA；若手动设置，请确保与实际 Chrome 版本匹配，否则反而触发风控。
- 考虑代理与会话隔离：若高频访问，建议搭配固定 IP 代理 + 清除 cookies/session 存储，避免因请求指纹累积被限流。
- 替代方案评估：若仍不稳定，可评估合规 Web Scraping API（如 ScraperBox、Bright Data），但需权衡成本与可控性。
综上，解决 MCA 网站自动重定向的核心在于消除 headless 痕迹 + 主动修补浏览器指纹特征，而非仅靠禁用标签或修改 headers。有头模式虽牺牲部分资源效率，却是现阶段最可靠、低维护成本的落地策略。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
