数据采集攻防录（三）：基于 HTTP/2 协议指纹识别与无头浏览器（Headless Browser）伪装实战

import asyncio
from playwright.async_api import async_playwright

# 代理配置 (使用 Novproxy 静态/动态住宅代理网关)
PROXY_SERVER = "http://gateway.novproxy.com:8080"
PROXY_USER = "your_username"
PROXY_PASS = "your_password"

async def run_stealth_browser():
    async with async_playwright() as p:
        # 1. 启动 Chromium 实例，并注入掩盖 Headless 特征的启动参数
        browser = await p.chromium.launch(
            headless=True,
            proxy={
                "server": PROXY_SERVER,
                "username": PROXY_USER,
                "password": PROXY_PASS,
            },
            args=[
                "--disable-blink-features=AutomationControlled", # 核心：移除自动化标记
                "--disable-dev-shm-usage",
                "--no-sandbox",
                "--use-gl=desktop",                              # 启用硬件加速仿真，避免 SwiftShader 特征
            ]
        )

        # 2. 创建上下文并初始化真实浏览器环境参数
        context = await browser.new_context(
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
            viewport={'width': 1920, 'height': 1080},
            locale="en-US",
            timezone_id="America/New_York" # 时区需与代理 IP 的实际地理位置对齐，避免时区冲突
        )

        page = await context.new_page()

        # 3. 注入 JavaScript 脚本，在页面加载前修补 Context 对象
        await page.add_init_script("""
            // 抹去 navigator.webdriver
            Object.defineProperty(navigator, 'webdriver', {
                get: () => undefined
            });
            // 补全 window.chrome 属性
            window.chrome = {
                runtime: {}
            };
            // 伪造语言列表
            Object.defineProperty(navigator, 'languages', {
                get: () => ['en-US', 'en']
            });
        """)

        # 访问测试节点查看渲染效果
        await page.goto("https://bot.sannysoft.com/", wait_until="networkidle")
        
        # 截图留存验证
        await page.screenshot(path="stealth_result.png", full_page=True)
        print("页面渲染完成，截图已保存。")

        await browser.close()

if __name__ == "__main__":
    asyncio.run(run_stealth_browser())

                    ┌─────────────────────────┐
                    │     任务调度中心 (Task)  │
                    └────────────┬────────────┘
                                 │
                  ┌──────────────┴──────────────┐
                  │ 针对普通 API / 低风控目标    │ 针对高难度 / 复杂 JS 渲染目标
                  ▼                             ▼
       ┌────────────────────┐        ┌────────────────────┐
       │ HTTP 库指纹伪装    │        │ 无头浏览器 Stealth │
       │ (curl_cffi / Go)   │        │ (Playwright / CDP) │
       └──────────┬─────────┘        └──────────┬─────────┘
                  │                             │
                  └──────────────┬──────────────┘
                                 │ HTTP / Socks5
                                 ▼
                    ┌──────────────────────────┐
                    │    Novproxy 代理网关      │
                    │ (动态住宅 / 静态 ISP)     │
                    └────────────┬─────────────┘
                                 ▼
                    ┌──────────────────────────┐
                    │    目标网站 Web 风控      │
                    └──────────────────────────┘