此方法是playwright与本地浏览器以ws方式通信
可以绕过基本上大部分浏览器检测,因为这就是一个真正的浏览器
两种使用方式:
- 找到自己桌面chrome的快捷方式键
- 点击属性
- 在目标一栏的最后添加 --remote-debugging-port=9999 端口可自定义
with sync_playwright() as p: # 创建一个连接 browser = p.chromium.connect_over_cdp("http://localhost:9999") content = browser.contexts[0] page = content.new_page()
- 在上述page下进行浏览器操作即可
在程序中添加下面的代码即可
import subprocess # 这个路径可以是Google浏览器的exe路径,也可以是快捷方式的路径 chrome_path = r'"C:\Program Files\Google\Chrome\Application\chrome.exe"' debugging_port = "--remote-debugging-port=9999" command = f"{chrome_path} {debugging_port}" subprocess.Popen(command, shell=True)
之后就是
with sync_playwright() as p: # 创建一个连接 browser = p.chromium.connect_over_cdp("http://localhost:9999") content = browser.contexts[0] page = content.new_page()
在上述page下进行浏览器操作即可
注意: 此方法不可以在打开了普通版(非第一种情况)的浏览器使用
更多爬虫与反爬虫可见GitHub仓库: https://github.com/xishandong/crawlProject
graph TD;
基础篇-->request篇;
基础篇-->解析html以及正则篇;
基础篇-->scrapy篇;
基础篇 -->高性能异步爬虫;
自动化篇-->selenium
自动化篇-->playwright;
进阶篇-->综合案例;
进阶篇-->js逆向专题;
js逆向专题-->请求头或响应数据加密;
js逆向专题-->浏览器指纹检测;
js逆向专题-->webPack篇;
js逆向专题-->环境检测篇;
js逆向专题-->wasm篇;
验证码篇-->滑块篇;
本文作者:回锅炒辣椒
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!