爬虫项目实战

Star History

引言

本文主要探讨python环境下的文件上传请求，包含各种情况以及最终的完美方案

在接到图搜需求的时候，首先抓包看一下图搜的请求是什么样的，看到curl是这个样子的：

原始git链接

INS爬虫

最近有很多朋友发邮件和私信询问ins爬虫的问题，我重新去看了一下，然后把新版更新了一下。

还有由于tls指纹，我讲请求的第三方库调整为tls_client模拟浏览器调用。

出现问题的主要原因是请求头的参数提取有问题，新版的请求头已经不是原来的那个样子了，这样会导致请求的返回是这样的：

json
{'message': 'useragent mismatch', 'status': 'fail'}

前言

现在电商数据采集越来越卷，像shopee这类头号电商平台，web参数已经变成日多更了，对于纯算还原的难度越来越大，一个人的精力是有限的，我们必须寻求一些其他方法获取虾皮的数据。

补环境是一个可行的方案，在补环境之前，我们可以现在浏览器上分析，有些什么参数是虾皮收集的，我们可以在调试之前，先把浏览器框架搭起来，这样方便我们调试也方便我们补环境。