【爬虫】你需要的反反爬小妙招来啦~

2017年11月27日 1 条评论 279 次阅读 0 人点赞
【爬虫】你需要的反反爬小妙招来啦~
1
前言

作为一名职业的爬虫工程师,每天面对的就是要和目标网站后方的反爬虫工程师斗智斗勇,似乎颇有一种攻城拔寨的感觉,在终于突破层层阻碍之后,“200 OK”将会到来。

在关于反反爬的第一篇文章,我将根据我的经验,先介绍一下基于Headers反爬、基于用户行为反爬,及其相对应的反反爬手段。

2
正文
【爬虫】你需要的反反爬小妙招来啦~
基于Headers反爬

对所有请求的Headers进行检查是反爬的第一步,一般情况下,网站的工程师会对所有请求的头部进行检查,疑似爬虫的请求都将被丢弃或返回400。常见的检查项有:User-AgentReferer其他

【User-Agent】:对User-Agent的检查一般是为了鉴别请求发出使用的工具,比如默认情况下Python requests发出的请求中User-Agent字段都是Python的版本信息,Curl发出的请求中User-Agent字段都是Curl版本信息等,反爬人员只要对其进行匹配,就可以筛掉爬虫程序,正常的用户肯定不是使用这些工具来访问页面的,不是么。

应对手段:要避免被反爬人员识别我们的爬虫程序,那就要进行User-Agent的伪装,几乎所有可以发出HTTP请求的工具都可以指定Headers,比如Python requests模块,在get或者post时,可指定Headers。常用的办法是(这也是我刚Get到的),构建一个UA数组,每次请求由程序随机获取UA。如下。

【爬虫】你需要的反反爬小妙招来啦~

如果上面的办法还是不奏效的话,那就要祭出大招了,将UA的参数改为“Baiduspider+”,基本就妥了。(hahaha)

【Referer】:一般对Referer检查的不对,但是有一些为了防止盗链,会对部分页面进行Referer的判断,比如,页面A只能从页面B点击过来,没有其他途径,那么你的Headers中显示从页面C过来,那保不齐就给你400了。

应对手段:在进行协议模拟和协议仿真的时候,多留点心。出错了看看浏览器真实访问的Referer,copy过来嘛。

【其他】:有一些站点,是会构建特殊参数在Headers里面,如果没有这些参数就不能正常返回。

应对手段:这些参数有可能是固定的,也有可能是上下文获取的或计算得到的,这就需要更多的经验和仔细的分析了。如果是固定的那照抄就好,如果是上下文传过来的,那分析上下文找到参数的来源再模拟即可。如果是计算得来的,那就属于比较难处理的一种了,需要分析和跟踪JS代码获取参数的计算方法,这一部分后面的文章再讲吧。

【爬虫】你需要的反反爬小妙招来啦~
基于用户行为

基于用户行为是个大的分类,里面包括很多种反爬手段,比如某账号频繁多次访问,比如前端判断输入密码是的姿势不对(支付宝判断输入账户密码不符合人类行为会不予登录,比如输入过快,在使用selenium模拟浏览器操作时会遇到类似问题),比如某IP频繁访问等等。这里主要要介绍的是反爬人员针对IP进行筛选,屏蔽频繁访问的IP地址这种手段。

经过潜伏在反爬阵营里的小伙伴透露,在反爬人员观察后端数据时,有时会看到同一个IP短时间里的访问请求UA一直在变。然后他就把这个IP加到了黑名单。

这个UA一直变的,应该是用到了我们前面说到的随机UA的方案,但是,反爬人员又看到IP是不变的,便将其判定为爬虫程序。那如果我们的访问IP也是一直变化啊的呢。

将将将将~

今天的主角出场【HTTP(S)代理】。

HTTP代理:使用代理客户机进行http访问,主要代理浏览器访问网页。

主要的功能有:

1.突破自身IP访问限制,访问国外站点。

2.访问一些单位或团体内部资源,如某大学FTP

3.提高访问速度:通常代理服务器都设置一个较大的硬盘缓冲区,当有外界的信息通过时,同时也将其保存到缓冲区中,当其他用户再访问相同的信息时, 则直接由缓冲区中取出信息,传给用户,以提高访问速度。

4.隐藏真实IP:上网者也可以通过这种方法隐藏自己的IP,免受攻击。

From 百度百科

我们要用到的就是通过代理服务器访问目标站点以达到隐藏真实IP的目的

目前我们用来做爬虫的工具基本都是支持通过配置代理访问的,比如使用Python requests,在get/post请求通过参数proxies配置HTTP代理进行访问,远端将无法辨别你的真实地址(指匿名代理,该场景不使用透明代理)。如下:

【爬虫】你需要的反反爬小妙招来啦~

所以在工作中,我们可能需要大量可用的HTTP代理资源。当然,万能的某宝一定是有卖的,但是要么质量不好,要么卖得太贵。

于是,我用爬虫爬取了网上大量的可用代理,并定时进行可用性验证,生成了自己的高可用高匿HTTP(S)代理池。

【爬虫】你需要的反反爬小妙招来啦~

有福同享,我将我的爬虫部署在了百度云服务器,然后由微信公众号访问获得并下发给各位。

现在,只要关注我,在后台回复 代理 即可获得最新更新的10条高匿代理资源。如果你需要更大量的数据,请私下与我联系。

对于HTTPS代理是否有效,可以在 百度搜索 ip 进行测试。如下。

【爬虫】你需要的反反爬小妙招来啦~

3
最后

关于反反爬我会根据自己的成长和经验一直写下去,希望感兴趣的朋友关注。

重申一下:在后台回复 代理 即可获得最新更新的10条高匿代理资源。另外,回复 目录 可看到提供的各项功能。

Over~


      非经过本人同意,严禁转载。

        如有问题,请关注公众号回复【作者】获取我的联系方式。

【爬虫】你需要的反反爬小妙招来啦~

 

admin

这个人太懒什么东西都没留下

文章评论(1)

  • admin

    :wink: thx!

    2019年7月9日