某团外卖H5版本爬虫开发和JS逆向过程

2019年9月7日 2 条评论 792 次阅读 3 人点赞
前言
对于一般的H5爬虫,大致需要的技术可参见下图。今天主要以某团外卖为例介绍一下相关技术。

某团外卖H5版本爬虫开发和JS逆向过程

请拿好小本本Let's Go.
某团外卖H5版本爬虫开发和JS逆向过程

接口逆向
首先,我们用chrome打开网站:http://h5.waimai.meituan.com/。F12打开开发者工具,这时在Network就能看到相关的请求接口了。
https://i.waimai.meituan.com/openh5/homepage/poilist?_=1567748863826&X-FOR-WITH=wJG5u4L0%2FwXsZQl6yywmpR7mTa2SIEWNC95eXDKYC%2Fx%2FEU9l9qNSYIQ0AEODBUiocu2a6WaTbRQm5%2BdY4nPRrDNd%2Bvl4dOfqO9JeJH73afJecdD8S3Cgg9r7CrQIKyE2AUe4PkcJsHOTzVT7ujSDeA%3D%3D
其中URL中相关参数就俩:
某团外卖H5版本爬虫开发和JS逆向过程
然后看Body中的参数:
某团外卖H5版本爬虫开发和JS逆向过程
这是我们发现,需要逆向的参数有三个,分别是:UUID、X-FOR-WITH、_token。

参数逆向
先看_token,这个参数一眼望过去就是个base64加密的参数,但是我们尝试base64解密一下,不可见字符。那现在我们来逆一下吧。
首先,看到这个请求的关键字。
某团外卖H5版本爬虫开发和JS逆向过程
然后,设置URL断点。
某团外卖H5版本爬虫开发和JS逆向过程
设置完成以后,勾选。刷新或重新触发请求数据,可以看到,会在发送数据的时候中断。
某团外卖H5版本爬虫开发和JS逆向过程
右边就是调用堆栈,可以从上到下分析一下代码的调用逻辑,我们会找到,在函数default里面,看到了疑似的生成参数的地方。
某团外卖H5版本爬虫开发和JS逆向过程
我们重新在上面打上断点,重新出发请求,程序将停止在我们的断点位置。然后我们跟进上面的_token生成的i函数。
某团外卖H5版本爬虫开发和JS逆向过程
以及调用的reload函数。
某团外卖H5版本爬虫开发和JS逆向过程
我们看到,reload返回的结果由iI函数生成。
某团外卖H5版本爬虫开发和JS逆向过程
而查看,iI函数可以看到,deflate,这是一个压缩算法!那压缩完应该干什么呢,肯定是base64啊!

某团外卖H5版本爬虫开发和JS逆向过程

所以原始数据肯定是经过压缩再base64加密得到的。
我们再“回到最初的起点~”,我们对那串base64解密以后,看到的不可见字符。
某团外卖H5版本爬虫开发和JS逆向过程
这个时候我们不应该放弃的,如果对这个不可见字符,看一下HEX就会发现。
某团外卖H5版本爬虫开发和JS逆向过程
这个78 9C的头太标志了。好了我要把我珍藏多年的秘籍告诉你们一下。

某团外卖H5版本爬虫开发和JS逆向过程

某团外卖H5版本爬虫开发和JS逆向过程
如果之前我先看一下hex我就不用逆向JS了。这用zlib就能解开了啊。我们试一下。
某团外卖H5版本爬虫开发和JS逆向过程
某团外卖H5版本爬虫开发和JS逆向过程
最终看到,的确解开了。其中的sign参数也是一样的办法就能解开。所以对于这种情况我们应该长个记性,看一眼HEX。
某团外卖H5版本爬虫开发和JS逆向过程
再看参数x-for-with
按照刚才一样的办法,我找了半天也没找到这个参数的生成过程,在所有调用过程中,看到的都是不带这个参数的,可是发出去的时候,就加上了。好奇怪啊。
某团外卖H5版本爬虫开发和JS逆向过程
这个图是程序根据我们URL断点断下来的位置。蓦然回首,那人却在灯火阑珊处。我们注意到他发送之前调用到的这个i,里面有个send函数,点进去看一下。
某团外卖H5版本爬虫开发和JS逆向过程
看看上面的hookAjax,恍然大悟啊。怪不得之前没找到,他是修改了原生的收发函数添加的部分参数,我们看到open函数里有添加URL参数的代码,这个w()函数就是参数的名字,我们看一眼。
某团外卖H5版本爬虫开发和JS逆向过程
哎唷,写得这么隐秘,把数字转字符,之前还加个1。事出反常必有妖
某团外卖H5版本爬虫开发和JS逆向过程
我们用python还原一下这个函数(当然也可以把这个代码copy到console执行一下,还更快,我就是show一下我不光会逆向,我的代码也写得6)
某团外卖H5版本爬虫开发和JS逆向过程
bingo!
好了那这个w()函数所对应的值就是我们要的了,再看刚才那张图。
某团外卖H5版本爬虫开发和JS逆向过程
这个h()函数就是我们要找的。
某团外卖H5版本爬虫开发和JS逆向过程
这下很明显了,加密算法,key,iv,模式,填充都有了。
某团外卖H5版本爬虫开发和JS逆向过程
某团外卖H5版本爬虫开发和JS逆向过程
具体待加密的内容我没有详细讲,相信你要是自己断点跑一下,一定看的一清二楚。
某团外卖H5版本爬虫开发和JS逆向过程
至于UUID的算法还原,我就没截图了,留给各位尝试一下吧。大致是每一部分都有一个生成算法,几部分拼接而成,找到的可以评论交作业。

 

梳理一下
我们这次主要介绍了F12的网络报文分析和断点调试功能,一般H5的爬虫逆向,主要也是以下几个步骤。
某团外卖H5版本爬虫开发和JS逆向过程
这次的例子中我们没有涉及到复杂的算法,否则我们逆不出来的时候,也需要把js拿出来在其他环境直接调用,当js包含大量浏览器环境的时候,还需要用webdriver把js加载起来调用。
当然你在做的过程中,cookie参数生成遇到问题,或者让你拿到数据之后,你还会遇到字符加密等其他问题,也可以与我交流。

某团外卖H5版本爬虫开发和JS逆向过程

以上。欢迎阅读转发~

如有问题,请关注公众号回复【作者】获取我的联系方式。

想了解更多技术分享,请长按识别下方二维码关注我吧。

某团外卖H5版本爬虫开发和JS逆向过程

 

admin

这个人太懒什么东西都没留下

文章评论(2)

  • hex

    看 HEX 是什么工具?

    2019年11月29日
    • admin

      @hex 是notepad++得hex插件 这种工具很多的

      2019年12月31日