安卓爬虫入门 | 基础知识&工具介绍

没人会为你落泪,所以你才止不住哭泣 ——厄加特 前言 从这一期,我们会开始3-4期的安卓爬虫入门学习。 为什么要做安卓爬虫?web的爬虫我还没学好呢。 因为移动端爬虫有先天的优势: 非实时更新,程序更新后往往会兼容旧版本,我们的爬虫程序不会因升级突然失效,故而程序更稳定 验证码少,移动端为了考虑用户…

安卓逆向 | Protobuf协议逆向和仿真&举个栗子

一、前言 产品有需求要全力满足,产品没有需求创造需求也要满足。 本次的主角是ctrip.com携程。 以它为例子介绍一下非HTTP的通信协议逆向分析及协议仿真。 本文你将了解到Google的逆向分析及协议还原等知识,没关注的盆友关注一下,我们开冲。 二、目标 机票价格接口 三、逆向过程 按照正常的过…

安卓逆向 | Java/Native方法强制调用实现方案(一)

一、前言 书接上回饿了麽APP逆向及爬虫实现详参中,最后没有写完的,三个参数的强制调用生成,欠了这么久,今天来补上,讲一下我怎么用自己的程序调用第三方app中某些方法。 没关注的关注一下,我们开冲! 二、适用场景 在逆向过程中,因为部分参数生成的算法在so中,如果不能或不想对so进行研究,更简单的办…

饿了麽APP逆向及爬虫实现详参

一、前言 今天主要以饿了麽为例,讲解一下APP逆向的大致流程,以及遇到问题的处理办法。 还没关注的朋友,关注我微信公众号“燕幕自安”不迷路。 二、概述 APP逆向的目的是为了了解APP本身的运行逻辑,进行修改或进行还原。涉及到的技术和工具,见下图。 对于抓包我就不详细讲了,不清楚的看一下我之前的文章…

某团外卖H5版本爬虫开发和JS逆向过程

前言 对于一般的H5爬虫,大致需要的技术可参见下图。今天主要以某团外卖为例介绍一下相关技术。 请拿好小本本。Let's Go. 接口逆向 首先,我们用chrome打开网站:http://h5.waimai.meituan.com/。F12打开开发者工具,这时在Network就能看到相关的请求接口了。…

Xposed+JustTrustMe关闭SSL证书验证

前言 这篇文章主要想解决的问题是,在对安卓手机APP抓包时,出现的HTTPS报文通过MITM代理后证书不被信任的问题。(工作中在抓取12306请求时就遇到了这个问题) 之前的推送讲过,通常要抓取HTTPS加密的数据包,一般使用Charles或者Fiddler4代理HTTP请求,配置证书信任后,便可拿…

【爬虫】你需要的反反爬小妙招来啦~

1 前言 作为一名职业的爬虫工程师,每天面对的就是要和目标网站后方的反爬虫工程师斗智斗勇,似乎颇有一种攻城拔寨的感觉,在终于突破层层阻碍之后,“200 OK”将会到来。 在关于反反爬的第一篇文章,我将根据我的经验,先介绍一下基于Headers反爬、基于用户行为反爬,及其相对应的反反爬手段。 2 正文…

HTTPS抓包与手机抓包,看这一篇就够了

点蓝字 关注我 1 前言 关于抓包的话题我之前也写过,这次主要针对HTTPS与手机抓包。最近这方面工作做的不少,一边记录一边分享。 2 正文 01 HTTPS抓包 对于HTTPS的抓包在之前我的文章中也写到过,链接我贴在这里。主要是使用Fiddler4来实现的,上次说过的,这次就不说了,看上面的链接…

【高效】windows小众软件推荐

你不一定要点蓝字关注我 01 摘要 本文主要推荐一些自己实际使用过的windows平台的好用工具,多为小众软件,包括办公和开发使用。 02 正文 搜索神器 Everything 功能:搜索计算机里你不知道之前存在哪里的一个文件,支持模糊搜索和*等匹配 适用:办公和开发 下载地址:百度搜索everyt…