网易易盾滑动验证码破解（下篇）

接着上篇文章，我们在这篇文章中将会介绍，如何获取验证码和token,然后计算验证码缺口距离以及模拟轨迹生成等操作。

获取验证码

先看下获取验证码的请求（get请求）：

url=https://c.dun.163.com/api/v2/get?,参数如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

id: 07e2387ab53a4d6f930b8d9a9be71bdf
fp: hiXxMilwZwpb4+sPEBt7K4oMVlNDs1S7S/gSM+3CXwzXT61XEHUGWJ+KRpmQIBeAAaIce9YQE4koUZTctLkYBUU8TKdailKmA4yQBLqLOX/kBhCCeWYo4n6f3hVt91ql4g\52gzqt/95LLSwJLciW6C8pXVTxGxc0HmqhNP/pqrGca+6:1597838263871
https: true
type: 2
version: 2.14.0
dpr: 1
dev: 1
cb: CZU+qZFVc/pqC0dVRuPJJAvHF6vHAvfOaReW7FqVZrpR4cdM9avS/c\qJlBrAeKA
ipv6: false
runEnv: 10
group: 
scene: 
width: 320
token: 
referer: https://dun.163.com/trial/jigsaw
callback: __JSONP_bzmv2ur_0

需要动态变化的参数只有fp参数和cb参数，这里cb参数生成方式其实与我们上篇中的cb是一样的，所以重点是fp参数，也就是fingerprint(指纹)。

网易易盾滑动验证码破解（上篇）

概述

最近简单研究了下网易易盾的滑动验证码，在这里记录下主要思想、步骤和方法等，供以后参考，我会分两篇文章来讲破解过程，此篇虽为上篇，但是其实主要涉及破解的后半部分，这主要与“逆向”一词有关，逆向都是从结果开始往前推敲，直到开头，所以为了更好的理解，我尽量保持与一开始的破解流程一致的方式来写这篇文章。

浏览器调试功能介绍

平时我们在做爬虫的过程中，经常会遇到一些带有js加密的网站,想要破解js,学习使用浏览器的调试功能是必不可少的技能，这篇文章简单讲下如何使用Chrome浏览器的调试功能（主要指Source调试），并且后面简单使用几个例子进行了演示。

Source面板

首先来看一下Source面板，我这里将其分为四个部分：

接下来分别简单讲下这四个部分。

Python的PIL库

python imaging library是Python平台的图像处理标准库，我们在图像处理时不仅可以使用opencv，PIL也是可以的。

1
2
3
4
5
6
7
8
9
10

from PIL import Image

# 打开图片
img = Image.open("123.jpg")
# 获取宽、高
width, height = img.size()
# 获取像素值
r, g, b = img.getpixel((15, 9))
# 保存图片
img.save('456.png')

PIL还可以做图片剪裁，模糊等其他操作，并且PIL还可以打开opencv打不开的图片;

我曾遇到过使用opencv打开为None，而使用PIL可以打开的图片，但是使用PIL保存会提示：cannot write mode P as JPEG。

验证码识别之模型构建

Keras函数式API

之前学习使用的神经网络都是用Sequential模型实现的，网络只有一个输入和一个输出，而且网络是层的线性堆叠，这种网络配置非常常见，只使用Sequential模型类就能够涵盖许多主题和实际应用，但是有些情况下这种假设过于死板，有些网络需要多个独立的输入，有些网络则需要多个输出，而有些网络在层与层之间具有内部分支，这使得网络看起来像是层构成的图(graph)，而不是层的线性堆叠。

也就是针对类似多输入模型、多输出模型和类图模型的使用案例，只用Keras中的Sequentail模型是无法实现的，但是还有另一种更加更加通用、更加灵活的使用keras的方式，就是函数式API。

有机会我会在之外的文章中记录这方面更详细的内容，这里先简单了解下就好。

构建模型

对于验证码识别来说，一般是多输出模型，所以我们需要使用函数式API来构建模型

Discover

Filtering with the time picker

可以利用time picker（时间选择工具）实现按时间筛选数据；

也可以通过直方图来过滤，直接单击某一个直方图或者单击并拖动以查看特定的时间跨度；

Searching Your Data

在Kibana上搜索数据时，可以使用Kibana Query Language（KQL）(也就是Kibana的标准查询语言)或者直接使用Lucene query syntax(即Lucene 查询语法，KQL本身也是基于Lucene的)。

每次查询的结果获取的满足条件的数据条数会在左上角显示，会默认显示500条Documents（总条数大于500时），数据会在鼠标不断下滑的过程中自动加载，并且默认是按照时间排序的，时间最新的在最上面。

点一下Time旁边的小三角号就可以切换排序方式，每条数据都可以点开以JSON格式查看

Kibana Query Language语法

response:200will match documents where the response field matches the value 200，通俗地讲就是要求我们的document中有一个字段名为response，其值为“200”。

message:"Quick brown fox"will search for the phrase “quick brown fox” in the message field，其道理跟上面是一样的，这里重点在加不加引号的区别。如果加了引号就是精确匹配，若不加引号，则会匹配”quick brown fox”，也会匹配”quick fox brown”，也就是会忽略他们的顺序。

反爬六

此次练习的网站,其实这个网站无需破解，奈何当时脑子懵了，怎么请求都无法请求到数据，然后观察该网站的请求方式，在请求头中发现了奇怪的pqm参数，理所当然认为这是关键所在，所以开始了破解之路。悲催的是，破解之后还是请求不到数据，才发现问题所在。（不过讲道理，如果这个网站真的利用pqm反爬是很有可能的，我们的破解思路也是没什么问题）。

因为这个网站的破解不是必须的，下面就简单看下破解过程吧。

发现异常参数

首先通过观察，我们发现请求头里有个pqm的参数，那么当我们向服务器进行请求时，服务器端就很有可能利用该参数进行检测，如果我们发送过去的参数值不对，就不给我们返回正确数据。

定位该参数在js中的位置

一般情况，这种参数值的生成方法都是写在js代码中的，当在浏览器中加载页面时就会自动执行。

验证码识别之数据处理

当我们想要自己通过深度学习网络训练识别网上的各种验证码时，首先需要下载一定量的图片，而且还需要给这些验证码图片标注好正确的答案。所以，一开始我们要借助一些打码平台来帮助我们完成这部分工作，当然如果不嫌麻烦的话自己一张张图标注也是可以的……

当我们完成标注工作后，还需要对这些验证码图片进行处理，使之适合输入到我们的网络中。

对图像处理时我们需要用到OpenCV-python这个库，先使用pip install OpenCV-python安装一下。

在windows系统中，若出现导入cv2模块后，使用pycharm调用cv2的方法全部标黄，并且不提示方法名的情况，可以进入cv2的__init__.py中，注释全部代码，然后在最后加上以下代码：

1
2
3
4
5
6

import sys
import os
import importlib
os.environ["PATH"] += os.pathsep + os.path.dirname(os.path.realpath(__file__))
from .cv2 import *
globals().update(importlib.import_module('cv2.cv2').__dict__)

之后重启Pycharm应该可以解决。

图像模糊（滤波）

模糊操作时图像处理中最简单和常用的操作之一，主要是为了给图像预处理时降低噪声。

模糊的过程与卷积神经网络的原理类似，我们都知道图像其实是由一个个的像素点构成，我们可以选取特定大小的一个模板，然后扫描整幅图像，每一次扫描对整个模板内的所有像素点的值进行运算（不同的模糊操作采用的运算不一样），将得到的值赋值给中间的像素点。

主要有以下几种常见的模糊操作：

本文章参考《python深度学习》

新闻分类：多分类问题

新闻主题有多个类别，所 这是多分类（multiclass classification）问题的一个例子。因为每个数据点只能划分到一个类别， 所以更具体地说，这是单标签、多分类（single-label, multiclass classification）问题的一个例 子。如果每个数据点可以划分到多个类别（主题），那它就是一个多标签、多分类（multilabel, multiclass classification）问题。

这篇文章会构建一个网络，将路透社新闻划分为46个互斥的主题。

路透社数据集

它包含许多短新闻及其对应的主题，由路透社在1986 年发布。它是一个简单的、广泛使用的文本分类数据集。它包括46 个不同的主题：某些主题的样本更多， 但训练集中每个主题都有至少 10 个样本。 与 IMDB和MNIST 类似，路透社数据集也内置为Keras 的一部分。

1
2
3
4
5
6

from keras.datasets import reuters

(train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)

print(train_data[10])
[1, 245, 273, 207, 156, 53, 74, 160, 26, 14, 46, 296, 26, 39, 74, 2979, 3554, 14, 46, 4689, 4329, 86, 61, 3499, 4795, 14, 61, 451, 4329, 17, 12]

与IMDB评论一样，每个样本都是一个整数列表（表示单词索引）,甚至将索引解码为新闻文本的方式都一样，只不过要使用reuters.get_word_index()。

我们有 8982 个训练样本和 2246 个测试样本。

本文章参考《python深度学习》

电影评论分类：二分类问题

IMDB数据集

它包含来自互联网电影数据库（IMDB）的50 000 条严重两极分化的评论。数据集被分为用于训练的 25 000 条评论与用于测试的 25 000 条评论，训练集和测试 集都包含 50% 的正面评论和 50% 的负面评论。

IMDB 数据集内置于Keras库。它已经过预处理：评论（单词序列） 已经被转换为整数序列，其中每个整数代表字典中的某个单词。

1
2
3

from keras.datasets import imdb

(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

参数num_words=10000的意思是仅保留训练数据中前10 000 个最常出现的单词。低频单词将被舍弃，这样得到的向量数据不会太大，便于处理。

train_data 和 test_data 这两个变量都是评论组成的列表，每条评论又是单词索引组成 的列表（表示一系列单词）。train_labels 和 test_labels 都是0 和1组成的列表，其中0 代表负面（negative）， 1 代表正面（positive）。

1
2
3
4

>>> train_data[0] 
[1, 14, 22, 16, ... 178, 32] 
>>> train_labels[0]
1

举例子理解具体某条评论：

某条评论为：[15, 16, 89, 77]，其中15代表字典中的I、16代表love、89代表this、77代表movie，那么这条评论为I love this moive。