业务爬取经验总结

注意代理有没有挂上，如果没有挂上也不会有什么提示，会直接使用本机IP，风险极高。

在平时业务开发时，遇到的网站一般分为两种类型，搜索式和列表式，当然列表式居多

列表式爬取方法

拿到一个待开发的网站，一般开发完成之后，先爬取一遍全部历史数据，再上线增量爬取。

历史数据爬取过程中需要注意的点

首先是要测试，要多看爬取日志，不要直接就推送入库；
查看日志可以看第一页、第二页、中间随机抽取几页和最后一页，日志是否和网站上的数据对应的上，避免一些程序bug压根没有成功翻页，然后也要看字段解析的是否正确，如果有比较明显的大规模错误那就要优化程序。

如果该业务的数据源是比较多的情况，就要考虑不同的源是不是会造成重复，比如当前的数据源数据质量本身很差（结构化错误比例较高或缺少关键字段信息等），那最好先看下这个源的数据是否已经被其他源覆盖（在开发之前也可以进行评估），如果已被其他源覆盖就可以不爬取历史数据或者直接不开发，避免这个源的数据覆盖其他更优质的源的数据。

其他还有一些针对数据质量不太好的源的爬取方法，比如增加过滤逻辑，缺失某些字段的数据丢弃；或者根据页码或者发布日期只爬取部分质量较好的数据。

PyTorch正则化和批标准化

Regularization-正则化：减小方差的策略

误差可分为解为：偏差，方差与噪声之和，即误差=偏差+方差+噪声之和；

偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界。

简而言之，偏差是指在所有训练数据上训练得到的模型性能和在真实数据上表现的差异，方差是指模型在训练集和验证集（测试集）上的差异，方差重点在于不同数据集；噪声则是指给定的数据集（其可能存在噪声），那么当前数据集的数据质量已经决定了学习性能的上限，学习的目标就是尽可能的接近这个上限。

Pytorch中的优化器Optimizer

什么是优化器

pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签

导数：函数在指定坐标轴上的变化率
方向导数：指定方向上的变化率（二元及以上函数，偏导数）
梯度：一个向量，方向是使得方向导数取得最大值的方向

Pytorch的Optimizer

参数

• defaults：优化器超参数
• state：参数的缓存，如momentum的缓存
• param_groups：管理的参数组
• _step_count：记录更新次数，学习率调整中使用

Pytorch中权值初始化和损失函数

权值初始化

梯度消失与爆炸

针对上面这个两个隐藏层的神经网络，我们求w2的梯度

可以发现，w2的梯度与H1（上一层网络的输出）有很大的关系，当h1趋近于0时，w2的梯度也趋近于0，当h1趋近于无穷大时，w2的梯度也趋近于无穷大。

PyTorch的自动微分(autograd)

计算图

计算图是用来描述运算的有向无环图
计算图有两个主要元素：结点（Node）和边（Edge）
结点表示数据，如向量、矩阵、张量
边表示运算，如加减乘除卷积等

用计算图表示：y = (x + w) (w + 1)
令 a = x + w，b = w + 1
则 y = a b

用计算图来表示这一计算过程：

使用计算图可以更方便的求导

关于Pytorch中的张量学习

张量的概念和创建

张量的概念

Tensor是pytorch中非常重要且常见的数据结构，相较于numpy数组，Tensor能加载到GPU中，从而有效地利用GPU进行加速计算。但是普通的Tensor对于构建神经网络还远远不够，我们需要能够构建计算图的 tensor，这就是 Variable。Variable 是对 tensor 的封装，主要用于自动求导。

• data：被包装的tensor
• grad：data的梯度
• grad_fn：创建tensor的function，是自动求导的关键
• requires_grad：指示是否需要梯度
• is_leaf：指示是否是叶子节点（用户创建的张量）

Git简单使用

git初始化操作

pwd：显示当前目录

git init：把这个目录变成git可以管理的仓库

git clone： 从现有 Git 仓库中拷贝项目（类似 svn checkout）。

克隆仓库的命令格式为：

1

git clone <repo>

如果我们需要克隆到指定的目录，可以使用以下命令格式：

1

git clone <repo> <directory>

参数说明：

• repo:Git 仓库。
• directory:本地目录。

git config --list：显示当前的git配置信息

编辑 git 配置文件:

1

git config -e    # 针对当前仓库

或者：

1

git config -e --global   # 针对系统上所有仓库

设置提交代码时的用户信息：

1
2

git config --global user.name "runoob"
git config --global user.email test@runoob.com

工作区、暂存区和版本库

反爬九

目标网站，本次破解的网站是一个信用地方网站，主要获取的是行政处罚数据，该网站的混用了DES3、RSA、SHA256和MD5加密，比较具有代表性，但是对于有经验的爬虫工程师来说本身难度不高，如果缺乏经验可能会多走一些弯路。

查看网络请求可以发现其post请求的参数被加密了

python实现DES3加密

des加密，是一种对称加密算法，一种比较传统的加密方式；3DES(又称Triple DES)，是进行了三重数据加密，即：每个数据块进行了三次DES加密算法，故比DES加密更为安全，更难破解。

DES加密的密钥长度为8，而DES3的密钥长度为24.

下面的代码实现是DES3，而DES加密只要把相关DES3的部分替换为DES即可，DES包的导入和方法调用与DES是一样，但是需要注意密钥长度。

与AES的加密实现方式基本相同,区别点在于：

1. DES3需要把待加密文本补齐为8的倍数，AES需要把待加密文本补齐为16的倍数；
2. DES3密钥长度为24，AES的密钥长度为32。

NER学习和实践阶段性总结

前面一段时间我针对NER进行了系统的学习，并借助UER-py对开庭公告进行了实体抽取，整个项目收获颇丰，前面本身已经对学习和实践过程进行了记录，具体细节参考前面的文章。

对NER技术不太了解的同学可以参考前面我翻译的一篇NER论文综述。

这篇文章主要内容包括：

1. 针对网络模型以及其中涉及的技术点进行一定概述；
2. 针对上篇NER综述进行一定的补充；
3. 结合自己所擅长领域，思考后续可以借助NER来做的一些研究和实践。