遗传算法(Genetic Algorithm，简称GA)
遗传算法的基本思想可归为三点：
1）遗传：子代总是和亲代相似。
2）变异：子代和亲代有某些不相似的现象。
3）选择：具有精选的能力，它决定生物进化的方向。
要点1：遗传算法按照一定的规则生成经过基因编码的初始群体，
要点2：然后从这些代表问题的可能潜在解的初始群体出发，挑选适应度强的个体进行交叉(或称交配、交换)和变异，以期发现适应度更佳的个体，
要点3：如此一代代地演化，得到一个最优个体，将其经过解码，该最佳个体编码则对应问题的最优解或近似最优解。
术语:
串：算法中的二进制串，对应于遗传学中的染色体。染色体是进化的信息载体。染色体可能发生突变，并因为这种突变，可能生成更好的、更能适应环境的后代。
基因：基因是串中的二进制位之数，基因用于表示个体的特征。基因是染色体遗传功能的最小操作单位。
基因位置：一个基因在串中的位置称为基因位置，有时也简称基因位或基因座。
基因特征值：在用串表示整数时，基因的特征值与二进制数的权一致。
种群：个体的集合称为种群，或称群体。生物的进化不是通过单个个体来实现的，而是一代代的种群同时进行。
种群大小：种群中个体的数量称为群体的大小。
适应度：适应度表示某一个体对于环境的适应程度。在GA中，也称做适值函数，用以估计个体的优劣。适应度值越高，被选来交配和进行后继遗传行为的概率也就越大。对于给定的优化问题，将其目标函数作为适应度函数。
1、决策树是一种分类器，是一个有向、无环树。
2、树中根节点没有父节点，一个节点可以有1-2个或者没有子节点。
3、每个叶节点都对应一个类别标识C的值；每个内部节点都对应一个用于分割数据集的属性Xi，称为分割属性；每个内部节点都有一个分割判断规则qj。
4、节点n的分割属性和分割判断规则组成了节点n的分割标准。
1、决策树原理：归纳推理
2、归纳：是从特殊到一般的过程
3、归纳推理：从若干个事实表现出的特征、特性或属性中，通过比较、总结、概括而得出一个规律性的结论。
4、归纳推理的基本假定：任一假设如果能在足够大的训练样本集中很好地逼近目标函数，则它也能在未见样本中很好地逼近目标函数。
• 是一种统计学分类方法
• 可以用来对一个未知的样本判定其属于特定类的概率
• 分类模型是在有指导的学习下获得
• 分类算法可与决策树和神经网络算法媲美
• 用于大型数据库时具有较高的分类准确率和高效率。
朴素贝叶斯分类的假设前提：类别C确定的情况下，不同属性(X1,X2)间是相互独立的，即条件独立。(朴素即为条件独立)
即：C确定下，P(X1,X2)=P(X1)P(X2) ；或表示为：P(X1,X2|C)=P(X1|C)P(X2|C)
设X是未知类别的数据样本(属性值已知)，H为假定：X属于某特定类的类C。分类问题即为，确定P(H|X)——给定观测数据样本X，假定H成立的概率。
后验概率：P(H|X)，在条件X下,H的后验概率
先验概率：P(H)
注：P（X/H)相当于已知带标签的数据，即有导师了。
换个表达形式就会明朗很多：
啤酒与尿布的故事：
在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，超市也因此发现了一个规律，在购买婴儿尿布的年轻的父亲们中，有30%~40%的人同时要买一些啤酒。超市随后调整了货架的摆放，将尿布和啤酒放在一起，因此，明显增加了销售额。
1、兴趣度度量的概念
挖掘出的模式(规律的表示形式)的简洁性、确定性和实用性即为兴趣度度量。
2、兴趣度度量的必要性
大量的数据 –> 挖掘出大量的规则 –> 规则一小部分是用户感兴趣的 –> 有必要进行兴趣度度量
3、兴趣度度量方法
简洁性度量：模式的便于人理解的度量
确定性度量：模式的可信性
方法：对于关联规则，确定性度量使用置信度。
设A和B为项目集合，A与B关联的规则A–>B的置信度定义为：
置信度（A–>B）= 同时包含A和B的元组数/包含A的元组数
举例：对某计算机商店购买物品的相关情况进行挖掘，得到一个置信度为85%的关联规则：
buys(X，”computer”) –> buys(X，”printer”)
意味着买计算机的顾客85%也买打印机。A的元组数为买计算机的事务数（顾客数），同时包含A和B的元组数为买计算机同时又买打印机的事务数（顾客数）。
实用性度量：模式的有用性
方法：对于关联规则，实用性度量使用支持度。
设A和B为项目集合，A与B关联的规则A”B的支持度定义为：
支持度（A–>B）= 同时包含A和B的元组数/元组总数
举例：对某计算机商店购买物品的相关情况进行挖掘，得到一个支持度为30%的关联规则：
buys(X，”computer”) –> buys(X，”printer”)
意味着该计算机商店的所有顾客的30%同时购买了计算机和打印机。元组总数为购买计算机或购买打印机的事务数（顾客数），同时包含A和B的元组数为买计算机同时又买打印机的事务数（顾客数）。
关于训练损失不下降，根据我的一些经验和理论知识，可以从以下角度来分析
首先，从数据集来分析：
其次，从数据预处理来分析：
最后，从模型结构和参数来分析：
激活函数、损失函数是否选错了？
优化器和学习速率不合适，需要调整；
模型结构太简单，学习能力不够；
正则化过度，L1、L2和dropout是用来防止过拟合的，如果训练集loss下不来时，就要考虑一下是不是正则化过度，导致模型欠拟合；
Batch_Size过大会导致收敛很慢，损失下降也就很慢，给人一种训练损失不下降的感觉；
模型训练遇到瓶颈
这里的瓶颈一般包括：梯度消失、大量神经元失活、梯度爆炸和弥散、学习率过大或过小等。
Pytorch识别字符验证码之前已经学习过利用Keras搭建神经网络模型来识别字符验证码，近期又学习了pytorch实现卷积神经网络相关的技术，正好遇到一个验证码识别的需求，所以尝试使用pytorch来实现。
要训练的验证码如下所示:
其为中文汉字的简单运算，实际上仅包括零壹贰叁肆伍陆柒捌玖加减乘等于，这15个汉字，等于可以不识别（其实识别也完全没问题，只不过问题能简化就尽量简化嘛），那最后也就是总共要识别13个汉字，分类数就是13。
另外我们可以用’0123456789+-x’来代替汉字，避免文件名称无法使用汉字（windows下open-cv不能读取带有中文路径或文件名称）的问题。
下载并标注了1000张验证码，观察其字体颜色和干扰线、点均多变，无法根据特定规则将其区分；另外，尝试中值模糊、均值模糊和高斯模糊，均得不到较好的效果（肉眼观察）。只有灰度化和二值化后，感觉稍微变得清晰了一些。
另外，针对数据集我还统计了一下各个类别的数量是否均衡（主要怕有的文字训练样本太少，训练效果差）。
1 | {'捌': 206, '减': 346, '肆': 220, '柒': 205, '零': 200, '伍': 214, '加': 358, |
数据集的分布情况如上数据，总体还算均衡，那就表示可以开始处理数据和进行训练了。
