关于Attention基本原理我们在seq2seq中已经介绍过，简单说attention就是帮助我们找到两个序列之间的相关度，比如输出序列的每个输出分别应该关注输入序列的哪一部分， 也就是找到权重值 wi。
self-attention与attention的不同点在于，self-attention是帮助我们找到子序列与全局序列之间的关系，即self-attention使用的场景是同一序列内部，而attention是两个序列。
不过self-attention的计算方法与attention类似，同样可以使用上述公式（只不过这里的yi是同一序列中的某个token）。
wij的计算方式如下：
为了更好地理解这个公式，下面我给以y2的计算为例，给出计算过程（图中把exp漏掉了）和图例。
注意代理有没有挂上，如果没有挂上也不会有什么提示，会直接使用本机IP，风险极高。
在平时业务开发时，遇到的网站一般分为两种类型，搜索式和列表式，当然列表式居多
拿到一个待开发的网站，一般开发完成之后，先爬取一遍全部历史数据，再上线增量爬取。
首先是要测试，要多看爬取日志，不要直接就推送入库；
查看日志可以看第一页、第二页、中间随机抽取几页和最后一页，日志是否和网站上的数据对应的上，避免一些程序bug压根没有成功翻页，然后也要看字段解析的是否正确，如果有比较明显的大规模错误那就要优化程序。
如果该业务的数据源是比较多的情况，就要考虑不同的源是不是会造成重复，比如当前的数据源数据质量本身很差（结构化错误比例较高或缺少关键字段信息等），那最好先看下这个源的数据是否已经被其他源覆盖（在开发之前也可以进行评估），如果已被其他源覆盖就可以不爬取历史数据或者直接不开发，避免这个源的数据覆盖其他更优质的源的数据。
其他还有一些针对数据质量不太好的源的爬取方法，比如增加过滤逻辑，缺失某些字段的数据丢弃；或者根据页码或者发布日期只爬取部分质量较好的数据。
PyTorch正则化和批标准化Regularization-正则化：减小方差的策略
误差可分为解为：偏差，方差与噪声之和，即误差=偏差+方差+噪声之和；
偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界。
简而言之，偏差是指在所有训练数据上训练得到的模型性能和在真实数据上表现的差异，方差是指模型在训练集和验证集（测试集）上的差异，方差重点在于不同数据集；噪声则是指给定的数据集（其可能存在噪声），那么当前数据集的数据质量已经决定了学习性能的上限，学习的目标就是尽可能的接近这个上限。
Pytorch中的张量学习Tensor是pytorch中非常重要且常见的数据结构，相较于numpy数组，Tensor能加载到GPU中，从而有效地利用GPU进行加速计算。但是普通的Tensor对于构建神经网络还远远不够，我们需要能够构建计算图的 tensor，这就是 Variable。Variable 是对 tensor 的封装，主要用于自动求导。
grad：data的梯度grad_fn：创建tensor的function，是自动求导的关键 pwd：显示当前目录
git init：把这个目录变成git可以管理的仓库
git clone： 从现有 Git 仓库中拷贝项目（类似 svn checkout）。
克隆仓库的命令格式为：
1 | git clone <repo> |
如果我们需要克隆到指定的目录，可以使用以下命令格式：
1 | git clone <repo> <directory> |
参数说明：
git config --list：显示当前的git配置信息
编辑 git 配置文件:
1 | git config -e # 针对当前仓库 |
或者：
1 | git config -e --global # 针对系统上所有仓库 |
设置提交代码时的用户信息：
1 | git config --global user.name "runoob" |
