之前搞的有反爬的网站基本都是采用debug，然后扣代码的方式，扣出来核心的代码，自己通过node运行或者使用python运行，但是有些情况下难以扣出来核心的代码，或者说这样做的效率非常低，所以还有另一种方式就是拿出全部js，然后直接运行我们需要的方法，如果报错再去定位问题，具体解决。下面列举两个网站的例子。
网址：https://credit.hd.gov.cn/xyxxgs/
请求列表页时，需要以上参数，其中nonceStr、queryContent、sign都是通过js代码通过一定的逻辑生成的。
Simple Lexicon的原理比较简单，至少不涉及模型架构方面的改写，只是将所有词的embedding融合到字符的embedding中（详情请看原论文，上一篇），其项目源码其实是用了Lattice LSTM的源代码，然后在此基础上改成了python3.6的版本，并且加上词向量融合部分的代码。
下面直接进行代码分析，在剖析代码的过程中联系论文来深入理解
首先在构建语料库这里，依然还是有
build_alphabet、build_gaz_file，这两个方法与Lattice LSTM是一致的；
有变化的是build_gaz_alphabet，新增了一个count参数（用于统计词频）
在Lattice LSTM中build_gaz_alphabet方法是建立gaz_alphabet，即找到了所有可能的词语（具体逻辑就是利用trie属性保存的词典，然后调用gaz.enumerateMatchList，这里面调用的又是trie.enumerateMatch方法）
在Simple Lexicon中这个方法内部也是先找到所有可能的词语（但是也会返回单个的字），其次是计算词频；
深入剖析文章：一文详解中文实体识别模型 Lattice LSTM - 知乎 (zhihu.com)
最容易想到同时也是最简单的词信息利用方法就是直接拼接词表征与字向量或者直接拼接词表征与LSTM的输出。16年的论文《A Convolution BiLSTM Neural Network Model for Chinese Event Extraction》就采用了这样的方法构建了中文事件抽取模型。
Lattcie LSTM的实现方式是怎么样的呢？
Lattice LSTM 模型结构如上图右侧所示。在正式开始介绍 Lattice LSTM 前，我们先来看看上图左半部分。
我们都知道命名实体识别任务最常用的网络结构是BiLSTM + CRF的结构，在transformer被提出之后，transformer也被用于命名实体识别任务，但是一般是使用Transformer的Encoder模块作为特征提取器，后面还是使用softmax、线性层或CRF层，也就是说Transformer的Decoder模块是不使用的（例如预训练模型BERT也是仅堆叠transformer encoder）。
那么为什么在命名实体识别任务中不使用Decoder模型呢？
其实答案是比较容易理解的，我们都知道Decoder是利用Encoder得到的memory和当前的输出，自回归的不断给出下一个概率最高的输出，所以Decoder是一个主要用于生成的模型，也是目前最火热的大模型如GPT最主要的核心结构，即主要用于生成大段的文本，而命名实体识别任务本质上是一个序列标注任务，其并不需要根据输入文本去生成其他文本，它只需要判断给定文本每个字是否属于实体以及实体的类型，所以并不需要Decoder模块，同样的序列的分类任务也不需要Decoder模块。
当然不需要不等于不能用，你也可以把序列标注、序列分类任务转变成生成任务，但是这样会使得你的模型结构变得更加复杂，效率会下降，效果也并不一定能得到提升。
在Transformer一步步实现一文中我们已经理解了transformer的实现过程，在这一篇中我们要将transformer的encoder部分应用于命名实体识别任务。
前面写了两篇关于transformer的原理的文章，分别是
Transformer原理 | Sunrise (forchenxi.github.io)
Transformer block | Sunrise (forchenxi.github.io)
这篇主要是将哈佛大学2018年写的一篇关于transformer的详细注解包括pytorch版本的实现过程《The Annotated Transformer》翻译为中文。
关于Attention基本原理我们在seq2seq中已经介绍过，简单说attention就是帮助我们找到两个序列之间的相关度，比如输出序列的每个输出分别应该关注输入序列的哪一部分， 也就是找到权重值 wi。
self-attention与attention的不同点在于，self-attention是帮助我们找到子序列与全局序列之间的关系，即self-attention使用的场景是同一序列内部，而attention是两个序列。
不过self-attention的计算方法与attention类似，同样可以使用上述公式（只不过这里的yi是同一序列中的某个token）。
wij的计算方式如下：
为了更好地理解这个公式，下面我给以y2的计算为例，给出计算过程（图中把exp漏掉了）和图例。
