使用UER进行开庭公告命名实体识别-续1

接着上篇博客，这次我采用自己生成训练数据的方式来再次训练，自己生成的训练数据不会存在标注错误的问题，也可以尽可能的保证各种实体的类别尽可能的丰富。

生成训练数据

生成训练数据的程序是这里比较核心的模块，且考虑到公司的知识产权（因为是我在公司工作的时期开发的），就不做公开展示了。

不过这里可以大概的说下基本思想：
首先根据开庭公告非结构化文本的行文规律，总结出数十套模板，这里给出一套模板：

[本我]院定于[时间][,，]在[我本]院[地点][依法][公开][开庭][审理][当事人1][,，、][当事人2][,，、][与和,，、][当事人3][,，、][当事人4][案由][一二三四]案

中括号括起来的地方是可以随机去替换的，只需要收集尽可能多的实体种类，随机填充进去即可。

之后在不断增加句子长度的时候，记录当前长度，新增实体的类别、长度和真实值，直接生成label。

这个方法还有另一种解释更清晰易懂，就是根据一个已知的样本句子内的实体名称用另一个同类型的实体名称替换，然后以达到数据增强的效果，但是如果按照这种逻辑去操作会有点麻烦，因为当用一个长度为4的实体替换一个长度为3的实体，会导致后续实体所在位置产生变动，处理起来比较繁琐，所以采用了一种从头生成文本的方式，本质思想是一致的。

当然从头生成数据的方法还有一个优点就是，完全不需要标注数据，如果我们采用实体替换的方式还是先基于一定量标注好的数据的，否则也无法做替换操作；最后就是从头生成数据更灵活，例如生成的当事人的数量从1~10（当然更多也是可以的）可以随意控制，如果是替换实体的话，想要10个当事人，必须先找到并且标注带有10个当事人的样例数据。

那么总结一下，从头生成数据相比实体替换的优势是：

记录实体类型和实体位置更方便；
完全不需要标注数据；
更灵活。

但是按照预先构造的模板来生成数据的核心难点在于对模板的构造，这需要对这一领域非常熟悉，有足够的经验构造出可以涵盖绝大多数实际数据的模板。

那还有人可能会问，既然我们都可以按照这种规则去生成数据了，其实按照这套规则不也是可以去结构化数据的吗？为什么还要训练模型？我举几个例子解释一下。

例一，生成文本：张三与李四合同纠纷

生成的时候自然知道填充进去的实体名称、实体类型和实体位置对不对，即张三[0:2]、李四[3:5]、合同纠纷[5:9]；但是让你写规则提取，应该怎么提取呢？没法提取的对吧？你根本没有办法知道李四这个实体到底有多长，也没有办法知道合同纠纷这个案由的开始位置，因为有几十万种案由的表述方式，你能穷举吗？

例二，生成文本：当事人：A公司张三B公司；

这种情况写规则也没有办法提取，因为三个当事人”A公司”、”张三”和”B公司”没有任何的分割，我们在生成的时候是可以知道三个实体分别的起始位置，然后告诉模型进行学习，但是写规则我们没有办法分开他们，千万不要说你”公司”作为关键词分隔，万一不是以”公司”二次结尾或者分公司等情况呢？

通过这两个例子应该可以很清晰地感觉到这种自动生成训练数据的优势了吧？而且你也不用担心自己生成数据训练出来的模型在真实数据上表现不好，只要你生成数据足够多样化，训练出来的模型的泛化性足以解决实际问题。

再然后要注意，将生成的每种特征的数据集按照一定的比例（比如8:1:1），分配到训练集、验证集和测试集；最后，将每个集合的数据全部打乱（测试集可以不用打乱，否则验证准确率的时候会比较麻烦）。

生成的数据样例

{"text": "（2016）闽0581民初1375号，疏勒县人民法院定于2018-03-21 18:38，于我院第十二审判庭依法公开开庭审理被告人王非、刘先贵、曹流、高满辉,重庆涵纳投资管理有限公司,岳兴禄、岳畅被送达人周星呈,北京巨邦物流有限公司，陈盛安乡镇企业承包经营合同纠纷一案", "label": {"case_no": [{"（2016）闽0581民初1375号": [0, 17]}], "court": [{"疏勒县人民法院": [19, 25]}], "time": [{"2018-03-21 18:38": [28, 43]}], "tribunal": [{"第十二审判庭": [48, 53]}], "accused": [{"王非": [65, 66]}, {"刘先贵": [68, 70]}, {"曹流": [72, 73]}, {"高满辉": [75, 77]}, {"重庆涵纳投资管理有限公司": [79, 90]}, {"岳兴禄": [92, 94]}, {"岳畅": [96, 97]}], "served": [{"周星呈": [102, 104]}, {"北京巨邦物流有限公司": [106, 115]}, {"陈盛安": [117, 119]}], "reason": [{"乡镇企业承包经营合同纠纷": [120, 131]}]}}
{"text": "（2017）闽0581民初1840号，鞍山市千山区人民法院定于二〇一九年五月十三上午十时四十分，于本院黄材法庭一公开开庭罪犯郭素金，重庆国保金泰信息安全技术有限公司,周骏捷、黄元珍，赵德仁、大足区通桥镇新民七组杨德明，重庆银旭工程机械设备租赁有限公司，受送达人陈心红、艾宗仁，秦宗荣行政撤销五案", "label": {"case_no": [{"（2017）闽0581民初1840号": [0, 17]}], "court": [{"鞍山市千山区人民法院": [19, 28]}], "time": [{"二〇一九年五月十三上午十时四十分": [31, 46]}], "tribunal": [{"黄材法庭一": [51, 55]}], "criminal": [{"郭素金": [62, 64]}, {"重庆国保金泰信息安全技术有限公司": [66, 81]}, {"周骏捷": [83, 85]}, {"黄元珍": [87, 89]}, {"赵德仁": [91, 93]}, {"大足区通桥镇新民七组杨德明": [95, 107]}, {"重庆银旭工程机械设备租赁有限公司": [109, 124]}], "served_c": [{"陈心红": [130, 132]}, {"艾宗仁": [134, 136]}, {"秦宗荣": [138, 140]}], "reason": [{"行政撤销": [141, 144]}]}}
{"text": "（2020）渝0116民初67号，新疆生产建设兵团哈密垦区人民法院于2020-10-14 9:30，本院博尚法庭公开开庭审理当事人丁顺美，上海砸立电子商务有限公司,郑州交通运输集团有限责任公司，季东海，彭毅笼，康能源、马艳青,原审第三人李力文，重庆茂洁钢结构工程有限公司，张东方非法收购、运输、加工、出售国家重点保护植物、国家重点保护植物制品罪五案。", "label": {"case_no": [{"（2020）渝0116民初67号": [0, 15]}], "court": [{"新疆生产建设兵团哈密垦区人民法院": [17, 32]}], "time": [{"2020-10-14 9:30": [34, 48]}], "tribunal": [{"博尚法庭": [52, 55]}], "litigant": [{"丁顺美": [65, 67]}, {"上海砸立电子商务有限公司": [69, 80]}, {"郑州交通运输集团有限责任公司": [82, 95]}, {"季东海": [97, 99]}, {"彭毅笼": [101, 103]}, {"康能源": [105, 107]}, {"马艳青": [109, 111]}], "origin_third": [{"李力文": [118, 120]}, {"重庆茂洁钢结构工程有限公司": [122, 134]}, {"张东方": [136, 138]}], "reason": [{"非法收购、运输、加工、出售国家重点保护植物、国家重点保护植物制品罪": [139, 171]}]}}
{"text": "田林县人民法院定于二〇一六年九月二十八日11:00到12:00，于我院金和法庭审理（2017）闽0581民初3778号再审上诉人曾天友、再审被上诉人唐明田,受送达人储锦秀、中国人寿财产保险股份有限公司重庆市荣昌区支公司伪造、变造股票、公司、企业债券罪一案", "label": {"court": [{"田林县人民法院": [0, 6]}], "time": [{"二〇一六年九月二十八日11:00到12:00": [9, 30]}], "tribunal": [{"金和法庭": [35, 38]}], "case_no": [{"（2017）闽0581民初3778号": [41, 58]}], "again_appellant": [{"曾天友": [64, 66]}], "again_appellee": [{"唐明田": [74, 76]}], "served_c": [{"储锦秀": [82, 84]}, {"中国人寿财产保险股份有限公司重庆市荣昌区支公司": [86, 108]}], "reason": [{"伪造、变造股票、公司、企业债券罪": [109, 124]}]}}
{"text": "东台市人民法院定于2017年11月19中午11时20分,我院张秋法庭开庭审理（2019）宁0323民初2924号原审原告王永昌与原审被告广汉市禾兴政宇车业有限责任公司、案外人曾维元、重庆瀚雅装饰工程有限公司国内涉外仲裁裁决一案", "label": {"court": [{"东台市人民法院": [0, 6]}], "time": [{"2017年11月19中午11时20分": [9, 26]}], "tribunal": [{"张秋法庭": [30, 33]}], "case_no": [{"（2019）宁0323民初2924号": [38, 55]}], "origin_plaintiff": [{"王永昌": [60, 62]}], "origin_defendant": [{"广汉市禾兴政宇车业有限责任公司": [68, 82]}], "out_of_case": [{"曾维元": [87, 89]}, {"重庆瀚雅装饰工程有限公司": [91, 102]}], "reason": [{"国内涉外仲裁裁决": [103, 110]}]}}
{"text": "三穗县人民法院于2018-3-21 18:30，在我院葛渔城法庭开庭审理（2019）鲁0687民初6444号申请再审人重庆金易物业服务有限公司和被申请再审人厦门海翼融资租赁有限公司，案外人张景德，梁胜奎申请撤销监护人资格八案。", "label": {"court": [{"三穗县人民法院": [0, 6]}], "time": [{"2018-3-21 18:30": [8, 22]}], "tribunal": [{"葛渔城法庭": [27, 31]}], "case_no": [{"（2019）鲁0687民初6444号": [36, 53]}], "apply_again": [{"重庆金易物业服务有限公司": [59, 70]}], "applied_again": [{"厦门海翼融资租赁有限公司": [78, 89]}], "out_of_case": [{"张景德": [94, 96]}, {"梁胜奎": [98, 100]}], "reason": [{"申请撤销监护人资格": [101, 109]}]}}

其实在生成的数据中存在一定的问题，就是语义不通顺，甚至说存在常识上的错误，比如可能会生成“被告单位张三”这样的数据，因为生成程序没有考虑这些细节问题，先不管这些细节问题看看模型的学习效果如何。

另外，这个数据格式，相比较之前的数据格式实际是有变化的，每个种类的实体是用列表来存的，可以避免同一实体出现多次无法表示的问题，并且位置索引仅使用了一层列表，后续转换为tsv格式的数据时需要注意。

生成label2id

role_dict = {
        // 原审系列
        "原审原告人": "origin_plaintiff_er", "原审被告人": "origin_accused",
        "原审原告单位": "origin_plaintiff_inst",
        "原审被告单位": "origin_defendant_inst", "原审第三人": "origin_third",
        "原审原告": "origin_plaintiff", "原审被告": "origin_defendant",
        "原审上诉人": "origin_appellant", "原审被上诉人": "origin_appellee",
        // 再审系列
        "再审被申请人": "again_appellee_c", "再审申请人": "again_appellant_c",
        "再审上诉人": "again_appellant", "再审被上诉人": "again_appellee",
        "被申请再审人": "applied_again", "申请再审人": "apply_again",  
        // 申请系列
        "被申请执行人": "applied_executor", "申请执行人": "apply_executor",
        "执行申请人": "execute_appellant", "被申请人": "appellee_c", "申请人": "appellant_c",
        // 其他系列
        "原告": "plaintiff", "被告": "defendant", "当事人": "litigant",
        "第三人": "third", "上诉人": "appellant", "被上诉人": "appellee",
        "被申诉人": "appellee_s", "申诉人": "appellant_s", "被执行人": "executed",
        "原告人": "accuser", "被告人": "accused",
        "原告单位": "plaintiff_inst", "被告单位": "defendant_inst", "罪犯": "criminal",
        "被送达人": "served", "受送达人": "served_c", "送达人": "server",
        "异议人": "disagree", "案外人": "out_of_case"
    }

共39种角色，再加上court（法院名称）、reason（案由）、case_no（案号）、time（开庭时间）、tribunal（开庭地点），一共44种实体种类。

label2id.json文件内容

{
    "O": 0,
    "B-accused": 1,
    "I-accused": 2,
    "B-accuser": 3,
    "I-accuser": 4,
    "B-again_appellant": 5,
    "I-again_appellant": 6,
    "B-again_appellant_c": 7,
    "I-again_appellant_c": 8,
    "B-again_appellee": 9,
    "I-again_appellee": 10,
    "B-again_appellee_c": 11,
    "I-again_appellee_c": 12,
    "B-appellant": 13,
    "I-appellant": 14,
    "B-appellant_c": 15,
    "I-appellant_c": 16,
    "B-appellant_s": 17,
    "I-appellant_s": 18,
    "B-appellee": 19,
    "I-appellee": 20,
    "B-appellee_c": 21,
    "I-appellee_c": 22,
    "B-appellee_s": 23,
    "I-appellee_s": 24,
    "B-applied_again": 25,
    "I-applied_again": 26,
    "B-applied_executor": 27,
    "I-applied_executor": 28,
    "B-apply_again": 29,
    "I-apply_again": 30,
    "B-apply_executor": 31,
    "I-apply_executor": 32,
    "B-case_no": 33,
    "I-case_no": 34,
    "B-court": 35,
    "I-court": 36,
    "B-criminal": 37,
    "I-criminal": 38,
    "B-defendant": 39,
    "I-defendant": 40,
    "B-defendant_inst": 41,
    "I-defendant_inst": 42,
    "B-disagree": 43,
    "I-disagree": 44,
    "B-execute_appellant": 45,
    "I-execute_appellant": 46,
    "B-executed": 47,
    "I-executed": 48,
    "B-litigant": 49,
    "I-litigant": 50,
    "B-origin_accused": 51,
    "I-origin_accused": 52,
    "B-origin_appellant": 53,
    "I-origin_appellant": 54,
    "B-origin_appellee": 55,
    "I-origin_appellee": 56,
    "B-origin_defendant": 57,
    "I-origin_defendant": 58,
    "B-origin_defendant_inst": 59,
    "I-origin_defendant_inst": 60,
    "B-origin_plaintiff": 61,
    "I-origin_plaintiff": 62,
    "B-origin_plaintiff_er": 63,
    "I-origin_plaintiff_er": 64,
    "B-origin_plaintiff_inst": 65,
    "I-origin_plaintiff_inst": 66,
    "B-origin_third": 67,
    "I-origin_third": 68,
    "B-out_of_case": 69,
    "I-out_of_case": 70,
    "B-plaintiff": 71,
    "I-plaintiff": 72,
    "B-plaintiff_inst": 73,
    "I-plaintiff_inst": 74,
    "B-reason": 75,
    "I-reason": 76,
    "B-served": 77,
    "I-served": 78,
    "B-served_c": 79,
    "I-served_c": 80,
    "B-server": 81,
    "I-server": 82,
    "B-third": 83,
    "I-third": 84,
    "B-time": 85,
    "I-time": 86,
    "B-tribunal": 87,
    "I-tribunal": 88
}

开始训练

训练之前别忘了再看一下数据长度分布，选择一个合适的seq_length的值。

还有一个要处理的点就是这里文本中时间部分是有空格的，且空格还是比较重要的，然后当前默认的分词器是按照空格分词的

class SpaceTokenizer(Tokenizer):

    def __init__(self, args, is_src=True):
        super().__init__(args, is_src)

    def tokenize(self, text, use_vocab=True):
        if use_vocab:
            return [token if token in self.vocab else UNK_TOKEN for token in text.strip().split(" ")]
        else:
            return [token for token in text.strip().split(" ")]

所以如果再按照之前那种格式转化成tsv文件，会导致分词的时候，多分出一个空格，例如

text = '衡 阳 市 蒸 湘 区 人 民 法 院 定 于 2 0 2 0 - 1 0 - 1 2   9 : 3 0 ， 在 我 院 市 北 法 庭 第 一 审 判 庭 审 理 原 审 上 诉 人 吕 生 文 , 杨 长 成 与 原 审 被 上 诉 人 沈 书 东 , 倪 安 芝 , 李 毓 琼 ， 古 方 杰 , 李 记 明 ， 王 欢 扶 养 纠 纷 一 案 。'
res = text.split(" ")
print(res)
['衡', '阳', '市', '蒸', '湘', '区', '人', '民', '法', '院', '定', '于', '2', '0', '2', '0', '-', '1', '0', '-', '1', '2', '', '', '9', ':', '3', '0', '，', '在', '我', '院', '市', '北', '法', '庭', '第', '一', '审', '判', '庭', '审', '理', '原', '审', '上', '诉', '人', '吕', '生', '文', ',', '杨', '长', '成', '与', '原', '审', '被', '上', '诉', '人', '沈', '书', '东', ',', '倪', '安', '芝', ',', '李', '毓', '琼', '，', '古', '方', '杰', ',', '李', '记', '明', '，', '王', '欢', '扶', '养', '纠', '纷', '一', '案', '。']

从而导致训练数据出错，所以这里考虑使用另外一种分词方式

class CharTokenizer(Tokenizer):

    def __init__(self, args, is_src=True):
        super().__init__(args, is_src)

    def tokenize(self, text, use_vocab=True):
        if use_vocab:
            return [token if token in self.vocab else UNK_TOKEN for token in list(text.strip())]
        else:
            return [token for token in list(text.strip())]

这两种分词方式在”UER-py\uer\utils\tokenizers.py”中都定义好了，我们只要在run_ner.py中修改参数即可

# 默认
args.tokenizer = SpaceTokenizer(args)
# 修改为
args.tokenizer = CharTokenizer(args)

但是仅修改分词方法还不行，还需要改变tsv数据的格式，因为CharTokenizer是直接将句子按照字符变为列表，所以tsv文件的前半段只要存放原始的句子即可（不用再以空格分隔），后半段的label还是以空格分隔,text和label之间还是用”\t”分隔。

数据样例

text_a	label
我院于2023-07-14 15:26,于乐平市人民法院民二审判法庭依法公开审理（2019）鄂0115民初9577号罪犯常进福，魏革，重庆市巴南区人民法院再审无罪,北京华视聚合文化传媒有限公司,余学飞,重庆永汇知识产权服务有限公司,马绍慧航道、港口疏浚合同纠纷一案	O O O B-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time O O B-court I-court I-court I-court I-court I-court I-court B-tribunal I-tribunal I-tribunal I-tribunal I-tribunal I-tribunal O O O O O O B-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no O O B-criminal I-criminal I-criminal O B-criminal I-criminal O B-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal O B-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal O B-criminal I-criminal I-criminal O B-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal I-criminal O B-criminal I-criminal I-criminal B-reason I-reason I-reason I-reason I-reason I-reason I-reason I-reason I-reason I-reason I-reason O O
（2020）京0115民初1769号,本院定于二〇二二年十月十四日十四时整，本院1号中法庭210依法开庭王少立与李年徽、李明灏，郑路、受送达人西安衡创天赢汽车服务有限公司北京市分公司、廖正楷,梅再艳传播淫秽物品罪一案。	B-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no O O O O O B-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time O O O B-tribunal I-tribunal I-tribunal I-tribunal I-tribunal I-tribunal I-tribunal I-tribunal O O O O B-litigant I-litigant I-litigant O B-litigant I-litigant I-litigant O B-litigant I-litigant I-litigant O B-litigant I-litigant O O O O O B-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c I-served_c O B-served_c I-served_c I-served_c O B-served_c I-served_c I-served_c B-reason I-reason I-reason I-reason I-reason I-reason I-reason O O O
（2017）闽0581民初2428号,我院定于2018-03-21 18:49,在大宁县人民法院第二刑事法庭公开开庭李广萍，重庆市龙华运输有限公司,李行兵、谭先芳与王艳鑫,黄权胜物价行政管理（物价）一案	B-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no O O O O O B-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time O O B-court I-court I-court I-court I-court I-court I-court B-tribunal I-tribunal I-tribunal I-tribunal I-tribunal I-tribunal O O O O B-litigant I-litigant I-litigant O B-litigant I-litigant I-litigant I-litigant I-litigant I-litigant I-litigant I-litigant I-litigant I-litigant I-litigant O B-litigant I-litigant I-litigant O B-litigant I-litigant I-litigant O B-litigant I-litigant I-litigant O B-litigant I-litigant I-litigant B-reason I-reason I-reason I-reason I-reason I-reason I-reason I-reason I-reason I-reason O O
我院于二〇一八年三月二十一日晚上十八时整,于泾源县人民法院第一高清法庭公开开庭（2019）浙0681引调9456号李曌与远维衡、钟金贵,池福君、钟成光,被送达人人何庭永、和凤英伪证罪一案。	O O O B-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time O O B-court I-court I-court I-court I-court I-court I-court B-tribunal I-tribunal I-tribunal I-tribunal I-tribunal I-tribunal O O O O B-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no I-case_no B-litigant I-litigant O B-litigant I-litigant I-litigant O B-litigant I-litigant I-litigant O B-litigant I-litigant I-litigant O B-litigant I-litigant I-litigant O O O O O B-served I-served I-served I-served O B-served I-served I-served B-reason I-reason I-reason O O O
我院于二〇二〇年十月十四日九时三十分，我院水唇法庭依法公开开庭审理原审原告单位朱盛男、王化兰，朱绍元与原审被告单位张祥敏，原审第三人邵明阁行政许可三案阳江市阳东区人民法院	O O O B-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time I-time O O O B-tribunal I-tribunal I-tribunal I-tribunal O O O O O O O O O O O O O O B-origin_plaintiff_inst I-origin_plaintiff_inst I-origin_plaintiff_inst O B-origin_plaintiff_inst I-origin_plaintiff_inst I-origin_plaintiff_inst O B-origin_plaintiff_inst I-origin_plaintiff_inst I-origin_plaintiff_inst O O O O O O O B-origin_defendant_inst I-origin_defendant_inst I-origin_defendant_inst O O O O O O B-origin_third I-origin_third I-origin_third B-reason I-reason I-reason I-reason O O B-court I-court I-court I-court I-court I-court I-court I-court I-court I-court

后续还是按照之前的步骤开始训练，训练完成后再次评估模型效果。
5轮训练完成的日志

1 2	[2022-08-06 13:09:25,081 INFO] Report precision, recall, and f1: [2022-08-06 13:09:25,081 INFO] 0.991, 0.991, 0.991

模型评估

测试集评估

测试集（也是通过生成程序生成的，并非真实的数据）一共13920条数据，无论是准确率还是召回率都达到了99.6%的水平

1 2	correct/total: 13873/13920 accuracy: 0.9966235632183909

一共预测错误47条数据，经过排查预测错误数据不一定是真的错了，只是按照测试集的标注判定是预测错误，那么我们的测试集是生成的，为啥会存在标注错误的问题呢？因为收集的这些各种实体存在不准确的情况，以下描述中关于标注错误的都是收集实体不准确导致的。

// 这里把"初"判定为单独案号了
{"label": {"case_no": [{"初": [0, 0]}, {"（2019）吉0191民2680号": [1, 17]}],
           "court": [{"承德市双桥区人民法院": [19, 28]}],
           "litigant": [{"周万财": [67, 69]}],
           "reason": [{"船舶租用合同纠纷": [70, 77]}],
           "time": [{"二〇一九年十二月二十三下午十六时二十分": [30, 48]}],
           "tribunal": [{"洛龙区法院2003号法庭": [53, 64]}]},
 "text": "初（2019）吉0191民2680号，承德市双桥区人民法院于二〇一九年十二月二十三下午十六时二十分，在我院洛龙区法院2003号法庭开庭周万财船舶租用合同纠纷一案。\n"}

// 这个预测没错，测试集标注存在问题，测试集中：王治德农村土地承 被认为是一个当事人
{"text": "本院定于2020年10月14日9时30分，我院巡回法庭云上法庭开庭王金锁、重庆新华化工有限公司、受送达人王治德农村土地承保证合同纠纷一案。泾阳县人民法院\n", 
"label": {
    "time": [{"2020年10月14日9时30分": [4, 19]}], 
    "tribunal": [{"巡回法庭云上法庭": [23, 30]}], 
    "litigant": [{"王金锁": [33, 35]}, {"重庆新华化工有限公司": [37, 46]}], 
    "served_c": [{"王治德": [52, 54]}], 
    "reason": [{"农村土地承保证合同纠纷": [55, 65]}], 
    "court": [{"泾阳县人民法院": [69, 76]}]
    }
}

// 这里案由是：转质权纠纷，提取出错
{"text": "（2019）京0114民初13199号，本院定于2019年12月23下午16时20分,于本院第10审判庭依法张绍康与刘江华，异议人于永生，石周转质权纠纷五案安庆市大观区人民法院\n", 
"label": {
    "case_no": [{"（2019）京0114民初13199号": [0, 18]}], 
    "time": [{"2019年12月23下午16时20分": [24, 41]}], 
    "tribunal": [{"第10审判庭": [46, 51]}], 
    "litigant": [{"张绍康": [54, 56]}, {"刘江华": [58, 60]}], 
    "disagree": [{"于永生": [65, 67]}, {"石周转": [69, 71]}], 
    "reason": [{"质权纠纷": [72, 75]}], 
    "court": [{"安庆市大观区人民法院": [78, 88]}]}
}

// 桐君阁大药房重庆市江北区华新街五十一店失业 是同一个实体，被识别为两个，其中失业二字为数据集本身问题
{"text": "本院于2018-03-21 18:49，在安陆市人民法院院本部第五审判法庭依法开庭（2016）闽0581民初313号桐君阁大药房重庆市江北区华新街五十一店失业和封光杰、原审第三人付登琴,李伦才，中国人民财产保险股份有限公司绥中支公司网络购物合同纠纷四案\n", 
"label": {
    "time": [{"2018-03-21 18:49": [3, 18]}], 
    "court": [{"安陆市人民法院": [21, 27]}], 
    "tribunal": [{"院本部第五审判法庭": [28, 36]}], 
    "case_no": [{"（2016）闽0581民初313号": [41, 57]}], 
    "litigant": [{"桐君阁大药房": [58, 63]}, {"重庆市江北区华新街五十一店失业": [64, 78]}, {"封光杰": [80, 82]}], 
    "origin_third": [{"付登琴": [89, 91]}, {"李伦才": [93, 95]}, {"中国人民财产保险股份有限公司绥中支公司": [97, 115]}], 
    "reason": [{"网络购物合同纠纷": [116, 123]}]
    }
}

// 这里的提取实际不算错，因为训练数据中出现过“本院第二法庭”形式的地点，而这条测试集中标注是把“本院第二法庭开庭”作为了实体
{"text": "我院定于2018-03-21 18:49,在我院本院第二法庭开庭审理傅世江和罗志波物件损害责任纠纷一案。泸州市纳溪区人民法院\n", 
"label": {
    "time": [{"2018-03-21 18:49": [4, 19]}], 
    "tribunal": [{"本院第二法庭": [24, 29]}], 
    "litigant": [{"傅世江": [34, 36]}, {"罗志波": [38, 40]}], 
    "reason": [{"物件损害责任纠纷": [41, 48]}], 
    "court": [{"泸州市纳溪区人民法院": [52, 62]}]
    }
}

// 提取错误，第一审判庭 中盈创富（北京）投资管理有限公司
{"text": "（2020）粤07民终22号,本院于2019年12月23下午14时整,在本院第一审判庭中盈创富（北京）投资管理有限公司,北京素信维通技术服务有限公司和王立忠,案外人刘文全制作、贩卖、传播淫秽物品罪一案\n", 
"label": {
    "case_no": [{"（2020）粤07民终22号": [0, 13]}], 
    "time": [{"2019年12月23下午14时整": [18, 33]}], 
    "tribunal": [{"第一审判庭中": [38, 43]}], 
    "litigant": [{"盈创富（北京）投资管理有限公司": [44, 58]}, {"北京素信维通技术服务有限公司": [60, 73]}, {"王立忠": [75, 77]}], 
    "out_of_case": [{"刘文全": [82, 84]}], 
    "reason": [{"制作、贩卖、传播淫秽物品罪": [85, 97]}]
    }
}

// 何荣将（人名），未完整提取
{"text": "本院定于2016-09-28 11:11,我院（新鼎路办公点）三法庭公开（2020）沪0115民初2058号刘少超与陈禄，中国人民财产保险股份有限公司重庆市南岸区支公司，被送达人重庆市公公安局渝中区分局违法刑事拘留，满维兰，何荣将商标行政管理（商标）一案曲沃县人民法院\n", 
"label": {
    "time": [{"2016-09-28 11:11": [4, 19]}], 
    "tribunal": [{"（新鼎路办公点）三法庭": [23, 33]}], 
    "case_no": [{"（2020）沪0115民初2058号": [36, 53]}], 
    "litigant": [{"刘少超": [54, 56]}, {"陈禄": [58, 59]}, {"中国人民财产保险股份有限公司重庆市南岸区支公司": [61, 83]}], 
    "served": [{"重庆市公公安局渝中区分局违法刑事拘留": [89, 106]}, {"满维兰": [108, 110]}, {"何荣": [112, 113]}], 
    "reason": [{"将": [114, 114]}, {"商标行政管理（商标）": [115, 124]}], 
    "court": [{"曲沃县人民法院": [127, 134]}]
    }
}

// 生产、销售有毒、有害食品罪（案由）未提取出来
{"text": "本院于2023-07-14 15:26,昆明铁路运输中级法院民法庭二号审判庭依法公开审理朱玉泉,徐红芳和北京外交人员人事服务生产、销售有毒、有害食品罪七案\n", 
"label": {
    "time": [{"2023-07-14 15:26": [3, 18]}], 
    "court": [{"昆明铁路运输中级法院": [20, 29]}], 
    "tribunal": [{"民法庭二号审判庭": [30, 37]}], 
    "litigant": [{"朱玉泉": [44, 46]}, {"徐红芳": [48, 50]}, {"北京外交人员人事服务生产、销售有毒、有害食品罪": [52, 74]}]
    }
}
// 五矿钢铁西安有限公司（公司名）未完整提取
{"text": "我院于2018-3-21 18:30，诺敏河人民法院第一小审五矿钢铁西安有限公司，肖世文、安琦、罗迟娅第三人刘荣辉破坏监管秩序罪三案\n", 
"label": {
    "time": [{"2018-3-21 18:30": [3, 17]}], 
    "court": [{"诺敏河人民法院": [19, 25]}], 
    "tribunal": [{"第一小审五矿": [26, 31]}], 
    "litigant": [{"钢铁西安有限公司": [32, 39]}, {"肖世文": [41, 43]}, {"安琦": [45, 46]}, {"罗迟娅": [48, 50]}], 
    "third": [{"刘荣辉": [54, 56]}], 
    "reason": [{"破坏监管秩序罪": [57, 63]}]
    }
}
// 张 和平（人名）提取出错，如果去掉人名间的空格，可以正常提取
{"text": "本院于2021-1-26 14:00,于本院上塘法庭依法公开开庭付小林,张 和平和傅建涛，赵冰被送达人皮伟信用卡诈骗罪一案\n", 
"label": {
    "time": [{"2021-1-26 14:00": [3, 17]}], 
    "tribunal": [{"上塘法庭": [22, 25]}], 
    "litigant": [{"付小林": [32, 34]}, {"张 和": [36, 38]}, {"平": [39, 39]}, {"傅建涛": [41, 43]}, {"赵冰": [45, 46]}], 
    "served": [{"皮伟": [51, 52]}], 
    "reason": [{"信用卡诈骗罪": [53, 58]}]
    }
}
// 这个提取正确，标注数据有误
{"text": "我院于2025-1-14 10:00,于我院徐水漕河审判庭(数字)依法公开开庭审理（2020）冀0930民初31号张帮中，北京市房山区坨里乡坨里村村民委员会，刘喜凤与北京市顺义区市场监督管理局（原北京市工商行政管理局顺义分局）、田克锋，案外人皮爱群、重庆贤方机电设备有限责任公司信用证转让纠纷一案。\n", 
"label": {
    "time": [{"2025-1-14 10:00": [3, 17]}], 
    "tribunal": [{"徐水漕河审判庭(数字)": [22, 32]}], 
    "case_no": [{"（2020）冀0930民初31号": [41, 56]}], 
    "litigant": [{"张帮中": [57, 59]}, {"北京市房山区坨里乡坨里村村民委员会": [61, 77]}, {"刘喜凤": [79, 81]}, {"北京市顺义区市场监督管理局（原北京市工商行政管理局顺义分局）": [83, 112]}, {"田克锋": [114, 116]}], 
    "out_of_case": [{"皮爱群": [121, 123]}, {"重庆贤方机电设备有限责任公司": [125, 138]}], 
    "reason": [{"信用证转让纠纷": [139, 145]}]
    }
}
// 张虎龙离婚，人名提取错了（实际上这条数据有本身存在问题）
{"text": "本院定于2019-5-13 10:45,我院（北区）第23法庭公开审理段跃蕊，重庆大明顺建筑工程有限责任公司,陈罡与张虎龙离婚后异议人陈清珍、国网重庆奉节县供电有限责任公司文化行政管理（文化）一案\n", 
"label": {
    "time": [{"2019-5-13 10:45": [4, 18]}], 
    "tribunal": [{"（北区）第23法庭": [22, 30]}], 
    "litigant": [{"段跃蕊": [35, 37]}, {"重庆大明顺建筑工程有限责任公司": [39, 53]}, {"陈罡": [55, 56]}, {"张虎龙离婚": [58, 62]}], 
    "disagree": [{"陈清珍": [67, 69]}, {"国网重庆奉节县供电有限责任公司": [71, 85]}], 
    "reason": [{"文化行政管理（文化）": [86, 95]}]
    }
}
// 因为四川力诚百货股份有限公司后面多了个失业，导致案由提取出错（实际不算错）
{"text": "（2019）浙0302民初11124号，本院定于2018-03-21 18:38，在浙江省宁波市中级人民法院费城人民法庭第一审判庭公开审理刘占国,向征与闫大光，岳振生原审第三人周崇明、付庆林,四川力诚百货股份有限公司失业军人叛逃罪一案\n", 
"label": {
    "case_no": [{"（2019）浙0302民初11124号": [0, 18]}], 
    "time": [{"2018-03-21 18:38": [24, 39]}], 
    "court": [{"浙江省宁波市中级人民法院": [42, 53]}], 
    "tribunal": [{"费城人民法庭第一审判庭": [54, 64]}], 
    "litigant": [{"刘占国": [69, 71]}, {"向征": [73, 74]}, {"闫大光": [76, 78]}, {"岳振生": [80, 82]}], 
    "origin_third": [{"周崇明": [88, 90]}, {"付庆林": [92, 94]}, {"四川力诚百货股份有限公司": [96, 107]}], 
    "reason": [{"失业军人叛逃罪": [108, 114]}]
    }
}
// 因为合川区乐风欢唱酒吧后面多了个著作权，导致案由提取出错（实际不算错）
{"text": "我院定于二〇二〇年五月十四日中午十二时整，于大柴旦矿区人民法院第五审判庭依法（2019）苏0903民初7430号付先云、重庆市铜梁区康腾电子科技有限公司、徐渝生、合川区乐风欢唱酒吧著作权承揽合同纠纷一案\n", 
"label": {
    "time": [{"二〇二〇年五月十四日中午十二时整": [4, 19]}], 
    "court": [{"大柴旦矿区人民法院": [22, 30]}], 
    "tribunal": [{"第五审判庭": [31, 35]}], 
    "case_no": [{"（2019）苏0903民初7430号": [38, 55]}], 
    "litigant": [{"付先云": [56, 58]}, {"重庆市铜梁区康腾电子科技有限公司": [60, 75]}, {"徐渝生": [77, 79]}, {"合川区乐风欢唱酒吧": [81, 89]}], 
    "reason": [{"著作权承揽合同纠纷": [90, 98]}]
    }
}
// 测试集标注数据错误
{"text": "（2019）鄂0107民初3324号，我院定于2015年6月4日下午14时30分，本院本院审判庭旭日法庭依法开庭审理张倩琳、龚志强与王耳菊，孟祥银、涂仁芬被送达人栾亚平,贩卖拐卖妇女、儿童罪一案\n", 
"label": {
    "case_no": [{"（2019）鄂0107民初3324号": [0, 17]}], 
    "time": [{"2015年6月4日下午14时30分": [23, 39]}], 
    "tribunal": [{"本院审判庭旭日法庭": [43, 51]}], 
    "litigant": [{"张倩琳": [58, 60]}, {"龚志强": [62, 64]}, {"王耳菊": [66, 68]}, {"孟祥银": [70, 72]}, {"涂仁芬": [74, 76]}], 
    "served": [{"栾亚平": [81, 83]}], 
    "reason": [{"贩卖拐卖妇女、儿童罪": [85, 94]}]
    }
}
// 测试集标注数据错误
{"text": "（2019）粤03民初3035号，本院于2021-11-14,在本院民二庭开庭审理宋有成、王家剑,许家彬，重庆市涪陵区综合执法局,江杰，龙德合，重庆中自物流有限责任公司,第三人北京日升寰宇影视有限公司与公司、证券、保险、票据等有关的民事纠纷一案\n", 
"label": {
    "case_no": [{"（2019）粤03民初3035号": [0, 15]}], 
    "time": [{"2021-11-14": [20, 29]}], 
    "tribunal": [{"民二庭": [34, 36]}], 
    "litigant": [{"宋有成": [41, 43]}, {"王家剑": [45, 47]}, {"许家彬": [49, 51]}, {"重庆市涪陵区综合执法局": [53, 63]}, {"江杰": [65, 66]}, {"龙德合": [68, 70]}, {"重庆中自物流有限责任公司": [72, 83]}], 
    "third": [{"北京日升寰宇影视有限公司": [88, 99]}], 
    "reason": [{"与公司、证券、保险、票据等有关的民事纠纷": [100, 119]}]
    }
}
// 测试集标注错误
{"text": "（2019）浙1081民初12520号，本院定于二〇一九年十二月二十三下午十四时整,我院第二十九号法庭公开重庆居安空调配件有限公司,重庆鑫欧泓科技有限公司、重庆市安全生产监督管理局，饶吉书，中航(重庆)微电子有限公司、曹淑成，刘君认定伪造产地纠纷一案\n", 
"label": {
    "case_no": [{"（2019）浙1081民初12520号": [0, 18]}], 
    "time": [{"二〇一九年十二月二十三下午十四时整": [24, 40]}], 
    "tribunal": [{"第二十九号法庭": [44, 50]}], 
    "litigant": [{"重庆居安空调配件有限公司": [53, 64]}, {"重庆鑫欧泓科技有限公司": [66, 76]}, {"重庆市安全生产监督管理局": [78, 89]}, {"饶吉书": [91, 93]}, {"中航(重庆)微电子有限公司": [95, 107]}, {"曹淑成": [109, 111]}, {"刘君": [113, 114]}], 
    "reason": [{"认定伪造产地纠纷": [115, 122]}]
    }
}
// 测试集标注错误
{"text": "本院于二〇一九年十二月二十三晚上十八时四十五分，本院木井法庭依法开庭（2019）闽0402民初4479号2001年11月21日公司,谢位海、肖光权,平钦与牟春雷，金正合,彭颖、张为进，送达人中国环球租赁有限公司航空旅客运输合同纠纷七案通化铁路运输法院\n", 
"label": {
    "time": [{"二〇一九年十二月二十三晚上十八时四十五分": [3, 22]}], 
    "tribunal": [{"木井法庭": [26, 29]}], 
    "case_no": [{"（2019）闽0402民初4479号2001年11月21日": [34, 62]}], 
    "litigant": [{"公司": [63, 64]}, {"谢位海": [66, 68]}, {"肖光权": [70, 72]}, {"平钦": [74, 75]}, {"牟春雷": [77, 79]}, {"金正合": [81, 83]}, {"彭颖": [85, 86]}, {"张为进": [88, 90]}], 
    "server": [{"中国环球租赁有限公司": [95, 104]}], 
    "reason": [{"航空旅客运输合同纠纷": [105, 114]}], 
    "court": [{"通化铁路运输法院": [117, 125]}]
    }
}
// 树质权纠纷 案由实体提取错误
{"text": "本院于2018-03-21 18:38,我院三道堰法庭依法开庭（2019）渝0106民初19745号韩青刚、北京首钢资源再利用科技有限公司，任大伟、重庆永辉超市有限公司北碚区双元大道分公司,重庆铭杰餐饮有限公司武隆店,谢三峰、林根祥、陈仲华被送达人周理成,克劳伯格股份两合公司，伍清树质权纠纷一案。英吉沙县人民法院\n", 
"label": {
    "time": [{"2018-03-21 18:38": [3, 18]}], 
    "tribunal": [{"三道堰法庭": [22, 26]}], 
    "case_no": [{"（2019）渝0106民初19745号": [31, 49]}], 
    "litigant": [{"韩青刚": [50, 52]}, {"北京首钢资源再利用科技有限公司": [54, 68]}, {"任大伟": [70, 72]}, {"重庆永辉超市有限公司北碚区双元大道分公司": [74, 93]}, {"重庆铭杰餐饮有限公司武隆店": [95, 107]}, {"谢三峰": [109, 111]}, {"林根祥": [113, 115]}, {"陈仲华": [117, 119]}], 
    "served": [{"周理成": [124, 126]}, {"克劳伯格股份两合公司": [128, 137]}, {"伍清": [139, 140]}], 
    "reason": [{"树质权纠纷": [141, 145]}], 
    "court": [{"英吉沙县人民法院": [149, 157]}]
    }
}
// 标注数据错误
{"text": "我院于二〇二四年四月十六日中午十一时三十分，在我院海阳法庭汤雪,重庆市渝北区汇升小额贷款有限责任公司,张瑞芝、汪国强、刘兴淑，北京海家味餐饮管理有限公司与北京市顺义区人力资源和社会保障局，罗德英、邓李娟，被送达人南通宇博建筑机械制造有限公司、廖远培，张联永伪造、变造、买卖武装部队公文、证件、印章罪八案。\n", 
"label": {
    "time": [{"二〇二四年四月十六日中午十一时三十分": [3, 20]}], 
    "tribunal": [{"海阳法庭": [25, 28]}], 
    "litigant": [{"汤雪": [29, 30]}, {"重庆市渝北区汇升小额贷款有限责任公司": [32, 49]}, {"张瑞芝": [51, 53]}, {"汪国强": [55, 57]}, {"刘兴淑": [59, 61]}, {"北京海家味餐饮管理有限公司": [63, 75]}, {"北京市顺义区人力资源和社会保障局": [77, 92]}, {"罗德英": [94, 96]}, {"邓李娟": [98, 100]}], 
    "served": [{"南通宇博建筑机械制造有限公司": [106, 119]}, {"廖远培": [121, 123]}, {"张联永": [125, 127]}], 
    "reason": [{"伪造、变造、买卖武装部队公文、证件、印章罪": [128, 148]}]
    }
}
// 北京市密云区医与 实体错误，多了与（也受到生成数据不完整的影响）
{"text": "本院于二〇一九年三月十四日下午十四时整，于我院安口法庭依法公开（2019）新4002民初6238号郑道兰、重庆千山房地产开发有限责任公司,优酷信息技术（北京）有限公司,重庆百炼钢商贸有限公司,冉泽龙,丰都县鑫和矿业有限公司、重庆鼎岚房屋经纪服务部,北京市密云区医与程代木,南岸区皓彩汽车用品经营部、受送达人中山市力高电器有限公司,王志辉企业公司制改造合同纠纷一案吴堡县人民法院\n", 
"label": {
    "time": [{"二〇一九年三月十四日下午十四时整": [3, 18]}], 
    "tribunal": [{"安口法庭": [23, 26]}], 
    "case_no": [{"（2019）新4002民初6238号": [31, 48]}], 
    "litigant": [{"郑道兰": [49, 51]}, {"重庆千山房地产开发有限责任公司": [53, 67]}, {"优酷信息技术（北京）有限公司": [69, 82]}, {"重庆百炼钢商贸有限公司": [84, 94]}, {"冉泽龙": [96, 98]}, {"丰都县鑫和矿业有限公司": [100, 110]}, {"重庆鼎岚房屋经纪服务部": [112, 122]}, {"北京市密云区医与": [124, 131]}, {"程代木": [132, 134]}, {"南岸区皓彩汽车用品经营部": [136, 147]}], 
    "served_c": [{"中山市力高电器有限公司": [153, 163]}, {"王志辉": [165, 167]}], 
    "reason": [{"企业公司制改造合同纠纷": [168, 178]}], 
    "court": [{"吴堡县人民法院": [181, 188]}]
    }
}
// 标注数据错误
{"text": "本院于2020-03-08 09:42，在本院渔沟法庭依法公开开庭廖义容,施赛奶,安昌兰，曹光群、翁武福、张代云，胡祖池，东方家园有限公司与ARCH家居有限公司,北京北大方正电子有限公司，黄桂平,受送达人程科阳,张明书申请实现担保物权案件一案。\n", 
"label": {
    "time": [{"2020-03-08 09:42": [3, 18]}], 
    "tribunal": [{"渔沟法庭": [23, 26]}], 
    "litigant": [{"廖义容": [33, 35]}, {"施赛奶": [37, 39]}, {"安昌兰": [41, 43]}, {"曹光群": [45, 47]}, {"翁武福": [49, 51]}, {"张代云": [53, 55]}, {"胡祖池": [57, 59]}, {"东方家园有限公司": [61, 68]}, {"ARCH家居有限公司": [70, 79]}, {"北京北大方正电子有限公司": [81, 92]}, {"黄桂平": [94, 96]}], 
    "served_c": [{"程科阳": [102, 104]}, {"张明书": [106, 108]}], 
    "reason": [{"申请实现担保物权案件": [109, 118]}]
    }
}
// 公共道路妨碍通行损害责任纠纷 案由提取出错
{"text": "我院定于2021年1月26下午14时，于本院龙市法庭依法审理刘路林，龙训兵、冯俊光、重庆滨南城市综合服务股份有限公司和查尔斯（KELUBIA CHARLES SUNDAY）、程京平，重庆中泓房地产开发有限公司、杨胜勇、刘天英，谭长红、受送达人重庆南安房地产开发有限公司合川分公司，文传全,重庆市石柱土家族自治县沙子镇龙源村村民委员会公共道路妨碍通行损害责任纠纷一案娄底市娄星区人民法院\n", 
"label": {
    "time": [{"2021年1月26下午14时": [4, 17]}], 
    "tribunal": [{"龙市法庭": [22, 25]}], 
    "litigant": [{"刘路林": [30, 32]}, {"龙训兵": [34, 36]}, {"冯俊光": [38, 40]}, {"重庆滨南城市综合服务股份有限公司": [42, 57]}, {"查尔斯（KELUBIA CHARLES SUNDAY）": [59, 85]}, {"程京平": [87, 89]}, {"重庆中泓房地产开发有限公司": [91, 103]}, {"杨胜勇": [105, 107]}, {"刘天英": [109, 111]}, {"谭长红": [113, 115]}], 
    "served_c": [{"重庆南安房地产开发有限公司合川分公司": [121, 138]}, {"文传全": [140, 142]}, {"重庆市石柱土家族自治县沙子镇龙源村村民委员会": [144, 165]}], 
    "reason": [{"公共道路": [166, 169]}, {"妨碍通行损害责任纠纷": [170, 179]}], 
    "court": [{"娄底市娄星区人民法院": [182, 192]}]
    }
}
// 重庆中尊工程咨询有限公司后面多了失业，数据标注错误
{"text": "我院定于2018-3-21 18:30,于我院第二十六审判庭（新317法庭）依法（2019）吉0104民初5775号当事人赵天波、邹永兰,原审第三人重庆中尊工程咨询有限公司失业录音录像制作者权权属纠纷一案。\n", 
"label": {
    "time": [{"2018-3-21 18:30": [4, 18]}], 
    "tribunal": [{"第二十六审判庭（新317法庭）": [23, 37]}], 
    "case_no": [{"（2019）吉0104民初5775号": [40, 57]}], 
    "litigant": [{"赵天波": [61, 63]}, {"邹永兰": [65, 67]}], 
    "origin_third": [{"重庆中尊工程咨询有限公司": [74, 85]}], 
    "reason": [{"失业录音录像制作者权权属纠纷": [86, 99]}]
    }
}
// 将"."抽取为案由
{"text": "（2015）狮民初字第929号，我院定于二〇一九年十二月二十三晚上十八时四十五分，全州县人民法院仲裁法庭依法公开审理原告单位杨志福,葛晨、被告单位汪士万被送达人黄世建.水路旅客运输合同纠纷一案。\n", 
"label": {
    "case_no": [{"（2015）狮民初字第929号": [0, 14]}], 
    "time": [{"二〇一九年十二月二十三晚上十八时四十五分": [20, 39]}], 
    "court": [{"全州县人民法院": [41, 47]}], 
    "tribunal": [{"仲裁法庭": [48, 51]}], 
    "plaintiff_inst": [{"杨志福": [62, 64]}, {"葛晨": [66, 67]}], 
    "defendant_inst": [{"汪士万": [73, 75]}], 
    "served": [{"黄世建": [80, 82]}], 
    "reason": [{".": [83, 83]}, {"水路旅客运输合同纠纷": [84, 93]}]
    }
}
// 伟俊投资基金  逃汇罪  提取错误
{"text": "（2016）闽0581民初6641号,本院于2019-03-14 14:41,我院两江审判区第15法庭公开被告人谢开伟，张朝英,夏明灯,原审第三人伟俊投资基金逃汇罪一案。武陟县人民法院\n", 
"label": {
    "case_no": [{"（2016）闽0581民初6641号": [0, 17]}], 
    "time": [{"2019-03-14 14:41": [22, 37]}], 
    "tribunal": [{"两江审判区第15法庭": [41, 50]}], 
    "accused": [{"谢开伟": [56, 58]}, {"张朝英": [60, 62]}, {"夏明灯": [64, 66]}], 
    "origin_third": [{"伟俊": [73, 74]}], 
    "reason": [{"投资基金逃汇罪": [75, 81]}], 
    "court": [{"武陟县人民法院": [85, 92]}]
    }
}
// 标注数据错误，何志文生产  先予执行
{"text": "（2019）鄂01民初8483号,达尔罕茂明安联合旗人民法院定于2025-1-14 10:00，在本院西漕第二十二法庭依法公开开庭被告人付以分，石德明、何志文生产先予执行一案\n", 
"label": {
    "case_no": [{"（2019）鄂01民初8483号": [0, 15]}], 
    "court": [{"达尔罕茂明安联合旗人民法院": [17, 29]}], 
    "time": [{"2025-1-14 10:00": [32, 46]}], 
    "tribunal": [{"西漕第二十二法庭": [51, 58]}], 
    "accused": [{"付以分": [68, 70]}, {"石德明": [72, 74]}, {"何志文": [76, 78]}], 
    "reason": [{"生产先予执行": [79, 84]}]
    }
}
// 标注数据错误
{"text": "我院定于二〇一九年十二月二十三下午十四时整，我院第28审判庭依法公开开庭审理当事人阳年益、余有堂，褚多锋、刘昌桂,重庆市大渡口区都都建筑工程设备租赁站原审第三人王成保,四川省广安建设集团有限公司,杨明金技术转化合同纠纷二案新兴县人民法院\n", 
"label": {
    "time": [{"二〇一九年十二月二十三下午十四时整": [4, 20]}], 
    "tribunal": [{"第28审判庭": [24, 29]}], 
    "litigant": [{"阳年益": [41, 43]}, {"余有堂": [45, 47]}, {"褚多锋": [49, 51]}, {"刘昌桂": [53, 55]}, {"重庆市大渡口区都都建筑工程设备租赁站": [57, 74]}], 
    "origin_third": [{"王成保": [80, 82]}, {"四川省广安建设集团有限公司": [84, 96]}, {"杨明金": [98, 100]}], 
    "reason": [{"技术转化合同纠纷": [101, 108]}], 
    "court": [{"新兴县人民法院": [111, 118]}]
    }
}
// 重庆市綦江区人民检察院无罪逮捕 标注数据错误
{"text": "本院于2019-12-23 18:45,于本院吴江盛泽第五法庭依法开庭审理（2020）浙0303刑初20号原审上诉人顾振生,施友林与原审被上诉人任明荣，汪隆国,陈兰兰，案外人重庆市綦江区人民检察院无罪逮捕测试合同纠纷一案。明溪县人民法院\n", 
"label": {
    "time": [{"2019-12-23 18:45": [3, 18]}], 
    "tribunal": [{"吴江盛泽第五法庭": [23, 30]}], 
    "case_no": [{"（2020）浙0303刑初20号": [37, 52]}], 
    "origin_appellant": [{"顾振生": [58, 60]}, {"施友林": [62, 64]}], 
    "origin_appellee": [{"任明荣": [72, 74]}, {"汪隆国": [76, 78]}, {"陈兰兰": [80, 82]}], 
    "out_of_case": [{"重庆市綦江区人民检察院": [87, 97]}], 
    "reason": [{"无罪逮捕测试合同纠纷": [98, 107]}], 
    "court": [{"明溪县人民法院": [111, 118]}]
    }
}
// 标注数据错误 重庆新红旗缸盖制造有限公司失业
{"text": "（2020）京0105行初12号，我院于二〇一五年六月四日下午十四时三十分,在我院320113第十二法庭公开开庭审理罪犯张宗祥,杨道营，陈继中，中山证券有限责任公司、重庆新红旗缸盖制造有限公司失业健康保险合同纠纷九案封丘县人民法院\n", 
"label": {
    "case_no": [{"（2020）京0105行初12号": [0, 15]}], 
    "time": [{"二〇一五年六月四日下午十四时三十分": [20, 36]}], 
    "tribunal": [{"320113第十二法庭": [41, 51]}], 
    "criminal": [{"张宗祥": [60, 62]}, {"杨道营": [64, 66]}, {"陈继中": [68, 70]}, {"中山证券有限责任公司": [72, 81]}, {"重庆新红旗缸盖制造有限公司": [83, 95]}], 
    "reason": [{"失业健康保险合同纠纷": [96, 105]}], 
    "court": [{"封丘县人民法院": [108, 115]}]
    }
}
// 标注数据错误
{"text": "梁山县人民法院于二〇一九年十二月二十三下午十四时整，本院视高审判庭公开申请再审人赵月军，田桂兰与被申请再审人郭庆红与中国商业联合会,骆文平、殷华碧、熊东琼，受送达人蒲永君、梁二君期货虚假信息责任纠纷一案\n", 
"label": {
    "court": [{"梁山县人民法院": [0, 6]}], 
    "time": [{"二〇一九年十二月二十三下午十四时整": [8, 24]}], 
    "tribunal": [{"视高审判庭": [28, 32]}], 
    "apply_again": [{"赵月军": [40, 42]}, {"田桂兰": [44, 46]}], 
    "applied_again": [{"郭庆红": [54, 56]}, {"中国商业联合会": [58, 64]}, {"骆文平": [66, 68]}, {"殷华碧": [70, 72]}, {"熊东琼": [74, 76]}], 
    "served_c": [{"蒲永君": [82, 84]}, {"梁二君": [86, 88]}], 
    "reason": [{"期货虚假信息责任纠纷": [89, 98]}]
    }
}
// 标注数据错误
{"text": "我院定于2024-4-16 11:30，于库尔勒市人民法院审判楼七法庭公开原审原告单位罗冉，张国红蔡晓红，章诗丽,王万艮和原审被告单位重庆兆冠玻璃有限公司,重庆祺龙房地产开发有限公司，送达人王龙安,重庆至鑫峰活动板房有限公司，重庆市极鼎房地产（集团）有限公司不正当竞争纠纷九案。\n", 
"label": {
    "time": [{"2024-4-16 11:30": [4, 18]}], 
    "court": [{"库尔勒市人民法院": [21, 28]}], 
    "tribunal": [{"审判楼七法庭": [29, 34]}], 
    "origin_plaintiff_inst": [{"罗冉": [43, 44]}, {"张国红": [46, 48]}, {"蔡晓红": [49, 51]}, {"章诗丽": [53, 55]}, {"王万艮": [57, 59]}], 
    "origin_defendant_inst": [{"重庆兆冠玻璃有限公司": [67, 76]}, {"重庆祺龙房地产开发有限公司": [78, 90]}], 
    "server": [{"王龙安": [95, 97]}, {"重庆至鑫峰活动板房有限公司": [99, 111]}, {"重庆市极鼎房地产（集团）有限公司": [113, 128]}], 
    "reason": [{"不正当竞争纠纷": [129, 135]}]
    }
}
// 标注数据错误
{"text": "本院于二〇一六年九月二十八日11:00到12:00,我院百丈法庭审理（2020）沪0106民初439号申请再审人张显静，辛延辉，蒋畅江与被申请再审人冯加宝，袁洪清,凤翔、被送达人冉崇明，宋振飞,北京润泽众投科技有限公司与华融国际信托有限责任公司劳动合同纠纷一案当阳市人民法院\n", 
"label": {
    "time": [{"二〇一六年九月二十八日11:00到12:00": [3, 24]}], 
    "tribunal": [{"百丈法庭": [28, 31]}], 
    "case_no": [{"（2020）沪0106民初439号": [34, 50]}], 
    "apply_again": [{"张显静": [56, 58]}, {"辛延辉": [60, 62]}, {"蒋畅江": [64, 66]}], 
    "applied_again": [{"冯加宝": [74, 76]}, {"袁洪清": [78, 80]}, {"凤翔": [82, 83]}], 
    "served": [{"冉崇明": [89, 91]}, {"宋振飞": [93, 95]}, {"北京润泽众投科技有限公司": [97, 108]}, {"华融国际信托有限责任公司": [110, 121]}], 
    "reason": [{"劳动合同纠纷": [122, 127]}], 
    "court": [{"当阳市人民法院": [130, 137]}]
    }
}
//公司的控股股东、实际控制人、董事、监事、高级管理人员损害公司利益赔偿纠纷 案由提取出错
{"text": "（2019）浙0784民初8978号,我院于二〇一六年九月二十八日11:00到12:00,于本院韩店第四审判庭依法开庭审理罪犯赵刚强、秦自海,马胜英,蒋素清，北京弘祥博奥餐饮有限公司,石柱土家族自治县沙子镇龙源村民委员公司的控股股东、实际控制人、董事、监事、高级管理人员损害公司利益赔偿纠纷一案。\n", 
"label": {
    "case_no": [{"（2019）浙0784民初8978号": [0, 17]}], 
    "time": [{"二〇一六年九月二十八日11:00到12:00": [22, 43]}], 
    "tribunal": [{"韩店第四审判庭": [48, 54]}], 
    "criminal": [{"赵刚强": [63, 65]}, {"秦自海": [67, 69]}, {"马胜英": [71, 73]}, {"蒋素清": [75, 77]}, {"北京弘祥博奥餐饮有限公司": [79, 90]}, {"石柱土家族自治县沙子镇龙源村民委员公司": [92, 110]}], 
    "reason": [{"的控股股东、实际控制人、董事、监事、高级管理人员损害公司利益赔偿纠纷": [111, 144]}]
    }
}
// 标注数据错误
{"text": "本院定于二〇二三年七月十四日15:00到16:00,本院那大法庭依法公开开庭（2015）狮民初字第3761号原审原告梁素亚、重庆市南岸区迎龙镇苟家嘴村汤家山社。、原审被告陈怀树,彭志刚，陶传福、孔凡九、北京心海佳丽服装服饰有限公司第三人重庆新申世纪化工有限公司船舶污染损害责任纠纷一案。景德镇市珠山区人民法院\n", 
"label": {
    "time": [{"二〇二三年七月十四日15:00到16:00": [4, 24]}], 
    "tribunal": [{"那大法庭": [28, 31]}], 
    "case_no": [{"（2015）狮民初字第3761号": [38, 53]}], 
    "origin_plaintiff": [{"梁素亚": [58, 60]}, {"重庆市南岸区迎龙镇苟家嘴村汤家山社": [62, 78]}], 
    "origin_defendant": [{"陈怀树": [85, 87]}, {"彭志刚": [89, 91]}, {"陶传福": [93, 95]}, {"孔凡九": [97, 99]}, {"北京心海佳丽服装服饰有限公司": [101, 114]}], 
    "third": [{"重庆新申世纪化工有限公司": [118, 129]}], 
    "reason": [{"船舶污染损害责任纠纷": [130, 139]}], 
    "court": [{"景德镇市珠山区人民法院": [143, 154]}]
    }
}
// 标注数据错误 （人谢海伟）
{"text": "本院定于2023年7月14日15:00到16:00，在本院黄石法庭公开原审原告刘运兰、郭存军,罗玉群、原审被告人谢海伟，古亚军，翟爽,漳州金色梦想文化传播有限公司、案外人重庆安抚祭典礼仪服务有限公司海域使用权纠纷一案高邮市人民法院\n", 
"label": {
    "time": [{"2023年7月14日15:00到16:00": [4, 24]}], 
    "tribunal": [{"黄石法庭": [29, 32]}], 
    "origin_plaintiff_er": [{"刘运兰": [39, 41]}, {"郭存军": [43, 45]}, {"罗玉群": [47, 49]}], 
    "origin_accused": [{"谢海伟": [56, 58]}, {"古亚军": [60, 62]}, {"翟爽": [64, 65]}, {"漳州金色梦想文化传播有限公司": [67, 80]}], 
    "out_of_case": [{"重庆安抚祭典礼仪服务有限公司": [85, 98]}], 
    "reason": [{"海域使用权纠纷": [99, 105]}], 
    "court": [{"高邮市人民法院": [108, 115]}]
    }
}
// 标注数据错误
{"text": "（2020）沪01民终674号,本院定于2020-3-8 9:00，于大方县人民法院牡丹江铁路运输法院法庭依法公开申诉人谢大文，许科海、钟和伶、被申诉人史万安,刘喜凤与北京市顺义区市场监督管理局（原北京市工商行政管理局顺义分局），邓君席，谢乐碧，原审第三人田翠侠,田由海，冯旭杰利用影响力受贿罪一案。\n", 
"label": {
    "case_no": [{"（2020）沪01民终674号": [0, 14]}], 
    "time": [{"2020-3-8 9:00": [20, 32]}], 
    "court": [{"大方县人民法院": [35, 41]}], 
    "tribunal": [{"牡丹江铁路运输法院法庭": [42, 52]}], 
    "appellant_s": [{"谢大文": [60, 62]}, {"许科海": [64, 66]}, {"钟和伶": [68, 70]}], 
    "appellee_s": [{"史万安": [76, 78]}, {"刘喜凤": [80, 82]}, {"北京市顺义区市场监督管理局（原北京市工商行政管理局顺义分局）": [84, 113]}, {"邓君席": [115, 117]}, {"谢乐碧": [119, 121]}], 
    "origin_third": [{"田翠侠": [128, 130]}, {"田由海": [132, 134]}, {"冯旭杰": [136, 138]}], 
    "reason": [{"利用影响力受贿罪": [139, 146]}]
    }
}
// 提取出错，公司证照返还纠纷 案由未提取出来
{"text": "庆阳市西峰区人民法院定于2018-3-21 18:30，在我院交通法庭一庭依法公开开庭（2020）川0522刑初5号当事人梁友林,上海恒企教育培训有限公司、黄宇峰，朱金华、杜建民，重庆市蓝源机械制造有限公司,史海军，受送达人徐建公司证照返还纠纷一案\n", 
"label": {
    "court": [{"庆阳市西峰区人民法院": [0, 9]}], 
    "time": [{"2018-3-21 18:30": [12, 26]}], 
    "tribunal": [{"交通法庭一庭": [31, 36]}], 
    "case_no": [{"（2020）川0522刑初5号": [43, 57]}], 
    "litigant": [{"梁友林": [61, 63]}, {"上海恒企教育培训有限公司": [65, 76]}, {"黄宇峰": [78, 80]}, {"朱金华": [82, 84]}, {"杜建民": [86, 88]}, {"重庆市蓝源机械制造有限公司": [90, 102]}, {"史海军": [104, 106]}], 
    "served_c": [{"徐建公司证照返还纠纷": [112, 121]}]
    }
}
// 提取出错，不过也受到标注数据影响，实际应为“招商银行股份有限公司信用卡中心”
{"text": "我院定于2024年4月16日中午11时30分,于仪陇县人民法院莱西法院十二审判庭当事人卢郑东，程地田、蒋祖爱，中国人民财产保险股份有限公司西安市灞桥支公司，魏南方、北京城建远东建设投资集团有限公司、杨德禄、送达人王怀雄，招商银行股份有限公司信用卡夫妻财产约定纠纷一案。\n", 
"label": {
    "time": [{"2024年4月16日中午11时30分": [4, 21]}], 
    "court": [{"仪陇县人民法院": [24, 30]}], 
    "tribunal": [{"莱西法院十二审判庭": [31, 39]}], 
    "litigant": [{"卢郑东": [43, 45]}, {"程地田": [47, 49]}, {"蒋祖爱": [51, 53]}, {"中国人民财产保险股份有限公司西安市灞桥支公司": [55, 76]}, {"魏南方": [78, 80]}, {"北京城建远东建设投资集团有限公司": [82, 97]}, {"杨德禄": [99, 101]}], 
    "server": [{"王怀雄": [106, 108]}, {"招商银行股份有限公司": [110, 119]}], 
    "reason": [{"信用卡夫妻财产约定纠纷": [120, 130]}]
    }
}
// 标注数据错误
{"text": "本院定于2019年3月14日下午14时整,在我院平水法庭2依法公开上诉人北京市海淀区太月园小区业主委员会和被上诉人伍三建、江西省国利建设集团有限公司，唐辉现，王国东,黄益华,张登财,向学卫、送达人成都金松营销有限公司失业公路旅客运输合同纠纷一案永州市零陵区人民法院\n", 
"label": {
    "time": [{"2019年3月14日下午14时整": [4, 19]}], 
    "tribunal": [{"平水法庭2": [24, 28]}], 
    "appellant": [{"北京市海淀区太月园小区业主委员会": [36, 51]}], 
    "appellee": [{"伍三建": [57, 59]}, {"江西省国利建设集团有限公司": [61, 73]}, {"唐辉现": [75, 77]}, {"王国东": [79, 81]}, {"黄益华": [83, 85]}, {"张登财": [87, 89]}, {"向学卫": [91, 93]}], 
    "server": [{"成都金松营销有限公司": [98, 107]}], 
    "reason": [{"失业公路旅客运输合同纠纷": [108, 119]}], 
    "court": [{"永州市零陵区人民法院": [122, 132]}]
    }
}
// 标注数据错误
{"text": "我院于二〇二一年十一月十四日，在本院第九合议庭依法审理当事人刁银祥、李庆仓,北京浩洋，陶鸿中、重庆麦可菲餐饮文化有限公司，艾花、魏启明,孝感市恒丰建筑劳务有限公司重庆分公司异议人茅林加，四川力诚百货股份有限公司失业海难救助合同纠纷一案\n", 
"label": {
    "time": [{"二〇二一年十一月十四日": [3, 13]}], 
    "tribunal": [{"第九合议庭": [18, 22]}], 
    "litigant": [{"刁银祥": [30, 32]}, {"李庆仓": [34, 36]}, {"北京浩洋": [38, 41]}, {"陶鸿中": [43, 45]}, {"重庆麦可菲餐饮文化有限公司": [47, 59]}, {"艾花": [61, 62]}, {"魏启明": [64, 66]}, {"孝感市恒丰建筑劳务有限公司重庆分公司": [68, 85]}], 
    "disagree": [{"茅林加": [89, 91]}, {"四川力诚百货股份有限公司": [93, 104]}], 
    "reason": [{"失业海难救助合同纠纷": [105, 114]}]
    }
}
// 这个非常特殊
{"text": "（2019）浙0726民初7260号，我院于2019-5-13 10:45，于我院留古寺人民法庭依法审理原审原告单位北京宏翔瑞和商贸有限公司，四川赛鑫建筑劳务有限公司,深圳市城建工程集团有限公司，杨韵洁、四川省川力水利电力建设有限公司，邹先云,杜宝华，何永强被继承人债务清偿和原审被告单位北京领拍婚纱摄影有限公司,送达人张艳超危险驾驶罪二案壶关县人民法院", 
"label": {
    "case_no": [{"（2019）浙0726民初7260号": [0, 17]}], 
    "time": [{"2019-5-13 10:45": [22, 36]}], 
    "tribunal": [{"留古寺人民法庭": [41, 47]}], 
    "origin_plaintiff_inst": [{"北京宏翔瑞和商贸有限公司": [58, 69]}, {"四川赛鑫建筑劳务有限公司": [71, 82]}, {"深圳市城建工程集团有限公司": [84, 96]}, {"杨韵洁": [98, 100]}, {"四川省川力水利电力建设有限公司": [102, 116]}, {"邹先云": [118, 120]}, {"杜宝华": [122, 124]}, {"何永强被继承人债务清偿": [126, 136]}], 
    "origin_defendant_inst": [{"北京领拍婚纱摄影有限公司": [144, 155]}],
     "server": [{"张艳超": [160, 162]}], 
     "reason": [{"危险驾驶罪": [163, 167]}], 
     "court": [{"壶关县人民法院": [170, 176]}]
     }
}
// 单成武  未提取到
{"text": "我院定于2019年12月23下午14时整，在我院第九审判庭依法公开开庭审理原审原告袁小刚和原审被告单成武、靳志祥,遵义永顺机械设备租赁有限公司，柏光跃，重庆嘉柬文化传播有限公司、冯小凡,杨梦瑶、朱定均、受送达人刘锦,肖功佐海运集装箱租赁合同纠纷一案。丰顺县人民法院", 
"label": {
    "time": [{"2019年12月23下午14时整": [4, 19]}], 
    "tribunal": [{"第九审判庭": [24, 28]}], 
    "origin_plaintiff": [{"袁小刚": [41, 43]}], 
    "origin_defendant_inst": [{"靳志祥": [53, 55]}, {"遵义永顺机械设备租赁有限公司": [57, 70]}, {"柏光跃": [72, 74]}, {"重庆嘉柬文化传播有限公司": [76, 87]}, {"冯小凡": [89, 91]}, {"杨梦瑶": [93, 95]}, {"朱定均": [97, 99]}], 
    "served_c": [{"刘锦": [105, 106]}, {"肖功佐": [108, 110]}], 
    "reason": [{"海运集装箱租赁合同纠纷": [111, 121]}], 
    "court": [{"丰顺县人民法院": [125, 131]}]
    }
}
// 标注数据错误
{"text": "（2019）粤18行初324号，我院定于2017-11-19 11:22,于我院第十审判庭互联网法庭开庭被告人周婧，重庆市顶安机电设备有限公司，景磊,郑兴海、北京市大兴区发展和改革委员会，重庆市黔江区宝达贸易有限公司，徐志群,代明莉、王忠合,受送达人严忠文、郭贺明,北京润泽众投科技有限公司与华融国际信托有限责任公司借款合同纠纷一案。", 
"label": {
    "case_no": [{"（2019）粤18行初324号": [0, 14]}], 
    "time": [{"2017-11-19 11:22": [20, 35]}], 
    "tribunal": [{"第十审判庭互联网法庭": [40, 49]}], 
    "accused": [{"周婧": [55, 56]}, {"重庆市顶安机电设备有限公司": [58, 70]}, {"景磊": [72, 73]}, {"郑兴海": [75, 77]}, {"北京市大兴区发展和改革委员会": [79, 92]}, {"重庆市黔江区宝达贸易有限公司": [94, 107]}, {"徐志群": [109, 111]}, {"代明莉": [113, 115]}, {"王忠合": [117, 119]}], 
    "served_c": [{"严忠文": [125, 127]}, {"郭贺明": [129, 131]}, {"北京润泽众投科技有限公司": [133, 144]}, {"华融国际信托有限责任公司": [146, 157]}], 
    "reason": [{"借款合同纠纷": [158, 163]}]
    }
}
// 罗淇升（罗夏新、罗炫志） 标注数据有问题，当然预测也不准确
{"text": "本院于2016-09-28 11:11，于本院益店法庭依法开庭审理（2020）豫0423刑初30号罪犯思凯德有限责任公司、中国平安财产保险股份有限公司广安中心支公司、段成利、罗淇升（罗夏新、罗炫志），王常印、重庆市金池霖金属制品有限公司,北京宽带通电信技术有限公司,李吉会,贺明伟专利申请权转让合同纠纷五案。古蔺县人民法院", 
"label": {
    "time": [{"2016-09-28 11:11": [3, 18]}], 
    "tribunal": [{"益店法庭": [23, 26]}], 
    "case_no": [{"（2020）豫0423刑初30号": [33, 48]}], 
    "criminal": [{"思凯德有限责任公司": [51, 59]}, {"中国平安财产保险股份有限公司广安中心支公司": [61, 81]}, {"段成利": [83, 85]}, {"罗淇升（罗夏新、": [87, 94]}, {"罗炫志）": [95, 98]}, {"王常印": [100, 102]}, {"重庆市金池霖金属制品有限公司": [104, 117]}, {"北京宽带通电信技术有限公司": [119, 131]}, {"李吉会": [133, 135]}, {"贺明伟": [137, 139]}], 
    "reason": [{"专利申请权转让合同纠纷": [140, 150]}], 
    "court": [{"古蔺县人民法院": [154, 160]}]
    }
}
// 标注数据错误
{"text": "（2020）沪0114民初999号,本院于2019-3-14 14:00,在本院柴堡人民法庭依法公开审理原告单位双桥区致爱饼屋、谭必俊,米祖全，阳年益、余有堂,重庆明鲲机械有限公司和被告单位张福恒，聂学武,耿志成,卞晓凯，周贤军采矿权纠纷一案。黑山县人民法院", 
"label": {
    "case_no": [{"（2020）沪0114民初999号": [0, 16]}], 
    "time": [{"2019-3-14 14:00": [21, 35]}], 
    "tribunal": [{"柴堡人民法庭": [40, 45]}], 
    "plaintiff_inst": [{"双桥区致爱饼屋": [56, 62]}, {"谭必俊": [64, 66]}, {"米祖全": [68, 70]}, {"阳年益": [72, 74]}, {"余有堂": [76, 78]}, {"重庆明鲲机械有限公司": [80, 89]}], 
    "defendant_inst": [{"张福恒": [95, 97]}, {"聂学武": [99, 101]}, {"耿志成": [103, 105]}, {"卞晓凯": [107, 109]}, {"周贤军": [111, 113]}], 
    "reason": [{"采矿权纠纷": [114, 118]}], 
    "court": [{"黑山县人民法院": [122, 128]}]
    }
}
// 标注数据错误
{"text": "本院定于2020年10月12日上午9时30分，于本院力洋法庭依法开庭（2017）闽0581刑初1549号被告人韩玉兰,柏东征、重庆双顺建筑劳务有限公司,范同生，满运萍,祝立军,孙付丽,黄勇群,陈贵英，泸州市第七建筑工程公司原审第三人王洪超李玲海上、通海水域货运代理合同纠纷一案", 
"label": {
    "time": [{"2020年10月12日上午9时30分": [4, 21]}], 
    "tribunal": [{"力洋法庭": [26, 29]}], 
    "case_no": [{"（2017）闽0581刑初1549号": [34, 51]}], 
    "accused": [{"韩玉兰": [55, 57]}, {"柏东征": [59, 61]}, {"重庆双顺建筑劳务有限公司": [63, 74]}, {"范同生": [76, 78]}, {"满运萍": [80, 82]}, {"祝立军": [84, 86]}, {"孙付丽": [88, 90]}, {"黄勇群": [92, 94]}, {"陈贵英": [96, 98]}, {"泸州市第七建筑工程公司": [100, 110]}], 
    "origin_third": [{"王洪超": [116, 118]}, {"李玲": [119, 120]}], 
    "reason": [{"海上、通海水域货运代理合同纠纷": [121, 135]}]
    }
}

经过逐条数据分析，47条预测错误的数据中，其中25条为测试集标注错误（生成数据可以被当成正确的，但是标签错了），但是实际模型预测正确的；其中有7条预测结果与测试集标签不一致，但是是生成的语句有噪音导致的，如果去除噪音可以正常抽取；剩下15条为确实抽取错误。
其中有一条错误情况非常罕见：

（2019）浙0726民初7260号，我院于2019-5-13 10:45，于我院留古寺人民法庭依法审理原审原告单位北京宏翔瑞和商贸有限公司，四川赛鑫建筑劳务有限公司,深圳市城建工程集团有限公司，杨韵洁、四川省川力水利电力建设有限公司，邹先云,杜宝华，何永强被继承人债务清偿和原审被告单位北京领拍婚纱摄影有限公司,送达人张艳超危险驾驶罪二案壶关县人民法院

这里“何永强被继承人债务清偿”是生成的数据有噪音，生成的时候这段被当做一个实体，预测的标签是：

B-origin_plaintiff_inst I-origin_plaintiff_inst I-origin_plaintiff_inst I-origin_plaintiff_inst I-origin_defendant_inst I-origin_defendant_inst I-origin_defendant_inst I-origin_defendant_inst I-origin_defendant_inst I-origin_defendant_inst I-origin_defendant_inst

在第四个字与第五个字之间标签发生了变化，然后也没有B开头，这种数据还挺罕见。（后续会解释这一现象）

针对生成数据中存在的各种问题，已经进行了优化，后续会再次生成数据来做训练。

真实数据评估

下面是一些真实数据的预测结果，其中大部分是上一次模型预测出错的数据

# 正确
{'label': {'litigant': [{'民族出版社': [42, 46]}, {'包春鹅': [48, 50]}],
           'reason': [{'劳动争议': [51, 54]}],
           'time': [{'二〇一九年八月七日 上午八时四十分': [4, 20]}],
           'tribunal': [{'（北区）第16法庭': [25, 33]}]},
 'text': '我院定于二〇一九年八月七日 上午八时四十分，在本院（北区）第16法庭依法公开开庭审理民族出版社与包春鹅劳动争议一案'}

# 正确
{'label': {'litigant': [{'民政部紧急救援促进中心': [39, 49]}, {'国宁紧急救援服务有限公司': [51, 62]}],
           'reason': [{'公司解散纠纷': [63, 68]}],
           'time': [{'二〇一八年八月八日 下午十四时整': [4, 19]}],
           'tribunal': [{'西3-48法庭': [24, 30]}]},
 'text': '我院定于二〇一八年八月八日 '
         '下午十四时整，在本院西3-48法庭依法公开开庭审理民政部紧急救援促进中心与国宁紧急救援服务有限公司公司解散纠纷一案'}

# 正确
{'label': {'litigant': [{'金哲鹏': [40, 42]}, {'王恩建': [49, 51]}],
           'reason': [{'诈骗罪': [43, 45]}, {'诈骗罪': [52, 54]}],
           'time': [{'二〇二〇年二月十八日 上午九时整': [4, 19]}],
           'tribunal': [{'温榆河第十二法庭': [24, 31]}]},
 'text': '我院定于二〇二〇年二月十八日 上午九时整，在本院温榆河第十二法庭依法公开开庭审理金哲鹏诈骗罪一案同王恩建诈骗罪一案合并审理。'}
# 正确，可以说有点出乎意料了
 {'label': {'litigant': [{'耿志慧': [41, 43]},
                        {'解彬': [45, 46]},
                        {'王文娟': [59, 61]},
                        {'张吴西西': [63, 66]}],
           'reason': [{'非法吸收公众存款罪': [47, 55]}, {'非法吸收公众存款罪': [67, 75]}],
           'time': [{'二〇二〇年二月二十七日 上午九时整': [4, 20]}],
           'tribunal': [{'温榆河第十二法庭': [25, 32]}]},
 'text': '我院定于二〇二〇年二月二十七日 '
         '上午九时整，在本院温榆河第十二法庭依法公开开庭审理耿志慧、解彬非法吸收公众存款罪一案同王文娟、张吴西西非法吸收公众存款罪一案合并审理。'}

# 有错误，承办人：文学清 训练数据没有类似情况，相当于是干扰项
{'label': {'case_no': [{'（2016）渝0116民初7329号': [0, 17]},
                       {'（2016）渝0116民初7329号': [56, 73]}],
           'court': [{'江津区人民法院': [100, 106]}],
           'defendant': [{'王洪春': [82, 84]}, {'何向东': [86, 88]}],
           'litigant': [{'文学清': [111, 113]}],
           'plaintiff': [{'陈华辉': [76, 78]}],
           'reason': [{'企业出售合同纠纷': [89, 96]}],
           'time': [{'二〇一六年八月二十九日14:00到17:30': [22, 43]}],
           'tribunal': [{'第十五审判法庭': [45, 51]}, {'承办人：': [107, 110]}]},
 'text': '（2016）渝0116民初7329号本院定于二〇一六年八月二十九日14:00到17:30在第十五审判法庭开庭审理（2016）渝0116民初7329号原告陈华辉诉被告王洪春,何向东企业出售合同纠纷一案。江津区人民法院承办人：文学清'}

# 正确
 {'label': {'case_no': [{'（2016）渝0109民初3986号': [44, 61]}],
           'court': [{'重庆市北碚区人民法院': [0, 9]}],
           'defendant': [{'刘之华': [74, 76]},
                         {'刘一光': [78, 80]},
                         {'郑惠': [82, 83]}],
           'plaintiff': [{'刘支玉': [64, 66]}, {'刘支均': [68, 70]}],
           'reason': [{'遗嘱继承纠纷': [84, 89]}],
           'time': [{'二零一六年六月二十三日09:00到10:30': [12, 33]}],
           'tribunal': [{'第四审判庭': [35, 39]}]},
 'text': '重庆市北碚区人民法院定于二零一六年六月二十三日09:00到10:30在第四审判庭开庭审理（2016）渝0109民初3986号原告刘支玉,刘支均诉被告刘之华,刘一光,郑惠遗嘱继承纠纷一案'}
# 有错误，把（北区）提成了court
 {'label': {'court': [{'（北区）': [20, 23]}],
           'litigant': [{'罗星梦': [35, 37]},
                        {'王扬': [39, 40]},
                        {'李淑云': [42, 44]},
                        {'缪晋荣': [46, 48]},
                        {'北京华雷联盟资本管理中心（有限合伙）': [50, 67]}],
           'reason': [{'借款合同纠纷': [68, 73]}],
           'time': [{'二〇一八年六月七日下午十五时整': [4, 18]}],
           'tribunal': [{'第11法庭': [24, 28]}]},
 'text': '本院定于二〇一八年六月七日下午十五时整在（北区）第11法庭公开开庭审理罗星梦、王扬、李淑云、缪晋荣、北京华雷联盟资本管理中心（有限合伙）借款合同纠纷一案'}

 # 正确
 {'label': {'case_no': [{'（2016）渝0234民初2481号': [0, 17]},
                       {'（2016）渝0234民初2481号': [54, 71]}],
           'court': [{'开州区人民法院': [126, 132]}],
           'defendant': [{'重庆华润万家生活超市有限公司': [92, 105]},
                         {'华润万家有限公司': [107, 114]}],
           'plaintiff': [{'重庆大帝集团房地产开发有限公司': [74, 88]}],
           'reason': [{'房屋租赁合同纠纷': [115, 122]}],
           'time': [{'二〇一六年十一月二十三日09:00到12:00': [22, 44]}],
           'tribunal': [{'第七法庭': [46, 49]}]},
 'text': '（2016）渝0234民初2481号本院定于二〇一六年十一月二十三日09:00到12:00在第七法庭开庭审理（2016）渝0234民初2481号原告重庆大帝集团房地产开发有限公司诉被告重庆华润万家生活超市有限公司,华润万家有限公司房屋租赁合同纠纷一案。开州区人民法院'}

# 正确，分公司与母公司名称重合问题
{'label': {'case_no': [{'（2017）渝04民终177号': [0, 14]},
                       {'（2017）渝04民终177号': [51, 65]}],
           'court': [{'重庆市第四中级人民法院': [115, 125]}],
           'defendant': [{'陈佐刚': [91, 93]}, {'彭水县茂林矿业开发有限公司': [95, 107]}],
           'plaintiff': [{'彭水县茂林矿业开发有限公司朱山洞三号煤矿': [68, 87]}],
           'reason': [{'劳动争议': [108, 111]}],
           'time': [{'二〇一七年二月二十二日14:30到18:00': [19, 40]}],
           'tribunal': [{'第三审判庭': [42, 46]}]},
 'text': '（2017）渝04民终177号本院定于二〇一七年二月二十二日14:30到18:00在第三审判庭开庭审理（2017）渝04民终177号原告彭水县茂林矿业开发有限公司朱山洞三号煤矿诉被告陈佐刚,彭水县茂林矿业开发有限公司劳动争议一案。重庆市第四中级人民法院'}

# 正确
{'label': {'case_no': [{'（2016）渝0230民初1718号': [0, 17]},
                       {'（2016）渝0230民初1718号': [53, 70]}],
           'court': [{'丰都县人民法院': [124, 130]}],
           'defendant': [{'广东省电白县第四建筑工程有限公司南宁分公司': [79, 99]},
                         {'广东省电白县第四建筑工程公司': [101, 114]}],
           'plaintiff': [{'湛国顺': [73, 75]}],
           'reason': [{'民间借贷纠纷': [115, 120]}],
           'time': [{'二〇一六年十月二十六日09:30到11:00': [22, 43]}],
           'tribunal': [{'社坛法庭': [45, 48]}]},
 'text': '（2016）渝0230民初1718号本院定于二〇一六年十月二十六日09:30到11:00在社坛法庭开庭审理（2016）渝0230民初1718号原告湛国顺诉被告广东省电白县第四建筑工程有限公司南宁分公司,广东省电白县第四建筑工程公司民间借贷纠纷一案。丰都县人民法院'}

# 正确
{'label': {'case_no': [{'（2017）渝01民终48号': [0, 13]},
                       {'（2017）渝01民终48号': [49, 62]}],
           'court': [{'重庆市第一中级人民法院': [120, 130]}],
           'defendant': [{'彭之德': [87, 89]},
                         {'黄洪玉': [91, 93]},
                         {'彭之平': [95, 97]},
                         {'胡祥模': [99, 101]},
                         {'彭知文': [103, 105]}],
           'plaintiff': [{'安盛天平财产保险股份有限公司重庆分公司': [65, 83]}],
           'reason': [{'机动车交通事故责任纠纷': [106, 116]}],
           'time': [{'二〇一七年二月十六日11:30到12:00': [18, 38]}],
           'tribunal': [{'第九审判庭': [40, 44]}]},
 'text': '（2017）渝01民终48号本院定于二〇一七年二月十六日11:30到12:00在第九审判庭开庭审理（2017）渝01民终48号原告安盛天平财产保险股份有限公司重庆分公司诉被告彭之德,黄洪玉,彭之平,胡祥模,彭知文机动车交通事故责任纠纷一案。重庆市第一中级人民法院'}

# 正确，带有英文名的企业
# 这里正确其实是按照当前的训练数据来讲是正确的，实际上A诉B，是一种特殊表达，应该A为原告，B为被告，后期会利用这种形式的训练数据去纠正模型。
{'label': {'litigant': [{'国家开发银行股份有限公司': [38, 49]},
                        {'香港皇冠船舶有限公司（CROWNSHIPLIMITED）': [51, 78]},
                        {'春和集团有限公司': [80, 87]},
                        {'江苏太平洋造船集团股份有限公司': [89, 103]},
                        {'梁光夫': [105, 107]}],
           'reason': [{'合同纠纷': [108, 111]}],
           'time': [{'二〇一七年四月二十七日上午九时三十分': [4, 21]}],
           'tribunal': [{'12法庭': [26, 29]}]},
 'text': '我院定于二〇一七年四月二十七日上午九时三十分，在本院12法庭依法公开开庭审理国家开发银行股份有限公司诉香港皇冠船舶有限公司（CROWNSHIPLIMITED）、春和集团有限公司、江苏太平洋造船集团股份有限公司、梁光夫合同纠纷一案。'}

# 正确
{'label': {'defendant': [{'国家知识产权局专利复审委员会': [53, 66]}],
           'plaintiff': [{'上海东软载波微电子有限公司': [37, 49]}],
           'reason': [{'其他': [80, 81]}],
           'third': [{'密克罗奇普技术公司': [71, 79]}],
           'time': [{'二〇一八年八月九日上午九时三十分': [3, 18]}],
           'tribunal': [{'第一法庭': [23, 26]}]},
 'text': '院定于二〇一八年八月九日上午九时三十分,在本院第一法庭依法公开开庭审理原告上海东软载波微电子有限公司与被告国家知识产权局专利复审委员会、第三人密克罗奇普技术公司其他一案。'}

# 有问题，这里“损害公司利益责任纠纷上诉”中的上诉可能不需要
 {'label': {'court': [{'北京市高级人民法院': [21, 29]}],
           'litigant': [{'王朝阳': [42, 44]},
                        {'中地不动产评估有限公司': [46, 56]},
                        {'尤孝明': [58, 60]},
                        {'钱海滨': [62, 64]},
                        {'王朝霞': [66, 68]}],
           'reason': [{'损害公司利益责任纠纷上诉': [69, 80]}],
           'time': [{'二零一六年十月十三日上午九时整': [4, 18]}],
           'tribunal': [{'12法庭': [30, 33]}]},
 'text': '我院定于二零一六年十月十三日上午九时整，在北京市高级人民法院12法庭依法公开开庭审理王朝阳与中地不动产评估有限公司、尤孝明、钱海滨、王朝霞损害公司利益责任纠纷上诉一案。'}

 # 正确
{'label': {'court': [{'北京市东城区人民法院': [23, 32]}],
           'litigant': [{'广发银行股份有限公司北京分行': [50, 63]}, {'张树长': [65, 67]}],
           'reason': [{'金融借款合同纠纷': [68, 75]}],
           'time': [{'二零一六年七月十四日下午十四时整': [5, 20]}],
           'tribunal': [{'（北区）第11法庭': [33, 41]}]},
 'text': '我院原定于二零一六年七月十四日下午十四时整，在北京市东城区人民法院（北区）第11法庭依法公开开庭审理广发银行股份有限公司北京分行与张树长金融借款合同纠纷一案，现取消开庭。'}

# 有问题，因原文中公司之间没有符号，所以模型也没有识别出来
 {'label': {'court': [{'北京市东城区人民法院': [20, 29]}],
           'litigant': [{'满毅': [47, 48]},
                        {'北京首都开发股份有限公司北京圣泽宏房地产经纪有限公司': [50, 75]},
                        {'杨佳茗': [77, 79]}],
           'reason': [{'房屋买卖合同纠纷': [80, 87]}],
           'time': [{'二零一六年八月九日上午九时整': [4, 17]}],
           'tribunal': [{'（北区）第28法庭': [30, 38]}]},
 'text': '我院定于二零一六年八月九日上午九时整，在北京市东城区人民法院（北区）第28法庭依法公开开庭审理满毅与北京首都开发股份有限公司北京圣泽宏房地产经纪有限公司、杨佳茗房屋买卖合同纠纷一案。'}
 
# 谭昌健涉嫌犯，这个当事人提取有问题
{'label': {'accused': [{'周容川': [72, 74]}, {'谭昌健涉嫌犯': [76, 81]}],
           'case_no': [{'2016）渝0151刑初167号': [0, 15]},
                       {'（2016）渝0151刑初167号': [52, 68]}],
           'court': [{'铜梁区人民法院': [92, 98]}],
           'reason': [{'故意毁坏财物罪': [82, 88]}],
           'time': [{'二〇一六年九月二十七日09:30到10:10': [20, 41]}],
           'tribunal': [{'第二审判庭': [43, 47]}]},
 'text': '2016）渝0151刑初167号本院定于二〇一六年九月二十七日09:30到10:10在第二审判庭开庭审理（2016）渝0151刑初167号被告人周容川,谭昌健涉嫌犯故意毁坏财物罪一案。铜梁区人民法院'}

优化方案

通过训练结果，虽然模型有较高的准确率，但是我很怀疑是训练数据比较多，模型学到了一些位置特征，关于语义方面学习到的较少，现在都是让模型在学习如何正确的抽取实体，但是没有教模型如何识别哪些是错误的实体（也就是哪些不是实体），所以这一方向也是一个突破点。

关于如何让模型识别哪些不是所需的实体，我想到一个方法就是生成一些冗余的数据，然后不标记为实体，比如上面的数据有“承办人：xxx”的情况，这在训练数据中没有出现过，然后这里是跟在法院的后面，所以模型记住了法院后面大概率是法庭，我们通过在法院后面增加各种冗余数据，且并不把其标注为实体，或许可以让模型学习到更多的知识。

除了测试集存在的那些问题，需要对相应的生成方法进行优化之外，在真实数据集上的测试结果，也提供了以下优化点：

给训练数据增加干扰项，提高模型的抗干扰能力，如“承办人”、“审判长”、“书记员”、“（北区）”、案由后面的上诉，当事人后面的“涉嫌”、“犯”等情况
尝试在企业之间不添加任何分隔的符号来训练模型的抽取能力；
增加其他格式特征的数据，减少模型对位置特征的记忆；
减少各种模板生成的数据量。