一、概述
Title: InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction
Paper:
1Motivation
大言语模型解锁了十分强的多义务才干，然而大模型在消息抽取义务上体现比拟差，例如gpt-3.5-turbo在Ontonotes数据集上的f1只要18.22。
2.1 全体结构
说明：
1）基于Instruction tuning技术，成功了一个消息抽取的一致框架，可以成功各式各样的消息抽取义务，并且能开掘外部义务之间的依赖相关。
2）将三大消息抽取义务都转化成Multi-Task Instruction Tuning的方式来处置。每个部分包含Instruction，Options，text三个输入，并且依照特定格局输入最终结果。
2.2 引入辅佐义务（子义务）提高精度
说明：为了在更细粒度的水平上提高功能，设计了与关键义务一同训练的辅佐义务，其中关于实体抽取、相关抽取、事情抽取区分设置了不同的辅佐义务。概略如下：
2.3 prompts样例
说明：prompts中依照不同的义务给出instructions，并且给出输入格局要求
2.4 提出了新的评测benchmark
提出了IE INSTRUCTIONS，32个不同消息提取数据集的基准（benchmark），驳回一致的文本到文本格局，带有有专家编写的instructions，用于评测本文方法的有效性。
3 Conclusion
1000个样本监视学习：取得了和BERT监视学习可比拟的一个成果。
zero-shot：在zero-shot的才干上取得了sota，比gpt3.5sota也好得多。
二、具体内容
1 与UIE以及USM等方法对比
不同方法优缺陷总结：
1）LMM：例如chatgpt等大模型在IE义务中体现不佳，本文提出InstructUIE探求大模型处置消息抽取新范式。
2）UIE：text-to-structure，关于不同的下游义务，须要独自启动finetune，遇到新label schema或许低资源状况下成果比拟差。
3）USM: 是一个一致的IE义务框架，它将IE义务转换为se-mantic婚配疑问。缺陷一：它将IE转换为语义婚配义务，这使得很难与生成言语模型集成。缺陷二：该方法要求对每个单词启动语义婚配，这造成训练和推理期间清楚参与。
2 Experiments
2.1 有监视学习（每个数据集10000样本）
实体抽取结果：
相关抽取和事情抽取结果：
论断：
1. NER：一切数据集都只要1万的训练集，平均F1 85%，超越了BERT的80%，20个义务有17个都超越BERT，很多超越了5个点，最多超越25个点，落败的数据集上训练集只要他人的20%，然而模型比BERT大很多。
2. RE：平均f1: 67.98%。
3. EE：Event trigger f1: 71.69%，Event Argument F1 metric，比UIE和SUM都好很多。
试验设置概略：
1）Backbone：11B TlanT5
2）Dataset：IE INSTRUCTIONS触及三种消息抽取义务，named entity extraction, relation extraction, and event extraction，每个数据集sample10000数据
3）对比Baseline：UIE：text-to-structure generation framework，USM：将IE义务转化成语义婚配义务，BERT
4）Metrics：Micro-F1，NER：实体边界和类型都要对，RE：主实体，副实体，相关都要对。EE事情触发：触发类型和触发词都要对，事情参数：role type 和 event type婚配
2.2 few-shot结果（非训练集评测）
论断：
2.3 与chatgpt对比
论断：在消息抽取义务上，比chatgpt成果要好十分多
三、总结
四、参考
[1] Wang X, Zhou W, Zu C, et al. InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction[J]. arXiv preprint arXiv:2304.08085, 2023.