复旦 NLP-LI 课题组近期论文索引

本文分类索引 FudanNLP 复旦大学自然语言处理课题组 张奇 老师和 桂韬 老师的近期论文，通过梳理来尝试找出自己的研究兴趣。由于基础知识储备不足，恐挂一漏万，本文仅供个人娱乐。

高效性 | Efficient NLP

插件微调 | Plug-and-play

• Making Parameter-efficient Tuning More Efficient: A Unified Framework for Classification Tasks
  • Coling 2022 长文 Oral，周鑫，马若恬，邹易澄，陈炫婷，谢睿，武威，桂韬，张奇，黄萱菁
  • 动机：PLM 的高效调参（只更新少量任务特有参数）的做法忽略了由任务特有的输出层（不同任务不同分类器）引起的参数低效问题。
  • 模型：插件微调（plugin-tuning），将不同分类任务的标签空间映射到同一个词表空间（同义替换），从而使用一个统一分类器，节省了参数量。
• PlugAT: A Plug and Play Module to Defend against Textual Adversarial Attack
  • Coling 2022 长文，郑锐，包容，刘勤，桂韬，张奇，黄萱菁，谢睿，武威
  • 动机：对抗训练有效提升模型的鲁棒性，但是需要更新所有参数，且从零开始训练。
  • PlugAT 模型：保持原始模型参数冻结，向模型输入和注意力层中注入可学习的参数 + 基于遗忘约束机制的对抗训练方法（防止对原任务造成副作用，过滤掉损伤原始性能的不良对抗样本）。
• Plug-Tagger: A Pluggable Sequence Labeling Framework Using Language Models
  • AAAI 2021 长文，周鑫，马若恬，桂韬，谈一丁，张奇，黄萱菁
  • 动机：插件用于将预训练模型快速部署到不同任务上，目前的前缀插件在不同的文本生成任务上表现很好，但是在序列标注这个分类任务上却失效，原因是不同的数据集需要不同的标签，需要训练不同的分类器。
  • 模型：将序列标注当成生成任务来做 + 用一个高频标签代替每个类别 + 任务专有前缀插件

提示学习 | Prompt Tuning

• Template-free Prompt Tuning for Few-shot NER
  • NAACL 2022 长文，马若恬，周鑫，桂韬，谈一丁，李林阳，张奇，黄萱菁
  • 动机：Prompt 在句子级 few-shot 任务上表现良好，精巧的模版设计和 label word 选择功不可没；但在 NER 等词级别任务上，构造模版的方式遍历所有位置是非常费时的。
  • EntLM 模型：去除模板构造步骤，但保留 PLMs 的词预测范式（在实体位置预测类别相关的 label word + 在非实体位置预测原词）+ 自动化选取合适 label word + 利用 prompt 语言模型减少预训练和下游任务的隔阂

彩票网络 | Lottery Ticket

• Efficient Adversarial Training with Robust Early-Bird Tickets
  • EMNLP 2022 主会，奚志恒*，郑锐*，桂韬，张奇，黄萱菁
  • 动机：对抗训练可以提升鲁棒性，但是需要通过投影梯度下降生成对抗样本，比传统的微调更昂贵。本文发现在对抗训练的早期阶段，（通常是0.15~0.3个epochs，远在参数收敛之前），鲁棒的网络连接模式就浮现了。
  • 鲁棒早鸟彩票网络：在对抗训练早期阶段寻找具有结构化稀疏度的鲁棒彩票（彩票收敛指标，帮助尽早搜索到彩票）+ 剩余时间内对鲁棒彩票进行微调
• Robust Lottery Tickets for Pre-trained Language Models
  • ACL 2022 长文，郑锐，包容，周钰皓，梁迪，王思睿，武威，桂韬，张奇，黄萱菁
  • 动机：彩票网络（PLMs 中媲美原始网络性能的子网络）在遭受对抗攻击时，表现出了比原始网络更差的鲁棒性。
  • 模型：可学习权重掩码（识别鲁棒彩票网络），使用 concrete distribution 对掩码建模（解决二值掩码带来的离散优化问题）+ L0 范数平滑近似（促进掩码稀疏度）+ 对抗损失目标（确保准确性和鲁棒性）

可靠性 | Reliable NLP

数据集偏差 | Bias

• Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding
  • EMNLP 2022 主会，高颂杨，窦士涵，张奇，黄萱菁
  • 动机：目前主流解决数据集偏差的方案是设计一个表层模型来预先识别有偏差的数据，但是两阶段方法增加了训练复杂度，在减轻偏见的同时导致了有效信息的衰减。
  • 核白化：表示标准化（消除编码句子的特征之间的相关性，通过提供各向同性的数据分布来消除偏见问题）
• Decorrelate Irrelevant, Purify Relevant: Overcome Textual Spurious Correlations from a Feature Perspective
  • Coling 2022 长文 Oral，窦士涵，郑锐，伍婷，高颂杨，单俊杰，张奇，吴月明，黄萱菁
  • 动机：NLU 模型往往依赖伪相关性（数据集偏差），导致分布外数据集性能差。现有的去偏方法大多用有偏的特征来识别并尽可能忽略这些有偏样本，然而却阻碍了模型从这些样本的非偏部分学习。
  • 模型：随机傅里叶特征和加权重采样（去除特征之间的依赖关系，减轻伪相关性）+ 互信息提纯特征（学习与任务更相关的特征）。
• Less is Better: Recovering Intended-Feature Subspace to Robustify NLU Models
  • Coling 2022 长文，伍婷，桂韬
  • 动机：现有的数据集去偏方法过度依赖于已知的偏差类型及属性（有监督），而不能捕获潜在的未知偏差。
  • RISK 模型：不直接去除偏差导致的 shortcuts（将其视为冗余特征输入）+ 将高维特征空间转换至低维流形上（使用一个 AutoEncoder 得到一个只包含有用特征的子空间）
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing
  • ACL-IJCNLP 2021 System Demo，王枭，刘勤，桂韬，张奇
  • 文本试金石（多语言鲁棒性检测工具）：用于数据集增强，包含多种文本转换、对抗样本生成、人群样本生成等，同时生成分析报告。在该工具生成的数据集上训练模型可以增强鲁棒性。

对抗鲁棒性 | Robustness

• Flooding-X: Improving BERT's Resistance to Adversarial Attacks via Loss-Restricted Fine-Tuning
  • ACL 2022 长文，刘勤，郑锐，包容，刘婧漪，刘志华，程战战，乔梁，桂韬，张奇，黄萱菁
  • 动机：对抗学习增强鲁棒性的方法是为每个输入样本生成对抗扰动，复杂性随着对抗样本所需要的梯度计算次数成倍上升
  • Flooding 模型：一种低成本的防御方法，但是依赖于参数的选择
  • Flooding-X 模型：不需要生成额外的对抗扰动来训练模型，其时间消耗近似于模型微调
• Searching for an Effective Defender: Benchmarking Defense against Adversarial Word Substitution
  • EMNLP 2021，Zongyi Li，徐健涵，Jiehang Zeng，李林阳，郑骁庆，张奇
  • 动机：NLP 任务中今进行词替换是常见的对抗攻击方法，但是现有方法缺少一个在相同条件的横向对比。
  • FreeLB++ 模型：在已有的 FreeLB 模型上改动，用 L2 范数扩大搜索范围，找到最易受攻击影响的点

隐私保护 | Privacy

• TextFusion: Privacy-Preserving Pre-trained Model Inference via Token Fusion
  • EMNLP 2022 主会，周鑫，陆劲竹，桂韬，马若恬，费子楚，王宇然，丁勇， 张轶博，张奇，黄萱菁
  • 动机：预训练云服务允许缺乏计算资源的用户将数据上传到云端完成推理，但纯文本可能包含私人信息，因此用户更愿意在本地进行部分计算得到中间表示后上传，但研究表明，中间表示也容易被还原为纯文本。
  • TextFusion：融合预测器（将多个可能含有隐私的词表示动态地融合为一个难以识别的词表示）+ 误导性的训练方案（用词向量空间中相近的词替换，使这些表示进一步被干扰）

信息抽取 | Information Extraction

事件抽取 | Event Argument Extraction

• A Multi-Format Transfer Learning Model for Event Argument Extraction via Variational Information Bottleneck
  • Coling 2022 长文 Oral，周杰，张奇，陈琴，贺梁，黄萱菁
  • 动机：事件抽取往往需要对特定数据集设计特定事件框架，但这些框架难以迁移到新场景中。而新场景的重新标注往往太过复杂。
  • EAE 模型：共享-特定的提示框架（从包含不同形式的数据集学习形式特定和形式共享的知识）+ 变分信息瓶颈（保留共享的知识，遗忘无关的知识）

论辩学习 | Argument

• A Structure-Aware Argument Encoder for Literature Discourse Analysis
  • Coling 2022 短文，李寅子，陈伟，魏忠钰，黄煜俊，王楚珺，王思远，张奇，黄萱菁，吴力波
  • 动机：论点表示学习倾向于平等对待句子中的词元（token），而忽略了形成论辩语境的隐含结构；特别是在科学文献中含有大量术语没有得到关注。
  • 模型：将 token 分为框架词和主题词 + 论点注意力机制建模（对 token 间的交互建模结构信息）+ 考虑段落级的位置信息来学习论点的高级结构。
• Discrete Argument Representation Learning for Interactive Argument Pair Identification
  • NAACL-HLT 2021，Lu Ji，魏忠钰，Jing Li，张奇，黄萱菁
  • 动机：在双方辩论的过程中，通常会对一个主题进行不同角度的阐述，本文旨在找出同一角度的论辩对。
  • 模型：获取论辩语言的离散表征 + 层级结构建模（融合上下文知识）

命名实体识别 | NER

• MINER: Improving Out-of-Vocabulary Named Entity Recognition from an Information Theoretic Perspective
  • ACL 2022 长文，王枭，窦士涵，熊立茂，邹易澄，张奇，桂韬，乔梁，程战战，黄萱菁
  • 动机：过去的 NER 方法过度依赖实体词本身的信息，以至于对 OOV 的识别很差，现实中的实体词往往呈长尾分布，意味着效果不好。
  • 模型：基于互信息的训练目标（泛化信息最大化 + 多余信息最小化），强化上下文，防止过度关注实体本身。
• Searching for Optimal Subword Tokenization in Cross-domain NER
  • IJCAI 2022 长文，马若恬，谈一丁，周鑫，陈炫婷，桂韬，张奇
  • 动机：无监督领域适应（UDA）任务常通过域无关表示学习完成，但对于 NER 这种词级别的任务，更需要对实体词进行迁移和对齐，应该把域无关表征放到 subword 上。
  • X-Piece 模型：将实体词重新 tokenize 成 subword，使源域和目标域尽量靠近，当成最优化问题解决。

序列标注 | Sequence Labeling

• Uncertainty-Aware Sequence Labeling
  • TASLP 2022，叶佳成，周翔，郑骁庆，桂韬，张奇
  • 动机：CRF 用于序列标注无法同时建模局部和全局依赖。
  • 两阶段框架：先生成 draft 标签，再使用双流自注意力模型修改（基于长距离标签依赖） + 贝叶斯网络查找可能出错的 draft（减少错误 draft 的边际效应）
• Larger-Context Tagging: When and Why Does It Work?
  • NAACL 2021，Jinlan Fu，Liangjing Feng，张奇，黄萱菁
  • 动机：句子级序列标注任务十分热门，但很少人关注更多的上下文信息是否有用，例如文档级序列标注。本文在多个任务和数据集上进行了验证，并提出了一种属性辅助评估方法。

社交媒体 | Social Media

• A Progressive Framework for Role-Aware Rumor Resolution
  • Coling 2022 长文，陈蕾，李冠颖，魏忠钰，杨洋，周葆华，张奇，黄萱菁
  • 新任务：引爆点识别，识别出在对谣言传播具有推动作用或对谣言判别有指示作用的消息。
  • 模型：非对称的图循环神经网络（建模信息传播树）+ 渐进式预测（引爆点识别、角色感知、谣言判别）

关键短语生成 | Keyphrase Generation

• Searching Effective Transformer for Seq2Seq Keyphrase Generation
  • NLPCC 2021 长文，Yige Xu，Yichao Luo，邹易澄，Zhengyan Li，张奇，邱锡鹏，黄萱菁
  • 动机：Transformer 在 KG 任务上表现不如传统的 RNN 模型，本文探究其原因并提出「信息稀疏假说」，设计实验并验证其正确性。主要原因是 KG 任务中关键信息过于稀疏，而原始的 Transformer 由于全连接注意力，容易过度关注 local context。
  • 模型：限制自注意力机制 + 引入导向信息。
• Keyphrase Generation with Fine-Grained Evaluation-Guided Reinforcement Learning
  • EMNLP 2021 长文 Finding，Yichao Luo，Yige Xu，叶佳成，邱锡鹏，张奇
  • 动机：过去的 KG 评价指标通常采用 F1 得分进行短语级的精确匹配，但忽略了语义上可能正确的答案。
  • 模型：细粒度评价指标（词级 F1、编辑距离等）+ 原始的短语级 F1 共同作为 RL 的 reward
• One2Set: Generating Diverse Keyphrases as a Set
  • ACL-IJCNLP 2021 长文，叶佳成，桂韬，Yichao Luo，Yige Xu，张奇
  • 动机：现有的 Seq2seq 模型会将关键短语拼接成序列作为目标序列训练，但却忽略了关键短语本身是无序的。
  • One2Set 模型：一组可学习控制编码（生成并行、无序的关键短语）+ K 步目标指派（双向匹配预测值与目标值，减少预测结果中的重复值，增加多样性）
• Heterogeneous Graph Neural Networks for Keyphrase Generation
  • EMNLP 2021 长文，叶佳成，Ruijian Cai，桂韬，张奇
  • 动机：KG 任务需要预测文档中出现的或未出现的关键短语，而对于未出现词往往生成的不可控、不准确。
  • 模型：先检索和源文档相似的文档-短语对，放入多级图模型抽取不同粒度的关系，解码器使用多级注意力 + 拷贝机制（直接拷贝相似文档中合适的答案）

实体关系抽取 | Relation Extraction

• A Relation-Oriented Clustering Method for Open Relation Extraction
  • EMNLP 2021 长文，赵君，桂韬，张奇，周雅倩
  • 动机：基于聚类的无监督方法成为开放域关系抽取的重要方法，但是向量空间中的距离并不能完全代表关系语义相似性（对齐），会导致关系分类错误。
  • RoCORE：将实例的向量表示聚集到关系质心，最小化具有相同关系的实例之间的距离。
• SENT: Sentence-level Distant Relation Extraction via Negative Training
  • ACL-IJCNLP 2021 长文，马若恬，桂韬，李林阳，张奇，黄萱菁，周雅倩
  • 动机：实体关系抽取通常采用 bag labels 形式，即对匹配的 sentence bag 在标签池中选择标签，但是会引入很多噪声（多标签噪声、没有正确标签噪声）。
  • Negative Training：用互补标签表示「该对象不属于此类标签」来降低噪声。
  • SENT 框架：对噪声数据进行互补标签构建，并将其转化为可利用的数据。

文本生成 | Text Generation

多跳问答 | Multi-hop QA

• Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering
  • Coling 2022 长文，王思远，魏忠钰，范智昊，张奇，黄萱菁
  • 动机：多跳推理需要聚合多个文档来回答复杂问题，过去通常将其分别为多个单跳问题来解答，但是每个单跳推理步骤缺乏支持事实，可能导致不可解释的错误分解。
  • 模型：每个中间步骤 = 单跳支持句识别 + 单跳问题生成，采用统一阅读器模型进行中间跳推理和最终跳推理。
• CQG: A Simple and Effective Controlled Generation Framework for Multi-hop Question Generation
  • ACL 2022 长文，费子楚，张奇，桂韬，梁迪，王思睿，武威，黄萱菁
  • 动机：现有的生成模型已经能够生成与答案相对应的正确问题，但无法保证生成问题的复杂性（浅层问题）。
  • CQG 模型：多跳推理链中关键实体的多跳问题 + 基于 Transformer 的可控解码器
• Iterative GNN-based Decoder for Question Generation
  • EMNLP 2021，费子楚，张奇，周雅倩
  • 动机：QG 任务旨在从一个文档中生成问答对，过去的解码器忽略了先前生成文本中的结构信息，且忽略了文本中重复出现的词的影响。因此，要将前面生成的词在后续生成中充当辅助信息才行。
  • IGND：每一个解码步骤都使用图神经网络（更能捕获段落中的依赖关系）对先前的文本建模

数学问题 | Math Word Problem

• Automatic Math Word Problem Generation With Topic-Expression Co-Attention Mechanism and Reinforcement Learning
  • TASLP 2022，Qinzhuo Wu，张奇，黄萱菁
  • 动机：给定主题和表达式生成对应的可解数学问题，常规的生成方法容易导致主题无关或者问题不可解。
  • MWPGen 模型：主题-表达式注意力机制（抽取二者的相关信息）+ 强化学习（以问题的标答为 reward）
• An Edge-Enhanced Hierarchical Graph-to-Tree Network for Math Word Problem Solving
  • EMNLP 2021，Qinzhuo Wu，张奇，魏忠钰
  • 动机：利用图神经网络解决数学问题是，可能没有考虑到图中的边缘标签信息和跨句子的远程词关系，只关注和当前词最相关的区域。
  • EEH-G2T：句子级聚合（边缘增强，聚合边缘标签信息）+ 问题级聚合（学习远程词）+ 树结构（注意到问题的不同部分）
• Math Word Problem Solving with Explicit Numerical Values
  • ACL-IJCNLP 2021，Qinzhuo Wu，张奇，魏忠钰，黄萱菁
  • 动机：现有的数学问题解决模型，都只将数值看作数字符号，而有时候数值类型也会决定表达式。
  • NumS2T 模型：用序列到树模型表示数值 + 数值属性预测机制（预测数值类型及其在表达式中的地位）
• A Knowledge-Aware Sequence-to-Tree Network for Math Word Problem Solving
  • EMNLP 2020，Qinzhuo Wu，张奇，Jinlan Fu，黄萱菁

对话系统 | Dialogue Systems

• Thinking Clearly, Talking Fast: Concept-Guided Non-Autoregressive Generation for Open-Domain Dialogue Systems
  • EMNLP 2021 长文，邹易澄，刘志华，胡星武，张奇
  • 动机：现有的 seq2seq 对话系统难以掌握同类概念迁移，且无法在回答中引入多个关联的概念。
  • CG-nAR 模型：多概念决策模块（从概念图模型中找出相关概念）+ 插入式 Transformer（插入一个概念后非自回归地补全回答）
• Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling
  • AAAI 2021 长文，邹易澄，Minlong Peng，张奇，黄萱菁
  • 动机：对话摘要任务中，大量噪声和共同语义导致潜在信息难以发掘，普通的主题模型难以应用。在客服对话中，还需要根据顾客特定信息进行回复。
  • 模型：两阶段对话摘要（TDS）+ 显著性感知神经主题模型（SAMT，减少无关噪声的影响）
• Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders
  • AAAI 2021 长文，邹易澄，张奇，黄萱菁
  • 动机：不同于传统文本摘要，聊天记录中含有碎片化、递进的主题，和大量晦涩难懂的句子。
  • RankAE 模型：面向主题的排序策略（筛选具有中心性和多样性的主题言论）+ 去噪自编码器（根据选中的言论生成摘要）
• Low-Resource Dialogue Summarization with Domain-Agnostic Multi-Source Pretraining
  • EMNLP 2021 长文，邹易澄，朱柏霖，胡星武，桂韬，张奇
  • 动机：对话摘要的标注数据过少，现有的低资源方法都在其他领域预训练模型后微调，但他们都忽略了对话和传统问答的区别。
  • 模型：多资源对抗学习（域不可知的摘要能力）+ 用大规模领域内数据分别训练对话编码器和摘要解码器

知识图谱答案生成 | KG

• LFKQG: A Controlled Generation Framework with Local Fine-tuning for Question Generation over Knowledge Bases
  • Coling 2022 长文，费子楚，周鑫，张奇，桂韬，黄萱菁
  • 动机：KBQG 基于知识图谱子图中的指定答案实体生成问题，但只关注与答案实体最相关的部分，忽略了其他部分；且 KBQG 无法处理 OOV 谓词。
  • LFKQG 模型：受控生成方法（确保问题和整个子图相关）+ 局部微调（利用 PLM 适应 OOV 的能力）

证明生成 | Proof Generation

• ProofInfer: Generating Proof via Iterative Hierarchical Inference
  • EMNLP 2022 主会，费子楚，张奇，周鑫，桂韬，黄萱菁
  • 任务描述：给定一系列自然语言表达的 Facts 和 Rules，构建证明树证明 Hypothesis。
  • 动机：过去的模型采用逐步将单个节点链接到结论，生成几个证明路径再合并，而不是整个树。
  • ProofInfer：迭代层次推理生成整个树（每一步生成一层 + 采用文本到文本范式来预测一层的多个节点） + 分治（将证明树递归编码为纯文本，而不会丢失结构信息）

文本匹配 | Text Matching

文本语义匹配 | Text Semantic Matching

• Divide and Conquer: Text Semantic Matching with Disentangled Keywords and Intents
  • ACL 2022 长文，邹易澄，刘宏伟，桂韬，王浚哲，张奇，唐萌，李海翔，Daniel Wang
  • 动机：基于 PLMs 的文本匹配方法通过处理句子中的单词来进行文本内容匹配，但是待匹配的句子通常包含不同匹配粒度的内容：关键词（需要严格匹配的事实）+ 意图（可以通过多种表述传达）
  • DC-Match 策略：将关键词和意图分离（Mask 互补）分而治之，当关键词和意图均匹配才匹配句子。

跨语言语义匹配 | Cross-Linguistic

• Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer?
  • EMNLP 2022 主会，徐凝雨，桂韬，马若恬，张奇，叶婧婷，张梦翰，黄萱菁
  • 动机：多语言 BERT 拥有较强跨语言句法能力，在某些语言之间能够有效地进行句法知识的零样本跨语言迁移。
  • 实验：对 24 种类型迥异的语言，研究了 mBERT 得到的依存句法关系表示的分布，证明了不同语言分布之间的距离与语言间的形式句法差异高度一致。因此，可以在零样本时根据不同语言的形态句法属性来选择最佳的迁移源语言。

情感分析 | Sentiment Analysis

隐式情感分析 | Implicit

• Causal intervention improves implicit sentiment analysis
  • Coling 2022 长文，王思尹，周杰，孙长志，叶俊杰，桂韬，张奇，黄萱菁
  • 动机：现有的模型依赖伪相关性（只关注明确的情感词），导致隐式情感分析存在困难。
  • ISAIV 模型：引入工具变量来消除混杂因果效应（随机扰动句子）+ 两阶段训练
• Learning Implicit Sentiment in Aspect-based Sentiment Analysis with Supervised Contrastive Pre-Training
  • EMNLP 2021，Zhengyan Li，邹易澄，Chong Zhang，张奇，魏忠钰
  • 动机：ABSA 中也具有隐式情感问题（意见词的表意不明显）。
  • SCAPT：将隐式情感词和具有相同情感的显式情感词对齐，进行预训练，使得模型可以捕捉隐式情感

多模态 | Multi-Model

文档实体识别 | Doc NER

• Read Extensively, Focus Smartly: A Cross-document Semantic Enhancement Method for Visual Documents NER
  • Coling 2022 长文 Oral，赵君，赵鑫，詹文煜，桂韬，张奇，乔梁，程战战，蒲世良
  • 动机：过去的富视觉文档实体识别往往将注意力分配在文档内部的不相关区域，忽略了相关文档蕴含的信息。
  • 模型：注意力掩码机制（减少当前文档不相关区域的关注）+ 跨文档感知（从相关文档收集信息辅助预测）。

博客标签推荐 | Hashtag Rec

• Co-Attention Memory Network for Multimodal Microblog's Hashtag Recommendation
  • TKDE 2021 长文，Renfeng Ma，邱锡鹏，张奇，Xiangkun Hu, Yu-Gang Jiang，黄萱菁
  • 动机：标签推荐经常被视为多标签分类任务，但事实上用户总时在创造新标签，固定的标签集效果不好。
  • 模型：将其视为匹配任务，互注意力机制（学习多模态博客内容，并从记录中抽取词汇作为标签）