基于 Span 和元學習的小樣本實體識別算法 SpanProto
命名實體識別是 NLP 領域中非常常見的任務，對于這一任務，預訓練語言模型的 Fine-tune 需要一定數(shù)量的語料來學習 Token 與 Label（例如人名、地名）之間的依賴關系。但是在實際應用中，標注數(shù)據(jù)資源比較稀缺，傳統(tǒng)的序列標注方法很難達到較好的效果，因為其需要解決實體識別中的標簽依賴（Label Depnedency）關系，同時也無法應對實體嵌套（Nested Entity）問題。因此，我們研究一種基于 Span 和元學習的小樣本實體識別技術 SpanProto，特別地，我們關注于解決 N-way K-shot 的實體識別場景。SpanProto 采用兩階段方法，即將實體識別任務分解為兩個階段，分別是 Span Extraction 和 Mention Classification，模型框架圖如下所示。
在 Span Extraction 模塊中，SpanProto 使用與類別無關的 Span 抽取器，抽取出可能的命名區(qū)間。在 Mention Classification 模塊中，SpanProto 采用 Prototypical Learning 給每個 Span 分配標簽；與此同時，我們考慮到命名實體識別的 False Positive 問題，即存在一些抽取的 Span 在當前 Episode 內(nèi)沒有合適的類別可以分配的情況。為了驗證 SpanProto 算法的有效性，我們在 Few-NERD 這一標準評測數(shù)據(jù)集上進行了測試，效果證明 SpanProto 對精度提升明顯。
統(tǒng)一跨任務小樣本學習算法 UPT
基于提示微調(diào)（Prompt Tuning）的小樣本學習技術能充分利用預訓練過程中模型獲得的知識，在給定小訓練集上訓練得到精度較高的模型。然而，在小樣本學習場景下，訓練數(shù)據(jù)的有限性仍然對模型的準確度造成一定的制約。因此，如果可以在小樣本學習階段，有效利用其它跨任務的數(shù)據(jù)集，可以進一步提升模型的精度。跨任務小樣本學習算法 UPT（Unified Prompt Tuning）是一種統(tǒng)一的學習范式，可以將各種下游任務和預訓練任務統(tǒng)一成 POV（Prompt-Options-Verbalizer）的形式，使得模型可以學習利用Prompt 解決各種 NLP 任務，UPT 的任務構(gòu)造形式如下所示。
無論是單句分類任務，還有雙句匹配任務，亦或是預訓練階段的自監(jiān)督學習任務，UPT 可以將他們轉(zhuǎn)化成一種統(tǒng)一的范式進行學習。這種學習方式兼顧了經(jīng)典的小樣本學習算法的優(yōu)勢，又在學習過程中引入了“元學習”（Meta Learning）的思想，大大提升了模型對下游任務的泛化性，緩解了其在小樣本學習階段遇到的過擬合問題。當我們訓練得到這一 Meta Learner 之后，我們可以復用先前的算法，對 Meta Learner 進行 Few-shot Fine-tuning。我們在多個 GLUE 和 SuperGLUE 數(shù)據(jù)集上驗證了 UPT 的實驗效果，實驗結(jié)果表明，我們提出的自研算法 UPT 具有明顯精度提升。
EasyNLP 算法框架及算法應用
為了更好地服務開源社區(qū)，上述三個算法的源代碼即將貢獻在自然語言處理算法框架 EasyNLP 中，歡迎 NLP 從業(yè)人員和研究者使用。EasyNLP 是阿里云機器學習PAI 團隊基于 PyTorch 開發(fā)的易用且豐富的中文 NLP 算法框架，支持常用的中文預訓練模型和大模型落地技術，并且提供了從訓練到部署的一站式 NLP 開發(fā)體驗。由于跨模態(tài)理解需求的不斷增加，EasyNLP 也將支持各種跨模態(tài)模型，特別是中文領域的跨模態(tài)模型，推向開源社區(qū)，希望能夠服務更多的 NLP 和多模態(tài)算法開發(fā)者和研究者，也希望和社區(qū)一起推動 NLP/多模態(tài)技術的發(fā)展和模型落地。機器學習平臺 PAI 面向企業(yè)客戶級開發(fā)者，提供輕量化、高性價比的云原生機器學習，涵蓋 PAI-DSW 交互式建模、PAI-Designer 可視化建模、PAI-DLC 分布式訓練到 PAI-EAS 模型在線部署的全流程。
Github地址：https://github.com/alibaba/EasyNLP
阿里云機器學習平臺PAI論文入選 EMNLP 2022 列表
KECP: Knowledge-Enhanced Contrastive Prompting for Few-shot Extractive Question Answering
論文作者：王嘉寧、汪誠愚、譚傳奇、邱明輝、黃松芳、黃俊、高明
2.SpanProto: A Two-stage Span-based Prototypical Network For Few-shot Named Entity Recognition
論文作者：王嘉寧、汪誠愚、邱明輝、石秋慧、王洪彬、黃俊、高明
3.Towards Unified Prompt Tuning for Few-shot Text Classification
論文作者：王嘉寧、汪誠愚、羅福莉、譚傳奇、邱明輝、楊非、石秋慧、黃松芳、高明
