阿里云開源EasyTransfer：業(yè)界首個(gè)面向NLP場(chǎng)景深度遷移學(xué)習(xí)框架

機(jī)器之心編輯部

阿里云正式開源了深度遷移學(xué)習(xí)框架EasyTransfer，本文詳細(xì)介紹了EasyTransfer框架的核心功能

近日，阿里云正式開源了深度遷移學(xué)習(xí)框架EasyTransfer，這是業(yè)界首個(gè)面向NLP場(chǎng)景的深度遷移學(xué)習(xí)框架。

開源鏈接：https://github.com/alibaba/EasyTransfer

該框架由阿里云機(jī)器學(xué)習(xí)PAI團(tuán)隊(duì)研發(fā)，讓自然語(yǔ)言處理場(chǎng)景的模型預(yù)訓(xùn)練和遷移學(xué)習(xí)開發(fā)與部署更加簡(jiǎn)單和高效。

面向自然語(yǔ)言處理場(chǎng)景的深度遷移學(xué)習(xí)在現(xiàn)實(shí)場(chǎng)景里有巨大的需求，因?yàn)榇罅啃碌念I(lǐng)域不斷涌現(xiàn)，傳統(tǒng)的機(jī)器學(xué)習(xí)需要對(duì)每個(gè)領(lǐng)域都積累大量訓(xùn)練數(shù)據(jù)，這將會(huì)耗費(fèi)大量標(biāo)注的人力與物力。深度遷移學(xué)習(xí)技術(shù)可以將源領(lǐng)域?qū)W到的知識(shí)遷移到新的領(lǐng)域的任務(wù)，進(jìn)而大大減少標(biāo)注的資源。

盡管面向自然語(yǔ)言場(chǎng)景的深度遷移學(xué)習(xí)有很多的需求，目前開源社區(qū)還沒有一個(gè)完善的框架，而且構(gòu)建一個(gè)簡(jiǎn)單易用且高性能的框架有巨大挑戰(zhàn)。

首先，預(yù)訓(xùn)練模型加知識(shí)遷移現(xiàn)在是主流的NLP應(yīng)用模式，通常預(yù)訓(xùn)練模型尺寸越大學(xué)習(xí)到的知識(shí)表征越有效，然而超大的模型給框架的分布式架構(gòu)帶來(lái)了巨大挑戰(zhàn)。如何提供一個(gè)高性能的分布式架構(gòu)，從而有效支持超大規(guī)模的模型訓(xùn)練。

其次，用戶應(yīng)用場(chǎng)景的多樣性很高，單一的遷移學(xué)習(xí)算法無(wú)法適用，如何提供一個(gè)完備的遷移學(xué)習(xí)工具來(lái)提升下游場(chǎng)景的效果。

第三，從算法開發(fā)到業(yè)務(wù)落地通常需要很長(zhǎng)的鏈路，如何提供一個(gè)簡(jiǎn)單易用的從模型訓(xùn)練到部署的一站式服務(wù)。

面對(duì)這三大挑戰(zhàn)，PAI團(tuán)隊(duì)推出了EasyTransfer，一個(gè)簡(jiǎn)單易用且高性能的遷移學(xué)習(xí)框架。框架支持主流的遷移學(xué)習(xí)算法，支持自動(dòng)混合精度、編譯優(yōu)化和高效的分布式數(shù)據(jù)/模型并行策略，適用于工業(yè)級(jí)的分布式應(yīng)用場(chǎng)景。

值得一提的是，配合混合精度、編譯優(yōu)化和分布式策略，EasyTransfer支持的ALBERT模型比社區(qū)版的ALBERT在分布式訓(xùn)練的運(yùn)算速度上快4倍多。

同時(shí)，經(jīng)過了阿里內(nèi)部10多個(gè)BU，20多個(gè)業(yè)務(wù)場(chǎng)景打磨，給NLP和遷移學(xué)習(xí)用戶提供了多種便利，包括業(yè)界領(lǐng)先的高性能預(yù)訓(xùn)練工具鏈和預(yù)訓(xùn)練ModelZoo，豐富易用的AppZoo，高效的遷移學(xué)習(xí)算法，以及全面兼容阿里巴巴PAI生態(tài)產(chǎn)品，給用戶提供一個(gè)從模型訓(xùn)練到部署的一站式服務(wù)。

阿里云機(jī)器學(xué)習(xí)PAI團(tuán)隊(duì)負(fù)責(zé)人林偉表示：本次開源EasyTransfer代碼，希望把阿里能力賦能給更多的用戶，降低NLP的預(yù)訓(xùn)練和知識(shí)遷移的門檻，同時(shí)也和更多伙伴一起深入合作打造一個(gè)簡(jiǎn)單，易用，高性能的NLP和遷移學(xué)習(xí)工具。

框架六大亮點(diǎn)

簡(jiǎn)單高性能的框架：屏蔽復(fù)雜的底層實(shí)現(xiàn)，用戶只需關(guān)注模型的邏輯結(jié)構(gòu)，降低了NLP和遷移學(xué)習(xí)的入門門檻；同時(shí)，框架支持工業(yè)級(jí)的分布式應(yīng)用場(chǎng)景，改善了分布式優(yōu)化器，配合自動(dòng)混合精度，編譯優(yōu)化，和高效的分布式數(shù)據(jù)/模型并行策略，做到比社區(qū)版的多機(jī)多卡分布式訓(xùn)練在運(yùn)算速度上快4倍多；

語(yǔ)言模型預(yù)訓(xùn)練工具鏈：支持完整的預(yù)訓(xùn)練工具鏈，方便用戶預(yù)訓(xùn)練語(yǔ)言模型如T5和BERT，基于該工具鏈產(chǎn)出的預(yù)訓(xùn)練模型在中文CLUE榜單和英文SuperGLUE榜單取得很好的成績(jī)；

豐富且高質(zhì)量的預(yù)訓(xùn)練模型ModelZoo：支持PAI-ModelZoo，支持Bert，Albert，Roberta，XLNet，T5等主流模型的Continue Pretrain和Finetune。同時(shí)支持自研的多模態(tài)模型服裝行業(yè)的Fashionbert等；

豐富且易用的應(yīng)用AppZoo：支持主流的NLP應(yīng)用和自研的模型應(yīng)用，比方說文本匹配下支持DAM++、HCNN等單塔模型，以及BERT雙塔+向量召回模型；閱讀理解下支持BERT-HAE等模型；

自動(dòng)知識(shí)蒸餾工具：支持知識(shí)蒸餾，可以從大的teacher模型蒸餾到小的student模型。集成了任務(wù)有感知的BERT模型壓縮AdaBERT，采用了神經(jīng)網(wǎng)路架構(gòu)搜索去搜索出任務(wù)相關(guān)的架構(gòu)去壓縮原始的BERT模型，可以壓縮最多到原來(lái)的1/17，inference最多提升29倍，且模型效果損失在3%以內(nèi)；

兼容PAI生態(tài)產(chǎn)品：框架基于PAI-TF開發(fā)，用戶通過簡(jiǎn)單的代碼或配置文件修改，就可以使用PAI自研高效的分布式訓(xùn)練，編譯優(yōu)化等特性；同時(shí)框架完美兼容PAI生態(tài)的產(chǎn)品，包括PAI Web組件（PAI Studio），開發(fā)平臺(tái)（PAI DSW），和PAI Serving平臺(tái)（PAI EAS）。

平臺(tái)架構(gòu)總覽

EasyTransfer的整體框架如下圖所示，在設(shè)計(jì)上盡可能的簡(jiǎn)化了深度遷移學(xué)習(xí)的算法開發(fā)難度?？蚣艹橄罅顺Ｓ玫腎O，layers，losses，optimizers,models，用戶可以基于這些接口開發(fā)模型，也可以直接接入預(yù)訓(xùn)練模型庫(kù)ModelZoo快速建模?？蚣苤С治宸N遷移學(xué)習(xí)(TL)范式，model finetuning，feature-based TL,instance-based TL,model-based TL和meta learning。同時(shí)，框架集成了AppZoo，支持主流的NLP應(yīng)用，方便用戶搭建常用的NLP算法應(yīng)用。最后，框架無(wú)縫兼容PAI生態(tài)的產(chǎn)品，給用戶從訓(xùn)練到部署帶來(lái)一站式的體驗(yàn)。

平臺(tái)功能詳解

下面詳細(xì)介紹下EasyTransfer框架的核心功能。

簡(jiǎn)單易用的API接口設(shè)計(jì)

高性能分布式框架

EasyTransfer框架支持工業(yè)級(jí)的分布式應(yīng)用場(chǎng)景，改善了分布式優(yōu)化器，配合自動(dòng)混合精度，編譯優(yōu)化，和高效的分布式數(shù)據(jù)/模型并行策略，做到比社區(qū)版的多機(jī)多卡分布式訓(xùn)練在運(yùn)算速度上快4倍多。

豐富的ModelZoo

框架提供了一套預(yù)訓(xùn)練語(yǔ)言模型的工具供用戶自定義自己的預(yù)訓(xùn)練模型，同時(shí)提供了預(yù)訓(xùn)練語(yǔ)言模型庫(kù)ModelZoo供用戶直接調(diào)用。目前支持了20+預(yù)訓(xùn)練模型，其中在PAI平臺(tái)上預(yù)訓(xùn)練的PAI-ALBERT-zh取得中文CLUE榜單第一名，PAI-ALBERT-en-large取得英文SuperGLUE第二名的好成績(jī)。下面是詳細(xì)的預(yù)訓(xùn)練模型列表：

預(yù)訓(xùn)練模型在CLUE榜單的效果：

SuperGLUE的效果：

豐富的AppZoo

EasyTransfer封裝了高度易用、靈活且學(xué)習(xí)成本低的AppZoo，支持用戶在僅用幾行命令的條件下“大規(guī)?！边\(yùn)行“前沿”的開源與自研算法，即可迅速接入不同場(chǎng)景和業(yè)務(wù)數(shù)據(jù)下的NLP應(yīng)用，包括文本向量化、匹配、分類、閱讀理解和序列標(biāo)注等。

高效的遷移學(xué)習(xí)算法

EasyTransfer框架支持所有主流的遷移學(xué)習(xí)范式，包括Model Fine-tuning,Feature-based TL,Instance-based TL,Model-based TL和Meta Learning?；谶@些遷移學(xué)習(xí)范式開發(fā)了10多種算法，在阿里的業(yè)務(wù)實(shí)踐中取得了良好效果的效果。后續(xù)所有的算法都會(huì)開源到EasyTransfer代碼庫(kù)里。在具體應(yīng)用的時(shí)候，用戶可以根據(jù)下圖來(lái)選擇一種遷移學(xué)習(xí)范式來(lái)測(cè)試效果。

預(yù)訓(xùn)練語(yǔ)言模型

自然語(yǔ)言處理的一大熱點(diǎn)工作就是預(yù)訓(xùn)練語(yǔ)言模型比方說BERT，ALBERT等，這類模型在各大自然語(yǔ)言處理場(chǎng)景都取得了非常不錯(cuò)的效果。為了更好的支持用戶使用預(yù)訓(xùn)練語(yǔ)言模型，我們?cè)谛掳娴倪w移學(xué)習(xí)框架EasyTransfer里植入了一套預(yù)訓(xùn)練語(yǔ)言模型的標(biāo)準(zhǔn)范式和預(yù)訓(xùn)練語(yǔ)言模型庫(kù)ModelZoo。傳統(tǒng)Albert為了減少參數(shù)總量，取消了bert的encoder堆疊的方式，轉(zhuǎn)而采用encoder循環(huán)的方式，如下圖所示。全循環(huán)方式在下游任務(wù)上表現(xiàn)并不十分理想，于是我們將全循環(huán)改為了在2層堆疊的encoder上全循環(huán)。然后我們基于英文C4數(shù)據(jù)，重新對(duì)Albert xxlarge進(jìn)行預(yù)訓(xùn)練。在預(yù)訓(xùn)練的過程中，我們僅僅使用MLM loss，配合Whole Word Masking，基于EasyTransfer的Train on the fly功能，我們實(shí)現(xiàn)了dynamic online masking，即可以在每次讀入原始句子的同時(shí)動(dòng)態(tài)生成需要masking的tokens。我們最終的預(yù)訓(xùn)練模型PAI-ALBERT-en-large在SuperGLUE榜單上取得國(guó)際第二，國(guó)內(nèi)第一的成績(jī)，模型參數(shù)僅僅為第一名Google T5的1/10，效果差距在3.5%以內(nèi)。后續(xù)我們會(huì)繼續(xù)優(yōu)化模型框架，爭(zhēng)取以1/5的模型參數(shù)達(dá)到比T5更好的效果。

多模態(tài)模型FashionBERT

隨著Web技術(shù)發(fā)展，互聯(lián)網(wǎng)上包含大量的多模態(tài)信息，包括文本，圖像，語(yǔ)音，視頻等。從海量多模態(tài)信息搜索出重要信息一直是學(xué)術(shù)界研究重點(diǎn)。多模態(tài)匹配核心就是圖文匹配技術(shù)(Text and Image Matching)，這也是一項(xiàng)基礎(chǔ)研究，在非常多的領(lǐng)域有很多應(yīng)用，例如圖文檢索(Cross-modality IR)，圖像標(biāo)題生成(Image Caption)，圖像問答系統(tǒng)(Vision Question Answering)，圖像知識(shí)推理(Visual Commonsense Reasoning)。但是目前學(xué)術(shù)界研究重點(diǎn)放在通用領(lǐng)域的多模態(tài)研究，針對(duì)電商領(lǐng)域的多模態(tài)研究相對(duì)較少?；诖?，我們和阿里ICBU團(tuán)隊(duì)合作提出了FashionBERT多模態(tài)預(yù)訓(xùn)練模型，針對(duì)電商領(lǐng)域的圖文信息進(jìn)行預(yù)訓(xùn)練的研究，在多個(gè)跨模態(tài)檢索和圖文匹配等業(yè)務(wù)場(chǎng)景都有成功的應(yīng)用。模型架構(gòu)圖如下所示。該工作提出了Adaptive Loss，用于平衡圖文匹配，純圖片，和純文本三部分loss。

任務(wù)自適應(yīng)的知識(shí)蒸餾

預(yù)訓(xùn)練模型從海量無(wú)監(jiān)督數(shù)據(jù)中提取通用知識(shí)，并通過知識(shí)遷移的方法提升下游任務(wù)的效果，在場(chǎng)景里取得了優(yōu)異的效果。通常預(yù)訓(xùn)練模型尺寸越大，學(xué)習(xí)到的知識(shí)表征對(duì)下游任務(wù)越有效，帶來(lái)的指標(biāo)提升也越明顯。然而大模型顯然無(wú)法滿足工業(yè)界應(yīng)用的時(shí)效性需求，因此需要考慮模型壓縮。我們和阿里智能計(jì)算團(tuán)隊(duì)合作提出了一種全新的壓縮方法AdaBERT，利用可微神經(jīng)架構(gòu)搜索（Differentiable Neural Architecture Search）自動(dòng)地將BERT壓縮成任務(wù)自適應(yīng)的小型模型。在這個(gè)過程中，我們將BERT作為老師模型，提煉它在目標(biāo)任務(wù)上有用的知識(shí)；在這些知識(shí)的指導(dǎo)下，我們自適應(yīng)地搜索一個(gè)適合目標(biāo)任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)，壓縮得到小規(guī)模的學(xué)生模型。我們?cè)诙鄠€(gè)NLP公開任務(wù)上進(jìn)行了實(shí)驗(yàn)評(píng)估，結(jié)果顯示經(jīng)由AdaBERT壓縮后的小模型在保證精讀相當(dāng)?shù)耐瑫r(shí)，推理速度比原始BERT快12.7到29.3倍，參數(shù)規(guī)模比原始BERT小11.5到17.0倍。

QA場(chǎng)景領(lǐng)域關(guān)系學(xué)習(xí)

早在2017年，我們就在阿里小蜜問答場(chǎng)景里面嘗試了遷移學(xué)習(xí)，我們主要側(cè)重于DNN based Supervised TL。這類算法主要有兩種框架，一個(gè)是Fully-shared(FS)，另外一個(gè)是Specific-shared(SS)。兩者最大的差別是前者只考慮了shared representation，而后者考慮了specific representation。通常來(lái)說SS的模型效果比FS效果好，因?yàn)镕S可以看作是SS的一個(gè)特例。對(duì)于SS來(lái)說，最理想的情況下是shared的部分表示的是兩個(gè)領(lǐng)域的共性，specific的部分表示的是特性。然而往往我們發(fā)現(xiàn)要達(dá)到這樣的效果很難，于是我們考慮用一個(gè)adversarial loss和domain correlation來(lái)協(xié)助模型學(xué)好這兩部分特征?；诖?，我們提出了一個(gè)新的算法，hCNN-DRSS，架構(gòu)如下所示：

我們將這個(gè)算法應(yīng)用在了小蜜的實(shí)際業(yè)務(wù)場(chǎng)景中，在多個(gè)業(yè)務(wù)場(chǎng)景里（AliExpress,萬(wàn)象，Lazada）取得了不錯(cuò)的效果。同時(shí)我們也在WSDM2018產(chǎn)出了一篇文章:Modelling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce.Jianfei Yu,Minghui Qiu,et al.,WSDM 2018。

強(qiáng)化遷移學(xué)習(xí)Reinforced Transfer Learning

遷移學(xué)習(xí)的有效性，很大程度上取決于source domain和target domain之間的gap，如果gap比較大，那么遷移很可能是無(wú)效的。在小蜜QA場(chǎng)景，如果直接把Quora的text matching數(shù)據(jù)遷移過來(lái)，有很多是不太合適的。我們?cè)谛∶鄣腝A場(chǎng)景，基于Actor-Critic算法，搭建了一個(gè)通用的強(qiáng)化遷移學(xué)習(xí)框架，用RL來(lái)做樣本選擇，幫助TL模型取得更好的效果。整個(gè)模型分三部分，基礎(chǔ)QA模型，遷移學(xué)習(xí)模型(TL)和強(qiáng)化學(xué)習(xí)模型(RL)。其中RL的policy function負(fù)責(zé)選出高質(zhì)量的樣本(actions)，TL模型在選出來(lái)的樣本上訓(xùn)練QA模型并提供反饋給RL，RL根據(jù)反饋（reward）來(lái)更新actions。該框架訓(xùn)練的模型在雙11AliExpress的俄語(yǔ)和西語(yǔ)匹配模型，在西語(yǔ)和俄語(yǔ)的匹配準(zhǔn)確率都取得了非常不錯(cuò)的提升。同時(shí)，我們也將成果整理成論文，發(fā)表在WSDM2019.(Learning to Selectively Transfer:Reinforced Transfer Learning for Deep Text Matching.Chen Qu,Feng Ji,Minghui Qiu,et al.,WSDM 2019.）

元調(diào)優(yōu)Meta Fine-tuning

預(yù)訓(xùn)練語(yǔ)言模型的廣泛應(yīng)用，使得Pre-training+Fine-tuning的兩階段訓(xùn)練模型成為主流。我們注意到，在fine-tuning階段，模型參數(shù)僅在特定領(lǐng)域、特定數(shù)據(jù)集上fine-tune，沒有考慮到跨領(lǐng)域數(shù)據(jù)的遷移調(diào)優(yōu)效果。元調(diào)優(yōu)（Meta Fine-tuning）算法借鑒Meta-learning的思想，旨在學(xué)習(xí)預(yù)訓(xùn)練語(yǔ)言模型跨領(lǐng)域的meta-learner，從而使得學(xué)習(xí)的meta-learner可以快速遷移到特定領(lǐng)域的任務(wù)上。這一算法學(xué)習(xí)訓(xùn)練數(shù)據(jù)樣本的跨領(lǐng)域typicality（即可遷移性），同時(shí)在預(yù)訓(xùn)練語(yǔ)言模型中增加domain corruption classifier，使得模型更多地學(xué)習(xí)到領(lǐng)域無(wú)關(guān)的特征（domain-invariant representations）。

我們將該fine-tuning算法應(yīng)用于BERT，在自然語(yǔ)言推理和情感分析等多個(gè)任務(wù)上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，元調(diào)優(yōu)算法在這些任務(wù)上都優(yōu)于BERT的原始fine-tuning算法和基于transfer learning的fine-tuning算法。我們也將成果整理成paper，發(fā)表在EMNLP 2020.(Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining.Chengyu Wang,Minghui Qiu,Jun Huang,et al.,EMNLP 2020.）

元知識(shí)蒸餾Meta-Knowledge Distillation

隨著BERT等預(yù)訓(xùn)練語(yǔ)言模型在各項(xiàng)任務(wù)上都取得了SOTA效果，BERT這類模型已經(jīng)成為NLP深度遷移學(xué)習(xí)管道中的重要組成部分。但BERT并不是完美無(wú)瑕的，這類模型仍然存在以下兩個(gè)問題：模型參數(shù)量太大和訓(xùn)練/推理速度慢的問題，因此一個(gè)方向是將BERT知識(shí)蒸餾到一個(gè)小模型。但是大部分的知識(shí)蒸餾工作都聚焦在同一個(gè)領(lǐng)域，而忽略了跨領(lǐng)域?qū)φ麴s任務(wù)提升的問題。我們提出了用Meta Learning的方式將跨領(lǐng)域的可遷移知識(shí)學(xué)出，在蒸餾階段額外對(duì)可遷移的知識(shí)進(jìn)行蒸餾。這樣的做法使得學(xué)習(xí)到的Student模型在相應(yīng)的領(lǐng)域的效果顯著提升，我們?cè)诙鄠€(gè)跨領(lǐng)域的任務(wù)上都蒸餾出了較好的學(xué)生模型，逼近教師模型的效果。我們近期會(huì)梳理這個(gè)工作，發(fā)布代碼和文章。

創(chuàng)新文章列表

EasyTransfer框架已在阿里集團(tuán)內(nèi)數(shù)十個(gè)NLP場(chǎng)景落地，包括智能客服、搜索推薦、安全風(fēng)控、大文娛等，帶來(lái)了顯著業(yè)務(wù)效果的提升。目前EasyTransfer日常服務(wù)有上億次調(diào)用，月均訓(xùn)練調(diào)用量超過5萬(wàn)次。EasyTransfer團(tuán)隊(duì)在落地業(yè)務(wù)的同時(shí)也沉淀了很多的創(chuàng)新的算法解決方案，包括元學(xué)習(xí)，多模態(tài)預(yù)訓(xùn)練，強(qiáng)化遷移學(xué)習(xí)，特征遷移學(xué)習(xí)等方向的工作，共合作發(fā)表了幾十篇頂級(jí)會(huì)議文章，下面列舉一些代表性工作。后續(xù)這些算法都會(huì)在EasyTransfer框架里開源供廣大用戶使用。

[EMNLP 2020].Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining.EMNLP 2020.Full Paper.

[SIGIR 2020]FashionBERT:Text and Image Matching for Fashion Domain with Adaptive Loss.

[ACM MM 2020]One-shot Learning for Text Field Labeling in Structure Information Extraction.To appear,Full Oral paper.

[IJCAI 2020]AdaBERT:Task-Adaptive BERT Compression with Differentiable Neural Architecture Search,IJCAI 2020.

[KDD 2019]A Minimax Game for Instance based Selective Transfer Learning.Oral,KDD 2019.

[CIKM 2019]Cross-domain Attention Network with Wasserstein Regularizers for E-commerce Search,CIKM 2019.

[WWW 2019]Multi-Domain Gated CNN for Review Helpfulness Prediction,WWW.

[SIGIR 2019].BERT with History Modeling for Conversational Question Answering.SIGIR 2019.

[WSDM 2019].Learning to Selectively Transfer:Reinforced Transfer Learning for Deep Text Matching.WSDM 2019,Full Paper.

[ACL 2018].Transfer Learning for Context-Aware Question Matching in Information-seeking Conversation Systems in E-commerce.ACL.2018.

[SIGIR 2018].Response Ranking with Deep Matching Networks and External Knowledge in Information-seeking Conversation Systems.Long Paper.

[WSDM 2018].Modelling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce,2018.Long Paper.

[CIKM 2017].AliMe Assist:An Intelligent Assistant for Creating an Innovative E-commerce Experience,CIKM 2017,Demo Paper,Best Demo Award.

[ICDM 2017].A Short-Term Rainfall Prediction Model using Multi-Task Convolutional Neural Networks.Long paper,ICDM 2017.

[ACL 2017].AliMe Chat:A Sequence to Sequence and Rerank based Chatbot Engine，ACL 2017.

[arXiv].KEML:A Knowledge-Enriched Meta-Learning Framework for Lexical Relation Classification，arXiv.