為促進研究生之間學術交流,6月2日下午2:00,k8凯发国际與人工智能學院第十六期研究生論壇在崇真南樓A4030舉辦。本次論壇由學院研究生會學術部主辦,2020級研究生馬俊龍、黃晶晶、祁天堯、唐佳偉和李雪負責主講,青年教師朱強博士參與本次論壇並負責指導。
馬俊龍的報告題目為「Killing many birds with one stone: a transferable Extraction Question Answering algorithm for multiple-target domain adaptation」。報告針對抽取式問答任務,提出了一個新的遷移學習方法。使用相似度損失拉近源數據集與目標數據集的距離,再利用分類損失區分源數據集與目標數據集的私有知識,再利用梯度反轉層刪除私有知識,保留更多的公有知識。通過多個對比實驗和消融實驗證明,該方法取得了較好的結果。
黃晶晶的報告題目為「基於特徵融合和對比學習的知識庫開放域問答」。報告中顯示命名實體識別是構建知識圖譜的關鍵步驟,但實體識別所產生的誤差會使得後續工作大打折扣。為了有效解決該問題,報告中使用數據增強與特徵融合方法,先從現有的語料庫中挖掘可擴展的潛在信息,再利用現有問題的實體、相關屬性和挖掘出的潛在信息生成輔助問答對,藉助這些輔助信息學習信息的表徵。使得模型及其優化變得更加簡單,且泛化能力更強。
祁天堯的報告題目為「多路徑推理的文檔級關係抽取」。報告提出了一種多路徑推理模型。該模型使用圖卷積神經網絡和異構圖規則下構建的圖結構提取實體之間的局部信息,同時利用長短期記憶人工神經網絡去處理構建的四條實體對的路徑信息得到實體之間的推理信息,利用局部和推理信息得到實體之間複雜的依賴關係。與傳統經典算法相比,該模型取得了更優的效果。
唐佳偉的報告題目為「Semi-Siamese Bi-encoder Neural Ranking Model UsingLightweight Fine-Tuning」。報告解讀了兩種提高基於BERT的雙編碼器性能的方法。一是用一個輕量級的微調來替換完整的微調步驟;二是開發半暹羅模型。首先使用預訓練的BERT初始化問題和文檔的編碼器,並結合Semi-Siamese半孿生網絡改造像素級微調和LoRA兩種輕量級微調,在保證兩個編碼器共性的同時,建立它們間的差異性。通過對比在bi-encoder中的不同微調方法,證明了該混合微調方法在bi-encoder架構中的有效性。
李雪的報告題目為「Term Similarity-aware Extensive and Intensive Reading For Multiple Choice Question Answering」。目前針對多選閱讀理解任務的方法存在噪聲過多、證據句定位不夠精確等問題,報告提出了一個TSEI方法,利用語義相似性進行候選句抽取,基於拉普拉斯算子和圖卷積神經網絡對BERT的編碼輸出做進一步的擴充,與現有基於BERT的微調方法相比,該方法取得了更好的效果。
朱強博士對每位同學的報告作了詳細的點評與指導,本期研究生學術論壇開拓了研究生的學術視野、促進了研究生之間學術前沿探討,取得了圓滿成功。