2024年5月22日下午16點,k8凯发国际與人工智能學院第四十三期研究生學術論壇在崇真樓南樓A4030成功舉辦。本次論壇由2021級研究生黃子鍵、皮喬森、陳世旭、2022級研究生黃志南主講,學院研究生會主辦,學院楊華利老師出席了該論壇。
黃子鍵同學分享的主題為「多項選擇問答任務中基於[Mask]的數據增強」。為了克服訓練樣本可用性所帶來的限制,他探索了在PLM自監督訓練過程中常用的掩碼語言模型(MLM)中利用[Mask]令牌的潛力,提出了一種簡單但有效的方法,稱為基於[Mask]的數據增強(MDA)。該方法通過在背景段落中注入[Mask]令牌來創建原始數據的掩碼版本。此外,引入了一個自評估器來調節掩碼生成過程,旨在儘量減少由論據噪聲引起的負面影響。使用各種基準MCQA數據集對所提出的方法進行了實證驗證。實驗結果表明,與現有最先進方法相比,本方法顯著提高了性能。
黃志南同學分享的主題為「ADPA-PCB: Enhancing PCB Defect Detection Neural Networks with Adaptive Activate Conv and PCBSAdd」。他針對現有的缺陷檢測方法在實現準確性和速度之間的平衡方面遇到的挑戰,提出了一種新的缺陷檢測方法,納入更廣泛的缺陷類型來增加公開可用的PCB圖像數據集。這種增強有助於更好地模擬真實世界的缺陷檢測場景。改進提出了Adaptive Activate Conv和PCBSAdd模塊,以增強模型學習與PCB缺陷相關的特徵的能力。使用擴展的PCB數據集進行了廣泛的實驗,結果顯示了出色的性能,檢測精度顯著提高了2.1%。
皮喬森同學分享的主題為「基於教師助理蒸餾的輕量級安卓惡意軟件分類方法」。為解決安卓惡意樣本龐大、深度學習檢測模型參數龐大且對計算資源需求高的難題,他針對教師與學生模型間知識傳遞的不足的缺點,提出了一種創新的輕量級安卓惡意軟件檢測方法。該方法基於教師-助教-學生知識蒸餾,使用ResNeSt50作為教師模型,實現了模型的有效壓縮,同時確保了高準確性的惡意軟件檢測。進一步地,在教師模型上融合分離注意力機制,加強了模型在深層次挖掘惡意軟件圖像特徵的能力。在Drebin和CICMalDroid 2020數據集上的實驗結果證明了該方法在降低模型複雜性的同時,保持了出色的準確率,模型參數減少了95%,準確率較傳統蒸餾方法提高了0.63%。
陳世旭同學分享的主題為「PTLVD:Program Slicing and Transformer-Based Line-Level Vulnerability Detection System」。他提出了一種基於深度學習的細粒度軟件漏洞檢測系統,在提高軟件漏洞檢測性能的同時,還可以得到引起軟件漏洞的具有代碼行的信息。具體來說,他提出了一種基於程序切片和Transformer的軟件漏洞檢測方法:VDPT,使用程序切片來提取基於變量的代碼小工具,並利用Transformer模型學習特徵。VDPT在預處理中進行代碼的標準化,使用改進的基於刪除的算法生成代碼小工具,並用CodeBERT對代碼小工具進行編碼。他還提出了一種名為IGS的漏洞行定位方法,該方法綜合了可解性方法積分梯度和顯著性,對訓練好VDPT進行解釋,通過計算其輸入中每個部分對於預測結果的決策貢獻值,進而判斷每行代碼對於預測結果為漏洞的決策貢獻值來找出引起軟件漏洞原因的具體代碼行。