有方学者【面向深度语言模型的可解释性主动学习】独立第一作者论文发表|留学背景提升

研究方向

面向深度语言模型的可解释性主动学习 主动学习(AL)(Settles,2009)是一种半监督的机器学习技术,通过人与机器之间的互动,将建立准确预测模型所需的标记数据量降到最低。在主动学习中,算法会选择信息量最大的未标注数据交给标记员(人工注释者)进行标记,以加快学习进程。这一特性使得主动学习在许多自然语言处理(NLP)场景中具有吸引力,在这些场景中,未标记的数据可能很丰富,但标记的数据获取成本很高,例如文本分类(Kulesza等人,2015;Teso和Kersting,2019)和自然语言推理(NLI)(McCoy等人,2019)。
较早的主动学习算法只要注释者为重要的数据提供粗粒度注释(即标签,比如文本所属的类别),这很容易导致次优模型(由较少的训练集,数据中的偏见或者瑕疵造成)。另外,主动学习过程在高风险领域(因为这类领域需要高度可解释的预测来避免风险)可能会受到限制,如医疗、法律、交通和金融,特别是当不透明的深度学习模型被应用时。因此,探索人类和机器之间更有解释力的互动是很有希望的,例如,通过收集人类在更细粒度水平上的反馈(如单词或短语),作为预测的解释而不仅仅是标签,来减少模型错误。
本项目旨在提出一种新的可解释的主动学习算法,我们认为这种算法可以增加人类对人工智能模型的信任,特别是对那些非自我解释的模型(如深度学习分类器),以及改善分布外测试(OOD)的性能。我们将研究几种提高主动学习可解释性的方法的有效性,以及通过整合人类反馈来更新模型的方法的有效性。实验将在几个公共情感分类和自然语言推理数据集上进行。

 

相关学科

计算机科学技术

 

科研导师

J. L

  • 爱尔兰国立都柏林大学在职博士后研究员,爱尔兰国立都柏林大学硕博,厦门大学软件工程学士;
  • 主要研究方向为深度学习、自然语言处理、通用机器学习和XAI;
  • 研究方向:算法,机器学习,自然语言处理,深度学习,数据可视化、human in the loop和解释型AI等。

科研成果

成果一:在英文期刊中发表学术论文

有方学者项目能够为学员在正规的英文学术期刊中发表论文。正规的学术期刊均要求由独立审稿人决定论文的录用与否。因此,论文的成功发表标志着这篇文章已达到学界公认的学术标准。有方学者最优秀的学生,不但可以冲击EI、SCI等高级别期刊,而且有机会参与全球顶级的学术会议。

成果二:第一作者身份

有方学者项目坚持帮助学生以第一作者身份发表论文。在申请过程中,招生官最看重的是学生在科研项目中的参与程度,而第一作者顺位恰恰是这一点的最佳证明。近年来,有大量的中国学生在教授署名的论文中挂名,这使得第一作者身份的含金量更为突出。

成果三:独一无二的课题

有方学者项目的导师会为每个学生提供独一无二的课题,连接最前沿的科研方法和学生感兴趣的学术方向,每个学生的研究内容具有差异性。

成果四:顶尖院校导师的推荐信

有方学者项目将为学生提供项目导师撰写的推荐信。导师作为推荐人,来自于美国顶尖学府的科研团队,影响着推荐信的可信度;而导师所提供的丰富的细节和生动的描述能更好展现学生的过人之处,从而大大提高了推荐信的价值。

成果五:高效备战具有高影响力、高含金量的科研竞赛

学生可以直接使用有方学者项目的成果论文冲击多项全球顶级的科研赛事,其中包括:被誉为“中国青年的诺贝尔奖”的丘成桐科学奖、ISEF 国际科学与工程奖、全国青少年科技创新大赛等。

 

 

了解更多详情

扫描二维码

关注有方背景提升

有方订阅号