首页 牛津大学博士后企图撬开深度神经网络黑箱,发长篇论文解析

牛津大学博士后企图撬开深度神经网络黑箱,发长篇论文解析

无疑,深度神经网络在计算机视觉、自然语言处理和语音辨认等各个范畴的运用都取得了成功。但是,DNN模型的决议计划进程却一般无法很好地出现给运用者,即可解说性较差,是个黑箱。这一点在医疗、金融或法令等范畴…

无疑,深度神经网络在计算机视觉、自然语言处理和语音辨认等各个范畴的运用都取得了成功。

但是,DNN 模型的决议计划进程却一般无法很好地出现给运用者,即可解说性较差,是个黑箱。

这一点在医疗、金融或法令等范畴显得尤为重要,有的时分为了弄清楚模型得出每一步定论的原因,开发者乃至不得不运用更简略的模型。

近期,牛津大学博士后研讨员瓦娜,宣布了一篇名为 “Explaining Deep Neural Networks” 的预印本论文,运用一百多页的篇幅对这个论题展开了具体研讨。

论文中,瓦娜研讨了解说深度神经网络的两个首要方向。

榜首种办法,“过后”解说。

一般适合于解说现已练习和固定后的模型,该办法让模型在给出成果的一起,一起罗列影响决议计划的要害特征信息,如词组、超像素。

图 | 两个解说器别离给出至少两个根据特征的解说示例,这也说明晰其 “忠诚解说” 的不唯一性。

第二种办法,自解说。行将能运用自然语言输出解说内容的神经网络模型内置到需求解说模型中。

图 | a:BiLSTMMax-PredExpl;b:BiLSTM-Max-ExplPred-Seq2Seq;c:BiLSTMMax-ExplPred-Att 的猜测标签和生成解说的比如,方括号中为正确性评分。

瓦娜在论文中深化剖析了这两个方向,并别离给出了各自的优劣势。

首要,作者论述了仅运用输入特征解说模型的局限性,即便是十分简略的模型也是如此。

大多数的状况,关于同一种成果的 “忠诚解说” 并非只要一种。例如,一个人愉悦的原因有许多,而当仅仅凭愉悦的成果和输入的词组去 “估测” 时,这样的解说往往离题甚远,可能会导致严峻的判别失误。

瓦娜展现了两种有影响力的解说器,Shapley 解说器和最小子集解说器,它们别离拿手解说不同类型的模型。但在论文中,它们的体现都不行完美,某些状况下,它们都不足以供给决议计划的完好视图。

其次,作者介绍了一个用于主动验证 “过后” 解说真实性的结构。

该结构依靠特定类型的模型,它有望供给其决议计划进程的悉数细节。作者剖析了这种办法的潜在局限性,并介绍了缓解这些局限性的办法。

瓦娜引进的验证结构是通用的,能够在不同的使命和域上实例化,以供给现成的健全性测验。

最终,关于生成自解说神经模型的方向,作者在斯坦福自然语言推理数据集的根底之上,收集了约 570K 的人类书面自然语言组成了解说的大型数据集——e-SNLI。

图 | e-SNLI 数据集的示例。注释中供给了条件、假定和标签,强调了对标签高权重词语,并供给了解说。

她证明晰当时的自解说模型为猜测生成自然语言解说时,可能会发生不一致的解说,例如 “图画中有一条狗” 和“ 图画中没有狗”。不一致的解说标明,要么解说没有如实地描绘模型的决议计划进程,要么是模型学习了有缺点的决议计划进程。

图 | 自解说模型 BiLSTM-Max-PredExpl 架构图

本文来自网络,不代表本站立场。转载请注明出处: https://www.onlinemediabootcamp.com/html/20220819/4637.html
上一篇
下一篇

发表评论