可解释性指人类能够理解人工智能模型依据什么、经过怎样的过程产生输出的程度,也指研究如何提高这种理解程度的领域。它与事后解释模型决策的可解释人工智能(XAI)概念有所重叠。
由于神经网络由海量参数和分布式表示构成,其内部运作难以直接读取,因此研究者发展了多种方法:考察输入的哪些部分影响了输出的特征归因、探查内部表示中所含信息的探针方法,以及在部件层面分析内部回路的机制可解释性等。在人工智能安全领域,可解释性被视为从内部发现并纠正模型非预期行为的基础技术。
interpretability
人类能够理解人工智能模型如何以及为何产生输出的程度,以及研究这一问题的领域。
可解释性指人类能够理解人工智能模型依据什么、经过怎样的过程产生输出的程度,也指研究如何提高这种理解程度的领域。它与事后解释模型决策的可解释人工智能(XAI)概念有所重叠。
由于神经网络由海量参数和分布式表示构成,其内部运作难以直接读取,因此研究者发展了多种方法:考察输入的哪些部分影响了输出的特征归因、探查内部表示中所含信息的探针方法,以及在部件层面分析内部回路的机制可解释性等。在人工智能安全领域,可解释性被视为从内部发现并纠正模型非预期行为的基础技术。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
对关注AI政策或安全的人来说,悬而未决的问题十分具体:实验室是否会兑现承诺的无限制评估机构访问权限,能力与安全之间的算力分配是否会得到独立核查,以及如果模型开始直接编辑权重,可解释性如何跟上。
阅读文章他的结论是,可解释性工具目前太弱,无法取代思维链监控,而思维链监控又太脆弱,不足以依赖。
阅读文章可解释性研究者Nick Cammarata及其团队撰写的研究随笔《神经网络早已清晰》(Neural Networks Are Already Clean)提出了一个与AI研究数十年来的既有假设背道而驰的论断:神经网络的内部并不是一团无望解开的乱麻。
阅读文章科利把可解释性分为两类:一类是解释模型的内部机制,另一类是刻画模型的行为,即它在哪里有效、在哪里失效。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。