可解释性

interpretability

人类能够理解人工智能模型如何以及为何产生输出的程度,以及研究这一问题的领域。

4篇文章最近提及

可解释性指人类能够理解人工智能模型依据什么、经过怎样的过程产生输出的程度,也指研究如何提高这种理解程度的领域。它与事后解释模型决策的可解释人工智能(XAI)概念有所重叠。

由于神经网络由海量参数和分布式表示构成,其内部运作难以直接读取,因此研究者发展了多种方法:考察输入的哪些部分影响了输出的特征归因、探查内部表示中所含信息的探针方法,以及在部件层面分析内部回路的机制可解释性等。在人工智能安全领域,可解释性被视为从内部发现并纠正模型非预期行为的基础技术。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • METR独立评估:Anthropic研发速度翻倍,八成归功于AI工具AI资讯 ·

    对关注AI政策或安全的人来说,悬而未决的问题十分具体:实验室是否会兑现承诺的无限制评估机构访问权限,能力与安全之间的算力分配是否会得到独立核查,以及如果模型开始直接编辑权重,可解释性如何跟上。

    阅读文章
  • METR报告称AI能力增长提速两倍,最有力证据却被删除AI资讯 ·

    他的结论是,可解释性工具目前太弱,无法取代思维链监控,而思维链监控又太脆弱,不足以依赖。

    阅读文章
  • 神经网络内部并非混沌:约90%神经元各司其职AI安全 ·

    可解释性研究者Nick Cammarata及其团队撰写的研究随笔《神经网络早已清晰》(Neural Networks Are Already Clean)提出了一个与AI研究数十年来的既有假设背道而驰的论断:神经网络的内部并不是一团无望解开的乱麻。

    阅读文章
  • 蛋白质结构预测AI的下一步:从静态结构走向理解分子运动AI健康 ·

    科利把可解释性分为两类:一类是解释模型的内部机制,另一类是刻画模型的行为,即它在哪里有效、在哪里失效。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。