审计高风险人工智能的有意义的标准

在招聘时，许多组织使用人工智能工具来扫描简历并预测与工作相关的技能。学院和大学使用人工智能自动为论文评分、处理成绩单和审查课外活动，以预先确定谁可能成为“好学生”。有这么多独特的用例，重要的是要问：人工智能工具能否成为真正公正的决策者?

针对在招聘、大学招生、预测性警务、健康干预等方面使用的工具存在不公平和偏见的说法，明尼苏达大学最近制定了一套新的人工智能工具审计指南。

审计指南发表在 American Psychologist上，由明尼苏达大学心理学副教授 Richard Landers 和普渡大学 Tara Behrend 共同制定。他们应用一个世纪的研究和专业标准来衡量心理学和教育研究人员的个人特征，以确保人工智能的公平性。

研究人员首先通过三个主要关注点考虑公平和偏见的想法，从而制定了人工智能审计指南：

个人如何决定一个决定是否公平公正

社会法律、伦理和道德标准如何呈现公平和偏见

各个技术领域(如计算机科学、统计学和心理学)如何在内部定义公平和偏见

使用这些镜头，研究人员将心理审计作为一种标准化方法来评估人工智能系统的公平性和偏见，这些系统在招聘和大学录取等高风险应用领域对人类进行预测。

审计框架有十二个组成部分，分为三个类别，包括：

与 AI 的创建、处理和预测相关的组件

与 AI 的使用方式、其决策影响的对象以及原因相关的组件

与总体挑战相关的组成部分：使用人工智能的文化背景、对受其影响的人的尊重以及人工智能提供者用来支持其主张的研究的科学完整性

“人工智能的使用，尤其是在招聘方面，是一种已有数十年历史的做法，但人工智能技术的最新进展为人工智能开发人员创造了一种‘狂野西部’的感觉，”兰德斯说。“现在有大量的初创公司不熟悉现有的使用算法雇用人员的道德和法律标准，而且由于不了解既定做法，他们有时会伤害人们。我们开发了这个框架来帮助通知这些公司和相关监管机构。”

研究人员建议内部审计师在开发高风险预测性人工智能技术期间以及之后由独立的外部审计师遵循他们制定的标准。任何声称就应该如何对待人们提出有意义的建议的系统都应该在这个框架内进行评估。

“工业心理学家在评估高风险评估方面拥有独特的专业知识，”贝伦德说。“我们的目标是让基于人工智能的评估的开发人员和用户了解现有的公平和有效性要求，并指导未来制定保护工人和申请人的政策。”

人工智能模型发展如此迅速，很难跟上审计特定类型人工智能系统的最合适方式。研究人员希望为特定用例制定更精确的标准，与全球其他有兴趣将审计作为这些情况下的默认方法的组织合作，并努力在更广泛的范围内与人工智能一起创造更美好的未来。