2019-07-11 09:07:01
使用人工智能来检测歧视

宾夕法尼亚州立大学和哥伦比亚大学的研究人员创建了一种用于检测不公平歧视的新型人工智能(AI)工具,例如基于种族或性别的歧视。

例如,防止基于种族,性别或种族对个人的不公平待遇一直是文明社会长期关注的问题。然而,检测由决策引起的这种歧视,无论是由人类决策者还是自动化人工智能系统,都可能极具挑战性。人工智能系统的广泛采用使许多领域的决策自动化 - 包括警务,消费金融,高等教育和商业 - 进一步加剧了这一挑战。

“人工智能系统 - 例如那些参与选择工作候选人或进入大学的人员 - 都接受了大量数据的培训,”宾夕法尼亚州立大学信息科学与技术教授Vrian Honavar教授说。 “但如果这些数据存在偏差,它们会影响人工智能系统的建议。”

例如,他说,如果一家公司历史上从未雇佣过一名女性从事某一类工作,那么接受过该历史数据培训的人工智能系统就不会推荐女性从事新工作。

“机器学习算法本身没有任何问题,”Honavar说。 “它正在做它应该做的事情,即根据某些理想的特征确定好的求职者。但由于它是根据历史的,有偏见的数据进行培训,因此有可能提出不公平的建议。”

该团队创建了一个人工智能工具,用于检测人类决策者或人工智能系统对受保护属性(如种族或性别)的歧视,该系统基于因果关系的概念,其中一个因素 - 一个原因 - 导致另一个因素 - 影响。

“例如,问题是,工资中是否存在基于性别的歧视?”可以重新定义为“性别是否会对工资产生因果影响?”,换句话说,“如果一个女人是一个男人,女人会得到更多的报酬吗?”宾夕法尼亚州立大学信息科学与技术研究生Aria Khademi说。

由于不可能直接知道这个假设问题的答案,团队的工具使用复杂的反事实推理算法来达到最佳猜测。

“例如,”Khademi说,“一个直观的方式是对女性员工的公平薪水做出最佳猜测,就是找到一位在资格,生产力和经验方面与女性相似的男性员工。如果我们确保类似的男性和女性获得类似的薪水,我们可以尽量减少基于性别的工资歧视。“

研究人员使用各种类型的可用数据测试了他们的方法,例如美国人口普查局的收入数据,以确定工资中是否存在基于性别的歧视。他们还使用纽约市警察局的停止和搜索计划数据测试他们的方法,以确定在停止后逮捕时是否存在对有色人种的歧视。结果于5月出现在2019年网络会议论文集中。

“我们分析了一份成人收入数据集,其中包含近50,000人的工资,人口统计和就业相关信息,”Honavar说。 “我们发现了基于性别的工资歧视的证据。具体来说,我们发现每年工资超过5万美元的女性的几率仅为男性的三分之一。这表明雇主应该寻找和纠正在适当的时候,工资中的性别偏见。“

虽然该团队对纽约止损数据集的分析 - 其中包含纽约市警察部队停止的驾驶员的人口统计和其他信息 - 揭示了对西班牙裔和非裔美国人可能存在种族偏见的证据,但没有发现平均作为一个群体歧视他们。

“如果你不知道问题存在,你无法纠正问题,”Honavar说。 “为避免基于种族,性别或其他属性的歧视,您需要有效的工具来发现歧视。我们的工具可以为此提供帮助。”

Honavar补充说,随着数据驱动的人工智能系统越来越多地确定企业如何将广告定位于消费者,警察部门如何监控个人或团体的犯罪活动,银行如何决定谁获得贷款,雇主决定雇用谁,以及大学和大学如何决定谁被录取或获得经济援助,迫切需要他和他的同事开发的工具。

“我们的工具,”他说,“可以帮助确保这些系统不会成为歧视工具,平等障碍,对社会正义的威胁和不公平的来源。”

猜您喜欢的其它内容