通过使用 AI 分析大量数据集可以收集到的模式和信息被证明具有极大的商业价值：埃森哲估计，到 2035 年，美国人工智能部门的价值将达到 8.3 万亿美元。
算法 – 机器用于计算、数据处理和自动推理的分步过程早已被用于帮助决策制定。但在过去几年中，人工智能研究大型数据集并进行预测的能力日益增强，这促使了算法决策的增加。现在算法在一系列情况下做出不同程度的自主决策，包括刑事司法系统、金融服务、人力资源、广告（特别是社交媒体广告）和医疗保健。随着算法被委托进行更加敏感的决策，对 AI 的越来越多的依赖正在引发严重的人权和隐私问题。
例如，数据被收集、存储和分析的过程通常是不透明的。与此相比剑桥分析公司收集 8,700 万 Facebook 用户数据的丑闻基本小儿科。一般而言，许多互联网用户要么不知道他们的数据正在被收集，要么在难以理解的“条款和条件”下选择了“同意”被收集。
另一个问题是，一个算法被用来做出决定的过程并不总是很清楚，或者说算法是如何做出特定决定的。现代机器学习算法，特别是所谓的神经网络，通常被称为“黑箱”。使用不透明或不可解释的算法会产生合理的担忧，尤其是在其做出的决定会严重影响一个人的生活时。COMPAS 算法就提供了一个臭名昭着的例子，该算法被美国法院用来评估个人“重新犯罪的可能性”（预测犯罪）。该算法错误地标记白人的犯罪可能性低两倍，而将黑人错误标记为再犯可能性是白人的两倍。产生算法的公司 Equivant （其前身是 Northpointe Inc.）对此分析结论提出了异议。
更糟糕的是，制造商以知识产权为由拒绝透露算法的内部工作原理，而且这一立场的法律挑战失败了 —— 这就是为什么我海盗党长期抨击知识产权。因为它意味着将暗箱操作合理化。
“Using algorithms that are not transparent or explainable raises justifiable concerns, especially when the decisions being made could significantly affect a person’s life”.
“垃圾进出垃圾”的旧计算机科学格言在这里尤为重要。人工智能算法输出的分析和预测取决于输入的数据 – 如果这些数据偏向了某种方式，那么输出的结果将反映该偏差。当可获得的数据不能准确反映它所代表的人群时，就会出现偏差，这可能是测量结果不准确、数据收集不完整或其他数据收集缺陷所造成的。
建模的过程本身就可能表现出不公平。例如，一个有偏见的算法意味着，支付超过 20 万美元的 Google 广告显示女性明显少于男性，反映了已确定的性别薪资差距。Kate Crawford，杰出研究教授、纽约大学 AI Now 研究所的联合创始人，已经写出了关于“人工智能的白人问题”这一引人注目的文章，这可能导致偏见被忽略，或者当它发生时不被识别。 AI 领域明显缺乏多样性这一问题显然很重要。
企业需要与政府和民间社会合作，以避免 AI 存在偏见和歧视性的使用。即使正在制定关于算法应用于商业的规定，保护人权的义务仍然是关键。宣传隐私权和言论自由权的两个组织 Privacy International 和 Article 19，最近已指出，公司必须确保使用人工智能至少尊重、促进和保护国际人权标准。
监管如何呢？一般数据保护条例（GDPR）于2018年5月在所有欧盟成员国生效，它要求自动化决策案例的透明度，并提供“有关所涉逻辑的有意义信息”，可以翻译为“解释权”。居住在欧盟各州的消费者将有权要求企业解释其使用算法对他们做出的决定。尽管 GDPR 的这些最敏感的方面很多都由成员国在当地法律实施方面决定，但企业可能希望抓住这个机会，通过向客户提供尽可能多的信息来认真考虑算法透明度问题，尽可能公开他们的算法决策过程。市场研究表明，顾客在做出购买选择时更重视透明度。
也有很好的商业原因可以用来努力避免应用人工智能造成的歧视性结果。消费者更有可能分享他们的数据并与他们信任的机构进行互动。在人工智能时代，还有什么会让企业更值得信赖？
在3月份的世界经济论坛发表的白皮书中，作者认为，企业在进行人权尽职调查时，需要主动考虑并将反歧视原则、同理心以及人的尊严优先纳入其工作中。更具体地说，他们呼吁：
1、主动包容：开发人工智能工具时，开发人员必须确保他们获取广泛利益相关者的意见和价值观，特别是那些最有可能受到影响的利益相关者。
2、公平性：开发人员和委托开发人工智能的人应该考虑部署算法时“公平”意味着什么。当决定绩效和优化指标时，他们应该优先考虑这个公平定义。
3、理解权：企业应该明确 AI 算法何时被用来作出影响个人权利的决策。算法也应该为他们的决策提供可理解的解释。如果这些条件无法满足，那么企业应该考虑拒绝该算法的使用。
4、获取补救措施：企业应主动透明地向任何可能受到负面影响的人提供补救措施，并且应迅速对算法进行更改，以防止类似案例的再次发生。
这可能是一个新的领域，但企业可以从环境活动和全球运动中吸取经验教训来应对气候变化。正如消费者希望公司具有环保意识（例如，通过最大限度地减少碳排放量并减少塑料包装的使用），公司可以正确并负责任地使用算法，这可能会产生巨大的商业优势。采用正确的算法决策方法可能会成为“新绿色生态”。只有这样，企业、政府和公民才能共同努力，才能最大限度地利用这些技术提供的机遇并最大限度地降低风险。