摘要：算法歧视与自动决策系统相伴而生，并散布于很多领域。现有法律不能有效规制算法歧视，相关法律部门为此分别进行立法修法的成本又过高。本文认为我国应利用第十三届全国人大拟制定个人信息保护法的契机，采用个人信息保护法与合理算法标准相结合的综合治理路径，禁止算法歧视，保护数据主体获得平等对待的权利。
关键词：算法歧视，大数据，自动决策，价格歧视，就业歧视，信用歧视
随着云计算、大数据技术的发展，以算法决策为用、以个人数据为体、以机器学习为魂的自动决策系统已经悄无声息地进入我们的生活[1]。这种系统通过收集、分析和评估个人信息和行为数据，预测数据主体的工作表现、发展潜力、偿还能力、需求偏好等特征，并据此画像(profiling)做出各种决定。自动决策系统已广泛应用于人力资源管理、信用评价、产品定价、保险核保等方面，对数据主体做出打分、评价和推荐等决定。不可否认，自动决策有助于提高决策效率，避免人类决策者的偏见。但同样不能忽视的是，数据和算法本身都不具有天然的中立性，数据可能有各式各样的缺陷，算法亦可作为逐利的工具，甚至对求职者、雇员、消费者进行差别对待，造成歧视性后果。这种歧视可被称为算法歧视或大数据歧视。据《北京青年报》今年三月的报道，一位旅客经常通过旅行网站预定某酒店房间，每晚价格通常在380–400元左右。淡季的某日，该旅客通过自己的账号查到该酒店价格仍为380元，但通过其朋友的账号查询，显示价格仅为300元。这就是所谓的“大数据杀熟”①[2]。该网站涉嫌利用算法实施价格歧视。事件发生伊始，公众口诛笔伐，学界建言献策。然而，算法歧视在法律上具有什么性质，该如何治理，尚未引起学术界足够的关注。本文尝试进行初步探究。第一部分探析算法歧视的产生原因，第二部分具体考察三种主要的算法歧视，并揭示其治理难题，第三部分初步勾画出我国对算法歧视的综合治理路径，最后提出结论和展望。
一、问题溯源：算法歧视何以产生
所谓歧视，是指根据种族、民族、性别、宗教信仰等特征，对条件相同的人实施差别待遇。为实现法律追求公平、平等之目标，歧视为各国法律所禁止。自动决策算法一般都会过滤掉以上显性特征，以避免明目张胆的歧视。但是，基于以下原因，算法歧视仍然存在：
1.数据不必然具有中立性
认为算法决策能克服人类决策偏见的一个理由是作为算法分析对象的数据是中立、客观的。但实际上，数据主体的某些个人数据可能是偶然产生的，不具有代表性，例如一位颇有偿还能力的人忘记按时偿还信用卡账单之记录。个人数据还难免存在错误，例如身份信息被盗用形成的贷款逾期记录，还有张冠李戴所产生的无中生有的犯罪记录②[3]。可见，数据既有真实的，也有虚假的，而且真实的也不等于是客观的，即数据并不天然具有中立性。这些偶然、甚至错误的数据从源头改正本就很难，通过大数据分享、加工、提供等方式传播出去之后再想彻底改正更是难上加难。算法基于不精确、偏见性或非代表性的数据做出决策，剥夺数据主体的某种机会，就会构成无意性歧视。数据产生歧视性风险的另一个原因是，算法模型需要通过训练数据来学习、演化。如果训练模型所用的数据本身存在可导致歧视后果的缺陷，算法模型也就不会产生公平的结果。这种歧视的矫正更加困难。
2.算法易受人为操控
有人套用技术中立原则，主张算法具有中立性。基于下述理由，笔者认为算法中立乃是伪命题。
(1)算法目标变量的选择和赋值易受人为影响
算法决策总是需要用到一些目标变量或指标，或者对分析对象进行某种分类。而指标的选取、赋值以及分类方法都是人为设定的。如果这一过程受歧视性观念影响，算法决策产生系统性的歧视后果就不足为奇了。
(2)算法可以规避禁止歧视的法律规定
由于受法律约束，算法一般都会筛选掉法律明文禁止的种族、民族、性别等歧视，但是算法可以通过数据画像技术，从行为数据中识别出分析对象的某些类型特征从而做出对其不利的评价。例如，一个算法模型通过对数以万计样本的分析，发现特定邮政编码区域的居民在特定工作上的表现很差劲，而这个居民区经常与某个种族联系在一起。如果算法模型在做出雇用决策时筛选掉这个少数族群，势必会造成对该区域居民或族群的系统性歧视和伤害，因而缺乏正当性。另外，算法还会从一些数据中识别出基因、残疾、怀孕等特征并据此对数据主体做出负面评价，从而将歧视掩盖起来。
(3)算法会混淆关联关系和因果关系
不同目标变量之间的关联关系，可能是因果关系，也可能是偶然的，但是算法对此并不解释和区分。只要算法认为关联性足够强，就会用来对分析对象进行分类和预测。例如，如果算法发现那些喜欢Facebook上某种内容的人智商较高，就会在这种内容和智商之间建立关联，预测喜欢这种内容的人的智力都比较高，也更有发展潜力①[4]，从而做出录用或晋升的决定。算法还可能基于错误的关联性判断做出决策，例如在美国，使用双姓氏的多为西班牙裔，改变姓氏的多为女性，算法就将双姓氏者归为西班牙裔，将改变姓氏者归为女性。如果据此做出剥夺这类群体就业机会的决策，就会构成歧视。
(4)算法可加重统计性歧视
根据EdmundS.Phelps提出、DennisJ.Aigner等学者所发展的理论，在劳动能力信息不完全的前提下，雇主依据群体的统计性特征来做出工资和雇佣决策，从而对处于不利群体中的劳动者造成工资或就业歧视①[5]。例如，两个应聘者在教育程度、工作经验、测试分数等方面完全一样或相差无几，其中一人毕业于985大学，另一人毕业于普通大学，雇主根据985大学毕业生的职业表现整体上优于普通大学生的统计规律，做出录用985大学毕业生的决定，就构成对普通大学毕业生的统计性歧视。当算法模型基于这种统计规律做出决策时，就会对被保护群体产生统计性歧视。在算法的作用下，这种歧视难以因为优秀的个体而改变，因而对于一个群体而言其损害后果更加严重。
二、治理难题：三种主要算法歧视的考察
由于算法决策系统的应用日益广泛，算法歧视也在多个领域出现。囿于篇幅限制，下文仅对以算法为手段实施的就业歧视、信用歧视和价格歧视②进行具体考察，为发掘算法歧视的治理难题、寻求解决方案奠定基础。
1.算法型价格歧视
(1)算法型价格歧视的产生
价格歧视是指商品的提供者以不同的价格，向交易条件相同的交易相对人提供相同等级、相同质量的商品。研究价格歧视，离不开消费者剩余这个概念。所谓消费者剩余是指消费者愿意为一种商品支付的最高价格减去其实际支付的价格。企业实施价格歧视的目的无外乎尽量攫取消费者剩余①[6]70。通常认为，成功实施价格歧视需要具备三个要件：其一是企业必须占据市场支配地位，具有较强的定价话语权，否则无法实施价格歧视。在完全竞争条件下，企业完全没有定价的能力，只能按照市场规律确定的价格销售商品;其二是企业必须能够了解不同消费者的支付意愿，从而对他们收取不同的价格;其三是企业必须有能力防止低价购买者通过转售低价购买的商品进行套利。如果低价购买者能够套利，企业就不能从具有较高支付能力的消费者那里获得收益，就达不到价格歧视的目的了②[6]68。
相关期刊推荐：《科学与社会》立足科学和技术的近期进展，宣传科学对社会的影响。评价中国和世界科技的发展及其影响，立足于资源、环境的国家可持续发展;致立于提倡中国科技界的文化品味，当今科学与文化的交融，包括对科技名人、科学史事的评介。曾被中文核心期刊(2004)、中文核心期刊(2000)收录。有投稿需求的作者，可以咨询期刊天空在线编辑。
实施价格歧视最重要的前提条件是企业知道消费者的最高支付意愿。但是长期以来，企业几乎不能获取有关消费者最高支付意愿的信息，因此也就无从实施价格歧视。然而，数据挖掘和分析工具等人工智能技术终于攻克这一障碍。企业利用特殊的算法，对消费者的消费记录或其他上网记录等进行跟踪、分析，绘制出消费者的偏好、习惯、支付能力等画像，通过个性化定价的尝试和验证，获取消费者的最大支付意愿信息，从而使得对不同消费者收取不同的价格成为可能。这就是所谓“大数据杀熟”得以实施的技术条件。也就是说，在大数据背景下，即使企业不具备市场支配地位，也有能力获取消费者的最高支付意愿，从而实施价格歧视。
(2)算法型价格歧视的救济
经考察现行法律，笔者发现“大数据杀熟”不构成《价格法》中的价格欺诈，也谈不上侵犯消费者的自主选择权和强迫交易权，因此不能使用《价格法》和《消费者权益保护法》去规制;至于《反垄断法》所禁止的价格歧视，其构成条件之一是经营者须具有市场支配地位，《价格法》禁止的价格歧视只适用于经营者对经营者的歧视，例如批发商在交易条件相同的情况下对不同零售商给予不同的批发价格。显然，如果实施“大数据杀熟”的企业不具有市场支配地位，并且针对的仅仅是消费者，现有法律对“大数据杀熟”就无可奈何。对于“大数据杀熟”这类价格歧视的法律规制，美国的情况与我国相似，既不能援引旨在保护小零售商的《罗宾逊-帕特曼法》禁止针对消费者的价格歧视，也无法适用《谢尔曼法》认定这种行为违背反托拉斯法①[7]。既然现行法律对算法型价格歧视无能为力，我们必须另辟蹊径。比较容易想到的一个方案是修改《价格法》，将价格歧视的适用范围从经营者扩展至消费者。如此一来，如果实施“大数据杀熟”的经营者占有市场支配地位，则可迳行适用《反垄断法》进行规制，而如果经营者不占市场支配地位，修改后的《价格法》就有用武之地了，从而堵死算法型价格歧视的存在空间。但是，这种修法模式只能在损害发生后提供最基本的事后矫正，最多能填平消费者的损害，而难以有效遏制“大数据杀熟”的发生。
2.算法型就业歧视
(1)算法型就业歧视的产生
就业歧视是指基于种族、肤色、性别、宗教、政治见解、民族血统或社会出身等因素，在录用、晋升、薪酬等方面实施差别待遇。反对就业歧视已成国际共识。例如，国际劳工组织《1958年消除就业和职业歧视公约》、美国《1964年民权法》、中国《劳动法》《妇女权益保障法》《残疾人保障法》《就业促进法》等都明文禁止就业歧视。
随着数据挖掘、机器学习等人工智能技术的广泛应用，基于算法的人力分析系统(workforceanalytics)应运而生，雇主日益依赖算法对招聘面试、雇佣、晋升、解雇等事项做出决定。赞成者认为，这种算法可以提高人力资源管理效率，依据中立的数据做出不偏不倚的决策从而避免人类决策者的偏见，但怀疑者则指出数据并不具有天然的中立性，算法也可能恶化现有的偏见，甚或产生新型的偏见②[4]860。研究表明，算法导致就业歧视绝非危言耸听。一家公司通过数据分析发现员工家庭住址与工作场所的距离是预测其在职时间长短的重要指标③[4]890。如果人力分析系统依赖这个因素做出雇佣家庭住址距离工作场所更近的求职者的决策，就极可能对家庭住址距离办公场所较远的求职者构成歧视。LatanyaSweeney的研究显示，与搜索白种人相关的姓名相比，在谷歌上搜索非裔美国人相关的姓名，系统就会更多地弹出犯罪背景审查广告①[8]。这意味着算法可以将姓名与种族关联起来，并在就业等方面上做出不利于少数种族的决定。AnjaLambrecht等人的研究发现，女性被推送科技、工程、数学相关广告的比例远远少于男性②[9]。卡内基梅隆大学AmitDatta等学者研究了求职者性别与招聘广告推送的关系，先用软件模拟普通用户去浏览求职网站，随后统计谷歌推送“年薪20万美元以上职位”的广告数据，发现男性用户组收到1852次推送，女性用户组仅收到318次，可见女性得到“高薪”职位推荐的机会，仅为男性的1/6③[10]。这些研究显示，算法固然不会依据种族、性别等显性特征实施公然的就业歧视，但是只要得到雇主的“授意”，歧视总有办法悄然地进行。
(2)算法型就业歧视的救济
如果说对算法型价格歧视的救济尚可通过对《价格法》的小修来实现，那么对算法型就业歧视的救济就没有这么简单了。我国1994年的《劳动法》禁止因民族、种族、性别、宗教信仰的不同而歧视劳动者，但是没有对就业歧视提供司法救济。2007年的《就业促进法》扩大了就业歧视的原因范围。但是我国劳动者提起就业歧视诉讼，必须证明用人单位直接实施了法律禁止的歧视行为。由于劳动者处于明显弱势地位，这一举证负担实为其不可承受之重。比较而言，英美国家的法律对就业歧视举证责任的分配机制就更为合理。只要原告能够提供初步证据证明存在歧视，被告就要承担反驳的举证责任。为了免除承担歧视责任，被告在直接歧视案件中必须证明其对原告的差别对待是出于真实职业资格的要求，在间接歧视案件中必须证明其做法是实现正当目的的必要行为④[11]。但是，即便美国的反就业歧视法减轻了劳动者在歧视案件中的举证责任，美国有学者也认为由于算法的复杂性、模糊性，现行法律对算法造成的就业歧视无法提供有效救济。但也有学者持不同看法⑤[4]。
