联邦学习中的隐私保护技术

发布时间：2022-04-29所属分类：法律论文浏览：1次

摘 要： 摘 要: 联邦学习是顺应大数据时代和人工智能技术发展而兴起的一种协调多个参与方共同训练模型的机制. 它允许各个参与方将数据保留在本地, 在打破数据孤岛的同时保证参与方对数据的控制权. 然而联邦学习引入了大量参数交换过程, 不仅和集中式训练一样受到模型使用者的威

　　摘 要: 联邦学习是顺应大数据时代和人工智能技术发展而兴起的一种协调多个参与方共同训练模型的机制. 它允许各个参与方将数据保留在本地, 在打破数据孤岛的同时保证参与方对数据的控制权. 然而联邦学习引入了大量参数交换过程, 不仅和集中式训练一样受到模型使用者的威胁, 还可能受到来自不可信的参与设备的攻击, 因此亟需更强的隐私手段保护各方持有的数据. 分析并展望了联邦学习中的隐私保护技术的研究进展和趋势. 简要介绍联邦学习的架构和类型, 分析联邦学习过程中面临的隐私风险, 总结重建、推断两种攻击策略, 然后依据联邦学习中的隐私保护机制归纳隐私保护技术, 并深入调研应用上述技术的隐私保护算法, 从中心、本地、中心与本地结合这 3 个层面总结现有的保护策略. 最后讨论联邦学习隐私保护面临的挑战并展望未来的发展方向.

　　关键词: 联邦学习; 隐私保护; 隐私攻击; 差分隐私; 同态加密; 安全计算

　　近年来, 大数据驱动的人工智能迸发出巨大潜力, 在金融、医疗、城市规划、自动驾驶等多个领域完成了大规模复杂任务学习. 机器学习作为人工智能的核心技术, 其性能和隐私性也广受关注. 传统的机器学习需要由服务商收集用户的数据后集中训练, 但是用户的数据与用户个体紧密相关, 可能直接包含敏感信息, 如个人年龄、种族、患病信息等; 也可能间接携带隐含的敏感信息, 如个人网页浏览记录、内容偏好所隐含的用户政治倾向. 如果这些敏感信息在收集过程中被服务商泄露或者利用, 将直接威胁用户的人身安全、个人名誉和财产安全. 即便服务商没有直接公开用户数据, 集中训练后发布的模型也可能因为受到隐私攻击而泄露参与训练的数据. 随着隐私问题受到的关注程度日益提高, 用户分享数据的意愿越来越低. 与之矛盾的是, 人工智能技术却必须依靠大量数据收集和融合, 如果不能获取完整丰富的信息来训练模型并发展技术, 人工智能应用的发展将受到严重限制.

　　在数据孤岛现象与数据融合需求的矛盾逐渐凸显的背景下, 联邦学习(federated learning, FL)应运而生. 2017 年, Google 公司首次提出了联邦学习的概念[1], 这是一种由多个数据持有方(如手机、物联网设备, 或者金融、医疗机构等)协同训练模型而不分享数据, 仅在中间阶段交换训练参数的学习机制. 理想状况下, 联邦学习得到的共享模型与数据集中在中心服务器上训练所得模型相比, 效果相近或更好[2]. 由此, 企业能够通过合法且高效的方式融合数据提取信息, 个人或其他持有数据的机构依然能够在享受企业提供的人工智能服务的同时, 保有数据的控制权.

　　尽管联邦学习避免了将数据直接暴露给第三方, 对于数据隐私有天然的保护作用, 但是其中依然存在大量隐私泄露的风险.

　　• 首先, 联邦学习需要交换中间参数协同训练, 可能泄露隐私. 与集中式学习不同, 联邦学习训练过程需要交换大量中间参数, 其所携带原始数据会暴露在所有参与训练的角色面前, 带来泄露的风险. 例如, 已有研究表明, 可以通过梯度还原部分原始数据[3], 或根据中间参数推断掌握的记录内容是否来自某个特定参与者[4].

　　• 其次, 不可靠的参与方加剧了隐私泄露的风险. 联邦学习中, 各个参与方由于地理、设备等条件不同, 通信内容的有效性和身份的真实性都难以确认, 因此一旦出现不可靠的参与方攻击, 极易泄露隐私. 例如, 半诚实的参与方能够根据合法获取的中间参数推断出其他参与方的标签或数据; 而恶意的参与方更进一步, 能够通过上传精心设计的有害信息诱导其他参与方暴露更多自身数据, 或者不遵守隐私协议进而影响全局的隐私性.

　　• 此外, 训练完成的模型也面临着隐私泄露的风险. 即便联邦学习的过程中参数没有泄露, 直接发布训练所得的模型依然存在极大风险. 这种风险来自机器学习自身的脆弱性. 在训练中, 模型提高准确性依赖于对数据样本的规律挖掘. 但是研究者[4]注意到, 追求模型在训练样本上的准确度, 可能导致模型的参数乃至结构“记住”训练样本的细节, 使得模型携带训练集的敏感信息. 根据这一特性, 攻击者可以通过反复查询模型的预测接口来推测某条记录是否存在于训练集、推测模型的具体参数, 而根据模型发布的参数能够进一步推测训练集成员或训练集具体样本.

　　由此可见, 不加保护的进行联邦学习, 训练中涉及的众多参与者的数据都将面临泄露的风险. 而数据一旦泄露, 不仅隐私泄露者面临严重损失, 参与者间彼此信任合作的联合训练模式也将难以为继. 解决联邦学习信息泄露问题迫在眉睫. 然而, 联邦学习中数据分布复杂、应用场景丰富且需要多次数据交换, 这些因素为隐私保护带来一系列挑战.

　　• 第一, 联邦学习的训练场景多样且需求复杂, 现有的隐私保护方法无法通用. 已有的集中式机器学习隐私保护研究以中心服务器诚实为前提, 仅考虑模型发布后可能受到的攻击, 没有针对内部攻击者的解决方案. 而且现有算法大多针对单一的集中式训练场景, 没有考虑多个参与方、多种架构、多种数据分布方式下的数据交换和模型协同训练的情况. 因此, 设计适应不同场景和不同需求的隐私保护算法, 同时抵御外部和内部攻击, 是联邦学习隐私保护的重要挑战.

　　• 第二, 联邦学习中参与方的可信程度低, 潜在的攻击角度多, 对隐私保护算法的鲁棒性要求更高. 这里, 鲁棒性指模型容忍恶意攻击稳定运行的能力. 联邦学习中, 参与者一旦发起攻击, 能够观察到更多的中间参数, 甚至能够篡改参数影响训练过程, 隐私防御的难度远高于外部出现的攻击. 而参与者之间如果共谋, 可能获取更多敏感信息. 因此, 提高隐私保护算法的鲁棒性, 减少隐私算法中对参与者的可信程度的假设, 是联邦学习隐私保护面临的难题.

　　• 第三, 联邦学习本身通信不稳定, 模型计算代价高, 因而对隐私保护机制的通信量和复杂度要求严格. 现实场景下的联邦学习所面临的复杂松散的网络结构导致终端通信不稳定, 在此基础上的隐私保护算法难以简化. 而复杂的隐私保护算法将带来更高的计算量、更大通信代价, 进一步制约联邦学习的训练效率. 研究高效率、轻量级的联邦学习隐私保护算法, 降低额外开销, 是联邦学习隐私保护必须面对的挑战.

　　• 第四, 联邦学习中参数维度高、数据分布不均, 难以在提供隐私保护的同时保持模型的可用性. 联邦学习中间参数的维度与模型结构和输入数据维度相关, 参数维度往往极高, 造成了极大的隐私开销. 此外, 联邦学习的用户数量不定且数据集大小不一, 如何在平衡不同数据集的同时保护隐私, 也是一个巨大挑战.

　　综上所述, 更加精细的隐私策略设计、更加精确的隐私预算分配、更加适应数据交换的隐私协议构建, 是联邦学习隐私保护进一步发展必须面对的议题. 而明确现有的隐私问题和保护手段, 是技术发展的基础. 联邦学习的基础——机器学习的隐私攻击和防御已经被充分调研[5]. 机器学习面临的外部攻击同样威胁着联邦学习的发布模型, 但是机器学习的隐私保护手段却远远不足以为联邦学习提供保护. 这是由于联邦学习同时面临着传统的外部攻击和其独有的内部攻击, 因此联邦学习的隐私保护方案必须同时为内部训练过程和外部模型发布提供双重保护.

　　另外, 已有学者调研了联邦学习隐私保护的现状, 但由于思路与本文不同, 侧重的方法和文献也不相同. Lyv 等人[6]和 Wang 等人[7]对联邦学习可能受到的攻击作了详细的阐述, 但是在安全攻击和隐私攻击的区分上没有进一步调研. 本文明确两种攻击的概念范围: 以窃取数据、破坏模型隐私性和机密性为目的的攻击为隐私攻击, 以干扰模型训练结果、破坏模型可用性和完整性的攻击为安全攻击. 此外, 本文还依据现有的隐私攻击技术的原理归纳了主要策略分类. 现有文献[7−10]均从技术或训练阶段的角度分析了目前的联邦学习隐私保护算法, 而本文根据联邦学习自身特性分析其特有的隐私泄露内容和泄露位置, 从隐私保护的对象的角度出发建立分类框架, 并归纳每个类别中主要的保护机制, 进而分析采用不同技术的算法的共性并探究机制本身的优势和不足. 进一步地, 本文建立了攻击策略与保护机制之间的联系, 并在此基础上尝试为联邦学习隐私保护的发展提出建议.

　　本文第 1 节介绍联邦学习的架构和类型, 以及相应场景下的训练方式. 第 2 节分析联邦学习面对的隐私泄露风险来源, 总结具体的攻击策略. 第 3 节介绍多种隐私保护技术原理, 并将其归纳为信息模糊、过程加密两种隐私保护机制. 第 4 节调研隐私保护技术在联邦学习中的应用, 涵盖本地保护、中心保护、中心与本地结合这 3 种保护策略, 并对每种策略展开更加详细的阐述. 第 5 节讨论现有不足并展望未来方向.

　　1.1 联邦学习架构

　　常见的联邦学习架构为客户-服务器. 典型的客户-服务器架构由一个中心服务器和多个持有数据的客户端组成. 被广泛采用的联邦平均 FedAvg[1]即是基于客户-服务器架构设计的算法. 在训练中, 中心服务器将随机初始化的模型结构和参数分发给客户端, 客户端根据本地数据训练并更新模型后将参数上传. 中心服务器收到各方参数后聚合计算, 更新模型参数再次下发. 该过程循环, 直至模型收敛或训练终止. 除了常见的模型参数交换以外, 也存在梯度交换、数据特征的嵌入式表示交换等方式. 在此架构下, 原始数据不需要传输, 但是本地中间参数暴露给了中心服务器, 全局中间参数则会被每个客户端获取, 数据交换过程中, 巨大的通信量也会影响训练效率. 而当参与训练的客户端数量过多时, 中心服务器的聚合计算甚至可能成为全局训练效率的瓶颈.

　　当没有中心服务器时, 联邦学习采用另一种常见架构: 端对端的网络架构[12]. 这种架构仅由持有数据的终端组成. 参与训练的终端 Fi 直接将训练参数发送给下一个(或多个)终端 Fi+1, 下一个(或多个)终端 Fi+1 在收集到的一个(或多个)参数基础上继续训练, 直到模型收敛或者训练终止. 端对端网络架构不依赖中心服务器这样的第三方机构, 本地中间参数直接在参与方之间传送. 因此需要考虑参与方如何协商使用相同的模型、算法、初始化参数等基本信息, 协调各方参与训练的顺序.

　　为了下文中概念统一、表述清晰, 本文将客户-服务器中的服务器称为中心服务器; 将客户-服务器中的客户端和端对端架构中的参与训练终端统称为终端; 所有参与训练的服务器、终端统称为参与方. 训练过程中发送的梯度、模型参数、嵌入式表示等, 统称为中间参数. 上述两种典型架构如图 1 所示.

　　1.2 联邦学习类型

　　根据参与方的样本分布情况, 联邦学习按照数据的划分情况可以分为 3 种类型: 横向联邦学习、纵向联邦学习、迁移联邦学习. 不同的数据的划分方式需要的训练方式和中间参数不同, 也为隐私泄露的风险和保护方式带来影响. 横向联邦学习中, 各个参与方持有的数据特征相同, 但掌握的样本不同. 例如, 几个不同城市的医院可能掌握着不同病人的情况, 但是由于具备相似的医疗手段, 医院获取属性的属性相同. 横向联邦学习中典型的方式之一是第 1.1 节所描述的联邦平均算法 FedAvg, 包括梯度平均和模型平均两种类型[13], 多由客户-服务器架构实现. 梯度平均是指终端交换和聚合模型梯度, 而模型平均指聚合模型参数. 在端对端架构中, 各个参与方训练本地模型, 通过循环发送给下一个(或多个)训练方或者随机传输某个(或多个)终端[14]实现模型参数的共享.

　　而纵向联邦学习则针对相反的情形, 即各个参与方持有的数据特征不同, 但掌握的样本相同. 例如, 同一个城市中的医院和银行都接待过同一个市民, 保留着该市民的就诊记录或资金状况. 显然, 医院和银行获取的数据属性完全不同, 但是所持有的样本 ID 是重叠的. 纵向联邦学习首先需要参与方对齐相同 ID 的样本, 然后, 各个参与方在对齐的样本上分别训练本地模型并分享参数. 不同架构同样都适用于纵向联邦学习, 但由于数据的纵向分布, 参与方之间的依赖程度更高, 模型需要更加精细地设计. 纵向联邦学习已应用于线性回归[11]、提升树[15]、梯度下降[16]等多种模型上. 以纵向联邦学习线性回归算法[11]为例, 该算法在样本对齐后, 将损失函数的梯度拆分, 使得两个参与方能够使用各自的本地数据分别计算梯度的一部分, 而需要共同计算的部分则通过双方交换参数协同完成. 纵向分布的数据之间紧密的相关性, 为纵向学习的效率和容错性带来挑战.

　　上述两种类型都是比较理想的情况, 现实生活中, 大部分参与方所持有的数据, 在特征和样本 ID 上的重叠都比较少且数据集分布不平衡. 针对这样的情形, 迁移学习被应用到联邦学习中来. 迁移学习作为一种有效的学习思想, 能够将相关领域中的知识迁移到目标领域中, 使得各个参与方共同学习得到迁移知识. 以两方迁移学习为例[17], 假设一方 A 掌握样本的部分特征和全部标签, 另一方 B 掌握部分特征, 双方特征和样本 ID 之间都有少量重叠. 联邦迁移学习首先对齐样本并共同训练模型, 然后预测 B 方样本的标签. 为了达到预期效果, 训练的目标函数包含两个部分: 一部分是根据已有的标签预测 B 方样本, 使预测误差最小化; 另一部分是 A 与 B 对齐的样本之间的嵌入式表示的区别最小化. 各方根据目标函数在本地训练, 并交换中间参数更新模型, 直至模型收敛.

　　目前, 纵向和迁移联邦学习的隐私保护算法研究还不成熟, 且保护方式与横向联邦学习场景类似. 为了表述简洁, 下文中调研的隐私保护算法若无特别说明, 即为横向联邦学习场景.

　　2 联邦学习中的隐私泄露风险

　　尽管联邦学习不直接交换数据, 比传统的集中式机器学习训练有了更高的隐私保障, 但联邦学习本身并没有提供全面充分的隐私保护, 依然面临着信息泄露的威胁. 模型面临的隐私泄露风险来自模型训练自身的脆弱性和攻击者的强大能力: 模型训练过程中, 独特架构和训练阶段决定了隐私泄露的位置和时机; 攻击者的角色和能力, 决定了隐私泄露的内容和程度. 而攻击者依据自身特性所采取的攻击策略, 则进一步影响攻击者的能力, 从而影响模型隐私泄露的风险. 理清隐私泄露的风险, 才能为联邦学习隐私防御找到总体方向.

　　2.1 隐私泄露风险来源

　　为了在下文中更好地描述隐私攻击, 我们首先建立联邦学习攻击模型. • 根据角色, 攻击者分为内部和外部: 内部攻击者包括掌握训练的中间参数并且参与训练过程的终端和中心服务器; 而外部攻击者包括掌握模型发布的参数及查询接口但没有参与训练过程的模型使用者. 与外部攻击者相比, 内部攻击者掌握模型的更多信息, 攻击能力更强.

　　• 根据可信程度, 攻击者分为半诚实角色和恶意角色: 半诚实角色指参与方严格遵守训练协议和流程, 仅根据合法获取的信息分析推断, 对于训练结果没有影响; 恶意角色指参与方不遵守协议, 在参与过程中恶意篡改数据、注入模块, 诱导目标泄露隐私并影响训练结果.

　　• 根据攻击模式, 攻击分为被动和主动: 被动攻击指攻击者仅观察或访问模型获取信息; 主动攻击指攻击者篡改数据或模型, 参与并影响训练过程. 需要说明的是, 攻击模式与可信程度并非完全对应. 存在少数主动攻击者能够在修改上传参数诱导目标泄露隐私的同时不影响联邦训练目标, 诚实正确地完成训练任务.

　　• 根据攻击者知识, 攻击分为白盒攻击和黑盒攻击: 白盒攻击指攻击者掌握模型的相关信息, 包括数据的分布和统计信息、模型训练完成的结构参数或模型训练过程中的中间参数; 黑盒攻击指攻击者对相关信息一无所知, 仅有请求查询的权限.

　　联邦学习包含参数上传、下发、参数传输、模型发布等多个阶段, 其中, 参数上传、下发为客户-服务器架构所特有的阶段, 参数传输为端对端架构所特有的阶段, 模型发布为两种架构都有的阶段. 每个阶段隐私泄露的位置和内容不同, 威胁隐私的攻击者角色也不相同. 研究联邦学习不同阶段隐私泄露风险, 有助于为隐私保护提供清晰的思路和方向. 隐私泄露风险来源的对比见表 1.

　　在客户-服务器架构下, 训练分为 3 个阶段.

　　• 第 1 阶段, 本地(终端)训练后, 上传本地参数给中心服务器. 此阶段的潜在攻击者多为中心服务器. 中心服务器根据收集的本地参数能够发起重建攻击, 恢复目标终端的原始数据; 或者发起属性推断攻击, 推断目标终端的数据中是否含有某些敏感属性.

　　• 第 2 阶段, 中心服务器聚合各个终端的参数处理后, 再次下发全局参数. 此时的潜在攻击者是不可信的终端. 终端能够根据全局中间参数发起攻击重建某个类别样本(generic sample), 或推断某条记录的敏感属性是否存在, 进而根据训练集的共同特征推断拥有该记录的个体的情况, 例如训练集是艾滋病患者基因数据, 如果该个体属于该训练集, 则一定也患有艾滋病.

　　• 第 3 阶段, 模型训练完成, 由中心服务器发布模型. 一般的发布方式包括直接将模型部署在用户端, 或提供 API 访问接口两种. 此时的潜在攻击者是外部使用者. 不可信的外部使用者能够根据模型的参数或模型的预测结果发起推断攻击、重建攻击或参数提取攻击[18−22]. 通过发布的模型推测参与训练的数据集样本, 或根据 API 访问接口推测模型参数, 进而攻击训练数据. 在端对端架构下, 训练分为两个阶段:

　　• 第 1 阶段, 本地(终端)训练后, 将本地参数传输给下一终端. 攻击者为不可信的接收终端. 终端接收本地参数后, 同样能够发起重建攻击或属性推断攻击, 致使本地的原始数据泄露.

　　• 第 2 阶段, 模型训练完成后, 终端若发布模型, 则面临与客户-服务器架构同样的外部攻击; 若仅供内部使用, 则无须考虑.

　　需要说明的是, 联邦学习的隐私攻击主要由内部参与方发起. 与外部攻击者相比, 内部攻击者具备更强的能力, 不仅可以在训练过程中通过直接获取数据交换中的特征嵌入式表示、梯度和模型参数等发起攻击, 还能够通过替换样本、更改梯度甚至修改损失函数等方式影响模型的训练过程, 诱导目标终端暴露更多隐私信息, 完成推断攻击和重建攻击. 联邦学习为了协同训练和共享模型需要更多参与者, 却缺乏与之对应的身份确认机制和诚信保障, 难以防范“内部”泄露. 传统的集中式机器学习隐私保护能够抵御外部攻击, 却没有抵御内部攻击的能力. 为了理清联邦学习面对的风险, 本文首先介绍外部攻击作为基础, 重点针对其特有的内部隐私攻击展开分析.

　　2.2 隐私攻击策略

　　根据上述的隐私泄露风险和攻击者的能力, 研究者设计了不同的联邦学习架构及阶段下可能的隐私攻击, 并通过实验展现了这些攻击对敏感数据的巨大威胁. 隐私攻击者包括参与模型训练的内部角色和未参与模型训练仅能接触发布模型的外部角色. 攻击者采取的主要策略有重建攻击和推断攻击: 重建攻击中, 攻击者根据掌握的中间参数以及模型信息恢复部分训练数据; 推断攻击中, 攻击者根据中间参数和发布参数推断训练集中是否含有特定的记录. 内部以及外部攻击者采用上述策略对联邦学习发起隐私攻击, 获取训练集的敏感信息. 其中, 内部隐私攻击方案的总结参见表 2.

　　2.2.1 重建攻击

　　重建攻击(reconstruction attack)指攻击者根据训练中间参数、模型的参数或者请求查询所得输出, 恢复参与训练的数据集中的信息. 根据攻击者角色, 重建攻击分为外部和内部攻击: 外部重建攻击是在模型训练完成并发布后, 外部使用者发起的攻击; 内部重建攻击则是在模型训练阶段, 内部参与方发起的攻击.

　　相关知识推荐：论文审稿人怎么精准推荐

　　外部重建攻击中, 攻击者仅能掌握模型的查询结果或模型发布的结构和参数, 因此只能不断试探模型的输出结果, 通过调整输入数据使输出值向预期方向靠拢. Fredrikson 等人[20]首次设计了外部攻击者在黑盒情况下发起的模型倒推攻击, 该算法基于模型的输出和一些非敏感属性恢复了病人的基因信息. 攻击者假设样本共有 d 维特征, 其中, f1到 fd−1为非敏感特征, 在给定非敏感特征和模型输出时, 最大化敏感特征 fd的后验概率. 上述工作仅能推断敏感属性, Fredrikson 等人[21]在随后的工作中设计了白盒情况下的模型倒推攻击. 外部攻击者根据训练完成的模型参数训练深度学习模型, 恢复训练集中的全部特征. 该攻击通过保持网络结构和参数不变, 对输入的随机像素值和随机标签梯度下降. 当模型预测置信度达到最优时, 生成的图片像素与训练集数据高度近似. Luo 等人[32]首次提出了纵向联邦学习中的特征重建攻击. 掌握标签的主动参与方在获取最终模型的预测结果后, 能够根据公式倒推或通过路径限制重建不掌握标签的被动参与方的数据特征. 上述算法的攻击者角色均为外部攻击者, 仅能掌握模型得查询结果或模型发布的结构和参数, 因此只能不断输入数据试探模型的输出结果.

　　外部攻击以模型输出以及发布的最终参数为依据, 重建整个数据集的泛化样本(generic sample), 难以获取详细的敏感信息. 此外, 借助有效的泛化、降低输出精度等手段, 即可在很大程度上抵御这类攻击. 相比之下, 联邦学习的内部重建攻击具有更加丰富的知识背景, 能够以中间参数为依据发起攻击. 中间参数不仅与用户数据紧密相关, 而且在迭代中多次暴露. 内部攻击者能够据此重建特定用户的具体敏感信息. 在主动攻击的情况下, 还能够通过修改中间参数、上传有害信息来影响模型的训练过程, 甚至诱导隐私泄露. 具体的内部重建攻击包含两种类型: 类别重建和样本重建.

　　内部类别重建是重建攻击中的常见类型, 该攻击通过重建某个类别的通用样本模式获取目标类别(target class)中的敏感信息. 例如, 在训练图片识别分类器时, 训练集的一个类别中包含的图片主体是一致的, 则类别重建能够恢复目标类别中主体的共性信息. Hitaj 等人[23]针对客户-服务器架构的联邦学习, 提出了基于生成对抗网络(generative adversarial networks, GAN)的主动重建攻击. 攻击者作为参与训练的终端, 上传篡改参数给服务器诱导其他诚实终端暴露信息, 从而推测仅由目标终端掌握的类别的样本. 具体来说, 假设目标终端拥有类别[a,b]的样本, 攻击者拥有类别[b,c]的样本. 为获取目标类别 a 的信息, 攻击者首先在本地训练生成对抗网络, 利用从中心服务器获取的全局梯度更新其判别器后生成目标类别 a 的近似样本, 然后将近似样本故意标注为类别 c 训练本地分类器, 并上传参数到中心服务器. 在迭代过程中, 由于攻击者故意将真实标签为 a 的样本分类到 c 中, 目标终端需要暴露更多与 a 相关信息来“纠正”全局梯度, 这些信息使得攻击者的生成对抗网络获得更加准确的参数, 恢复的样本信息比 Fredrikson 等人[20]面向模型输出的攻击结果更加丰富、清晰. 但是这种算法要求攻击者主动篡改模型参数来影响全局模型的训练结果, 对于攻击者的能力假设过强. 而篡改后的参数影响力也会在聚合平均时被稀释, 导致攻击者的能力不能得到完全发挥. Wang 等人[24]随后提出了一种被动攻击模型 mGAN-AI, 攻击者能够在不干扰训练过程的情况下达到较好的攻击效果. 具体来说, mGANAI 假设半诚实的中心服务器能够根据每次迭代所获取的各个终端的局部参数更新训练多任务生成对抗网络. 它利用目标终端的参数更新样本判别器, 以区分目标终端数据的样本类别、生成目标终端的近似数据; 利用其他终端的参数训练身份判别器, 以区分目标终端和其他终端的身份; 利用辅助数据集添加噪声训练真实数据判别器, 以区分真实数据和生成数据. 该模型能够在重建类别的同时不干扰模型的正常训练过程, 攻击手段更加隐蔽. 但是上述攻击中的身份识别环节假设中心服务器知晓各局部参数所对应的终端身份, 如果终端匿名上传参数则攻击失效. 针对此问题, Song 等人[25]基于 Orekondy 等人[33]的链接攻击思想, 进一步提出了匿名环境下的 mGAN-AI 攻击模型. 半诚实的中心服务器根据终端上传的匿名参数生成对应的参数表示 (parameter representative), 通过衡量本轮的所有参数表示与上一轮的所有参数表示的相似度进行匹配, 相似的参数表示即属于同一个终端. 为使参数表示更加全面地表征此次更新, 参数表示的计算由终端梯度和终端模型参数同时参与完成. 为了准确衡量参数表示的相似度的同时生成合适的终端身份表示(identification representative), 攻击者辅助集训练卷积孪生网络融合身份识别和相似匹配两个训练目标, 以学习更有区分度的终端身份表示.该模型能够在匿名更新的环境下识别终端上传的参数, 并重建终端的泛化样本.

　　但是, 类别重建仍然存在一些局限: 首先, 它不能还原目标类别中的不同样本, 只适用于一个类别中的样本都类似的场景, 所能获取的敏感信息有限; 其次, 基于生成对抗网络的重建方式对攻击者的计算能力要求较高, 在手机终端等场景下并不适用. ——论文作者：