理论上，虽然最近的一些研究已经调查了联邦学习方法的变种的收敛性保证，但很少分析允许低参与度，或直接研究的设备退出的影响。同样地，尽管隐私对于许多机器学习应用来说是一个重要方面，但由于数据的统计变化，针对联邦学习的隐私保护方法可能很难严格断言，并且由于每个设备及可能的庞大网络上的系统限制，实施起来可能更加困难。然而，这些方法可能是不现实的：除了对网络带宽施加负担之外，将本地数据发送到服务器违反了联邦

联邦学习的新范式试图使在网络边缘上实现机器学习模型的协作训练，而无需集中聚合原始数据，从而提高数据隐私。Thissharplyand这与传统的机器学习有很大的不同，需要设计对各种异质性来源具有鲁棒性的算法。canseverely尤其是，跨用户设备数据的统计异构性会严重降低标准联邦平均对传统机器学习应用的性能，比如深度学习的个性化。本文提出了FedPer，一种用于深度前馈神经网络联邦训练的基础+个性

表2的每一节中的行按这个统计量排序。只要B足够大 只要B足够大，以充分利用客户端上的可用并行性 只要B足够大，以充分利用客户端硬件上的可用并行性，那么降低B基本上没有计算时间上的成本 因此，在实践中，这应该是第一个调整的参数。然而，我们使用的标准模型足以满足我们的需求，因为我们的目标是评估我们的优化方法，而不是在这个任务上实现最佳的精度。我们考虑的（参数化）算法系列的一个端点是简单的单次平均法，即

逐行分析代码记录所学。

逐行分析FedAVG代码记录所学。

本文通过将这些视觉变压器模型通过执行任务的不同而进行分类，并分析了它们的优缺点，其探索的主要类别包括主干网络、高/中级视觉、低级视觉和视频处理，也包括高效的Transformer方法，以将Transformer运用到基于实际设备的应用程序。此外，本文简要介绍了计算机视觉中的self-attention机制，因为它是变压器中的基本组件。