跨边缘联邦持续学习算法(Cross-FCL)

联邦学习(Federated Learning, FL)是一种新兴的分布式训练框架,可以在满足用户对隐私安全的需求的同时集聚不同参与设备的学习能力,构建一个比本地模型更强大的全局模型。随着一些时延敏感...

联邦学习Federated Learning, FL是一种新兴的分布式训练框架,可以在满足用户对隐私安全的需求的同时集聚不同参与设备的学习能力,构建一个比本地模型更强大的全局模型。随着一些时延敏感任务的兴起,例如自动驾驶,移动边缘网络中的FL最近得到了广泛研究。现有的移动边缘网络中的FL研究通常使用分层联邦学习架构。当边缘服务器不属于同一个机构或运营商时,分层联邦学习架构难以被构建。泛在环境中,通常存在移动设备跨越多个独立的边缘联邦学习系统,学习一系列任务。由于不同FL系统的场景与任务存在差异,跨边缘设备在学习新任务后会遗忘过去的任务,这对付出了系统成本参与FL的设备来说是不可接受的。针对这个问题,提出了Cross-FCL,一个跨边缘联邦持续学习框架。通过基于参数分离的联邦持续学习模型使得设备在参与新任务训练时保留过去学习的知识。引入多种跨边缘策略,包含有偏倚的全局聚合与本地优化,以权衡记忆性与适应性。

如算法概述1所示,Cross-FCL算法基于python3.6+环境下的numpy、pytorch等依赖库开发。算法输入为m个FL系统任务与每个系统的n个智能体,输出则为一个具有m个系统任务知识的智能体模型与m*n-1个具有一个系统知识的智能体模型同时该算法支持在Caltech-256CIFAR100MNIST系列等数据集上的持续学习。在代码的实现过程中,该算法参考了EWC、FedWeIT等第三方开源资源。


算法名称

Cross-edge Federated Continual Learning, Cross-FCL

算法接口

python mefcl.py --config_file config.yaml

输入

m个FL系统任务与每个系统的n个智能体

输出

一个具有m个系统任务知识的智能体模型与m*n-1个具有一个系统知识的智能体模型

支持数据集

Caltech-256、CIFAR100、MNIST系列、Traffic-sign等

依赖库

EWC、FedWeIT等

Gitlab链接:Cross-FCL · GitLab (crowdhmt.com)

你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
LH
LH

9 篇文章

作家榜 »

  1. 尹懋龙 10 文章
  2. LH 9 文章
  3. mingze 8 文章
  4. admin 6 文章
  5. hcshen 5 文章
  6. Marco Legend 4 文章
  7. 旺仔牛奶opo 3 文章
  8. Hao98 2 文章