Abstract
- Key challenge: heterogeneity
- 지금까지는 image + DL에서 high performance가 없음
→ MOON: model-contrastive federated learning 제안
- model level에서 contarstive learning 적용
→ model representation 간의 유사도를 활용하여 local training을 교정
결론: image classification task에서 성능이 좋다.
Contrastive Learning?
self-supervised learning → representation learning!
유사한 이미지는 가깝게, 다른 이미지는 멀게 vector feature
Contrastive Loss?
벡터 사이의 유사성을 정량화 하는방법
cosine similarity 처럼 각도가 작을때 유사성 ⬆️
장점: 레이블 없는 데이터 사용가능
단점: 데이터 augmentation이 어려운 경우 성능저하 발생 가능
Background
- FedProx: MNIST & EMNIST w/ multinomial logistic regression
- SCAFFOLD: EMNIST w/ logistic regression & 2-layer fully connected layer
→ image datasets w/ DL은 검증이 안됨 → 해당 논문에서 실험결과 DL에서는 FedAvg와 큰 차이가 없음.
의의
- 여러가지 image dataset에서 general하게 accuracy가 높게 나옴 (FedAvg, FedProx, SCAFFOLD 대비)
- general하게 speedup, stable, scalable 함