knowledge-distillation-pytorch
haitongli • Updated Dec 7, 2023
performance 관점에서는 많은 모델을 사용하는 것이 좋음 → deploy 관점에서는 cost high.
→ KD 제안.
Experiment
- MNIST에서 label 3 없애고 soft label만 학습시킴에도 86%얻음.
Distilling the Knowledge in a Neural Network
Category
Knowledge Distillation
Year/Month
2015
Status
Done
Publications
Code