LLM HunYuan 等 MFU 计算量和 参数量 聊一聊 MoE

LLM HunYuan 等 MFU 计算量和 参数量 聊一聊 MoE

一、背景最近在看腾讯最新混元大模型的Paper时,[2411.02265]Hunyuan,Large,AnOpen,SourceMoEModelwith52BillionActivatedParametersbyTencent[1],,看到......
koi 11-14
498 318 846