MoE

MoE（Mixture of Experts）会在推理时只激活部分专家网络，让模型总参数很大但单次计算成本可控。很多新一代大模型都用它来兼顾能力与成本。