天美乌鸦糖心mv

mmdit 和 dit 相比算是一种 hard route 的 MoE 吧。

如果 MoE 确实有效的话，mmdit 可能也是有效的？ mmdit 和 dit 相比也没有增加计算量，主要是增加参数量，对 infer 不是太友好。

不过大家主要还是 follow flux 的方案，毕竟模型结构设计实在太难了。

。