欢迎光临
我们一直在努力

那点事

谷歌DeepMind推出Mixture of Depths-那点事

谷歌DeepMind推出Mixture of Depths

日前有消息显示,谷歌DeepMind方面发布的Mixture-of-Depths(MoD),改变了以往Transformer架构的计算模式。 据了解,通过动态分配大模型中的FLOPs(运算次数或计算资源),优化不同层次模型深度中的分配,限制给定层的自注意力和MLP计算的token数量,MoD可跳过一些不必要计算,迫使神经网络学会主要关注真正重要的信息, 实现只给需要准确预测的token分配更多计算资源,从而显著提高训练效率和推理速度。 例如,虽然预测下一个句子的内容很难,但预测句子结束的...

赞(0)那点事那点事阅读(19)去评论

登录

找回密码

注册