快科技12月12日音讯，“蚂蚁开源”公众号发文，蚂蚁技艺商榷院谨防推出LLaDA2.0系列闹翻扩散谣言语模子（dLLM）开云kaiyun.com，并同步公开技艺讲演。

这一发布冲破了行业对扩散模子难以膨胀的固有阐述，终赫然参数领域与性能的双重紧要突破。

LLaDA2.0系列包含基于MoE架构的16B (mini) 和里程碑式的100B (flash) 两个版块，初次将扩散模子的参数领域到手膨胀至百亿量级。

尤为引东说念主细心标是，该模子在代码、数学及智能体任务上的性能高出了同级别的自追思（AR）模子。

通过蚂蚁翻新的Warmup-Stable-Decay (WSD) 抓续预锻真金不怕火计策，LLaDA2.0玩忽高效继承现存AR模子的学问储备，显贵幸免了从新锻真金不怕火的广宽本钱。

在锻真金不怕火优化方面，LLaDA2.0纠合了置信度感知并行锻真金不怕火（CAP）和扩散模子版DPO，不仅保险了生成质地，更充分阐扬了扩散模子并行解码的先天上风。最终，模子终赫然比拟AR模子高达2.1倍的推理加快。

LLaDA2.0的到手有劲施展：在超大领域参数下，扩散模子不仅都备可行，更能展现出比传统自追思模子更强的性能与更快的速率。

【本文适度】如需转载请务必注明出处：快科技

背负剪辑：鹿角开云kaiyun.com

著述履行举报

]article_adlist--> 　　声明：新浪网独家稿件，未经授权不容转载。 -->