大模型之家讯 3月5日，YuanLab.ai团队正式开源发布“源Yuan3.0 Ultra”多模态基础大模型，成为当前全球仅有的三个开源万亿级多模态大模型之一。该模型采用统一多模态架构，由视觉编码器、基于103层Transformer的MoE语言主干网络及多模态对齐模块组成，初始参数达1515B，经LAEP方法优化后降至1010B，预训练算力效率提升49%。其激活参数为68.8B，并引入Localized Filtering Attention（LFA）机制，显著增强语义关系建模能力，相较传统Attention结构实现更高精度。
