每经AI快讯,11月27日,浪潮信息发布旗下开源千亿参数大模型系列“源2.0”。据悉该系列模型免费可商用,有参数值102B(1026亿)、51B(518亿)、2B(21亿)三个版本,相关成果已开源,并提交了研究论文。浪潮信息在其论文中称,源2.0在代码、数学和事实问答等方面的能力测试表现好于Meta的开源大模型Llama 2。
在算法上,源2.0开发团队提出局部注意力过滤增强机制LFA(Localized Filtering-based Attention),更关注上下文之间的强语义关联。在数据集方面,浪潮信息主要使用中英文书籍、百科、论文等资料。(每日经济新闻)