每经杭州6月17日电(记者叶晓丹)日前,阿里巴巴通义团队开源了全新的千问3量化模型,完成基于苹果硬件的MLX框架的全系模型深度适配。MLX框架是专为苹果芯片优化的机器学习框架,在AI(人工智能)开源社区广受关注。
此次千问3一次性推出32个官方MLX量化模型,包含4bit(比特,信息量单位)、6bit、8bit和BF16(一种每个数值占16 bit的半精度格式)等不同精度,最大程度地满足开发者在MacStudio、MacBook、iPhone等不同苹果硬件上部署大模型的需求。
封面图片来源:视觉中国-VCG211478193393
1本文为《每日经济新闻》原创作品。
2 未经《每日经济新闻》授权,不得以任何方式加以使用,包括但不限于转载、摘编、复制或建立镜像等,违者必究。