AI芯片评测实施方案

上海人工智能实验室每季度开展针对国产AI训练芯片的评测工作，多家国产芯片厂商积极参与。实验室对送测芯片进行技术规格、软件生态、功能、性能等多维度测试，并按季度产出硬件评测报告。评测结论可以为算力市场产品选型提供参考依据，同时芯片厂商也可更加客观的发现自身软硬件产品的不足，促进产品迭代。

通过组织AI芯片厂商开展评测工作，可以根本上推进软硬件之间的解耦适配，极大降低算力使用门槛，实现算力要素多样化，为国产芯片高效服务国产大模型保驾护航。

面向硬件的传统模型评测实施方案的主要评测指标如下：

   

测试大项	测试小项	小项说明
基本技术规格	算力	考察计算芯片的计算能力，关键指标之一
	内存规格	考察芯片的显存容量和显存带宽
	通信带宽	考察芯片的跨卡跨机数据传输能力
	能耗比	芯片算力与芯片标称功耗的比值
软件生态	软件栈	考察芯片对于常用库的支持程度
	开放性	考察芯片与业界主流异构计算的模型、接口兼容程度
功能测试	算子功能	考察芯片对算子的支持程度
	模型功能	考察芯片对基础模型的支持程度
性能测试	算子性能	考察算子在芯片上的运算时间
	模型性能	考察模型在芯片上的训练性能
	通信性能	考察算⼦在单节点多芯⽚、多节点多芯⽚条件下的性能表现