433
新华社研究院:商汤“商量”获评中国大模型市场未来领袖
技术文章
发布于2023-12-01 15:48:24
新华社研究院测评选取10家国产主流大模型产品进行深入的定量实测,覆盖基础能力、智商、情商和工作提效四个维度1000道题,并精选其中的400道题进行实际问答测试,以准确反映大模型在不同场景和问题下的实际表现。


新华社研究院测评选取10家国产主流大模型产品进行深入的定量实测,覆盖基础能力、智商、情商和工作提效四个维度1000道题,并精选其中的400道题进行实际问答测试,以准确反映大模型在不同场景和问题下的实际表现。


实测中,商汤“商量”取得1746分的优异结果,其中情商维度表现位居10家主流大模型第一。分析显示:


在智商指数方面,商汤“商量”能够根据指令回答问题。


在情商指数方面,能够给出方案详尽,问题切入角度多样,且能够引发用户进行深入思考的答复。




在工作提效方面,商汤“商量”不仅能够较好地解答日常疑惑,在法学、经济学、文学方向上也表现不凡,能够以较快的速度响应给出准确可信的结果。



同时此次评测升级了评测体系,首次纳入象限评估模式,从“技术实力”和“发展潜力”两个维度进行详细的定性分析,并选入未来领袖、技术为王、潜力无限和中规中矩四个象限,体现大模型在技术和市场方面的综合实力。

商汤“商量”在众多大模型中脱颖而出,被新华社研究院认可为中国大模型市场的“未来领袖”。

一、厂商更佳实践案例,商汤“商量”助力电力企业升级AI平台

伴随大模型能力提升以及应用场景的逐步丰富,新华社研究院报告指出,以商汤“商量”为代表,大模型已经覆盖职场、营销、出行、生活、公文、客服等多个行业和场景。如何将大模型与产业深度融合,推动社会经济的发展和进步,成为大模型厂商更为重要的课题。

在新华社研究院报告的“厂商最佳实践案例”部分,商汤与电力企业共同探索大模型技术与新型电力系统的创新结合,并在电力生产和运维领域应用大模型技术,实现降本增效,助力电力企业AI平台的智能化升级。


案例中,某国有电力企业希望借助大模型能力,为庞大规模用户提供高质量服务。同时在电网自动化巡检、电力调度等领域,也面临着智能化能力构建和提升的迫切需求。

面对这一需求,以商汤大模型体系为核心,双方共同探索电力人工智能平台建设,优先解决在运维场景对长尾故障和缺陷进行智能识别和判断的问题。根据规划,未来双方将共同推动电力行业AI大模型训练与应用、算力建设、标准建设、产业转化和市场拓展,加快推动电力行业的人工智能创新及应用。


据统计,目前商汤“商量”在金融、手机、医疗、汽车、地产、能源、传媒、工业制造等众多垂直行业,已经与超过500家客户建立了深度合作,加速行业企业的智能化转型。

新华社研究院报告也认为,随着大模型快速升级迭代,大模型的技术能力开始越来越多体现在产品能力上,大模型将会推动数字经济和产业经济的深度融合,掀起一轮技术革命。

二、领先基础设施和研发体系。巩固大模型竞争力

商汤“商量”是国内最早推出的基于千亿参数大语言模型的产品之一,并不断迭代更新。

今年9月份SuperCLUE评测中,商汤“商量”位列中文大模型总榜及AI智能体子榜双榜榜首,展示出极强的综合竞争力。

这些成果得益于商汤对人工智能基础设施的前瞻性打造,以及围绕大模型及研发体系的规模化投入。

商汤以AI大装置SenseCore为基础,建立了一套工程化的体系支撑大模型的快速迭代,软件、系统和硬件都在以服务大模型快速迭代为目标做研发配合,实现了敏捷、低成本、大批次地做模型迭代。

其中商汤上海临港AIDC是目前全国规模最大的人工智能智算中心之一,截至2023年8月底已上架GPU数量达到约3万张。

而在对大模型的迭代训练中,商汤也积累了稀缺的算法和工程上的专业知识,以及改进数据管理的方法。商汤AI大装置通过人工和算法结合的方式,对原始语料数据来做分门别类的精细化清洗,目前已实现每月产出2万亿token的高质量训练数据,预计在2023年底,可以突破10万亿token。

借助丰厚、领先的算力和数据资源,商汤不断优化迭代大模型能力,同时创造领先的大模型落地和生成式AI应用生态,通过帮助客户打造行业大模型和更多的领域应用,推动更多产业智能化升级。