439
沙利文《2023中国大模型行研能力评测报告》:12款主流大模型,商汤日日新·商量总榜第一
技术文章
发布于2024-01-19 18:12:54
权威研究机构弗若斯特沙利文(Frost & Sullivan)联合头豹研究院最新发布的《2023年中国大模型行研能力评测报告》给出评价结论。

12款主流大模型,行业研报撰写能力哪家强?


权威研究机构弗若斯特沙利文(Frost & Sullivan)联合头豹研究院最新发布的《2023年中国大模型行研能力评测报告》给出评价结论。




商汤语言大模型“日日新·商量”以总分7.73(满分10分)斩获总榜第一,并在报告撰写能力(八大模块)、模型基础能力(行研基础能力)两个子榜位居第一。


报告中,沙利文这样评价“商汤商量”:在语言、知识、理解、推理和学科五大能力上均处于行业领先水平,不仅可以处理各类文本和信息,还能在协助行业分析师工作时,充分胜任随身综合知识库、高效文本编辑器、数理计算器和简单易用的编程助手等多个角色。


▍大语言模型为行研数字化“加料”,“商汤商量”强化分析师生产力


行业研究是通过分析特定行业的定义、竞争格局、市场规模等关键方面,产出深刻洞察和观点。《2023年中国大模型行研能力评测报告》主要从研究报告撰写能力、模型基础能力、行业综合理解能力三大方向对大模型进行全方位评测。


研究报告撰写子榜单方面,此前沙利文及头豹行企研究用于行业深入分析的是一套全面系统的8-D研究方法论。




在这一框架下,沙利文调集百人规模的分析师团队精细研磨一套专业的8D模块提问方法,对模型能力进行评测,“商汤商量”在报告撰写能力的子榜单位居第一。


沙利文认为,大模型报告撰写能力综合热力矩阵图显示,商汤大装置“商汤商量”是综合能力最强的模型,且在各个板块表现处于前列,能力均衡。




另外,在模型基础能力(行研基础能力)子榜中,“商汤商量”同样夺魁,在语境转换、文字生成、知识储备等模块排名第一。


分析师认为,“商汤商量”产出的内容能够避免使用非专业词汇,同时确保生成内容的完整性和专业性,为用户提供阅读体验感满意的研究产出物。




目前,行业研究工作存在诸多痛点。从基础数据收集到深度分析输出,传统行业研究流程面临着工具革新滞后、团队知识难传承、信息溯源复杂等挑战。


结合大模型技术,可协助分析师克服传统行业研究的核心制约因素,通过AI专家访谈、AI内容生成、AI文字校对、AI资料检索等多方面赋能行研,显著提升研究精度和效率,推动行研数字化进程。