4月24日，商汤科技大装置产品总监侯浩受邀出席「DeepSeek生态深度探索」线上直播活动，与OpenTEKr创始人、KPro联合创始人、上海开源信息技术协会联合秘书长狄安，以及中国开源推进联盟常务副秘书长谭中意，围绕“商汤万象+DeepSeek如何助力企业实现业务创新和效率提升”展开精彩探讨，进一步强化和拓展产业生态。

对话实录如下，内容在保证原意下有删减调整。

Q

请先跟大家介绍一下商汤公司。

侯浩: 感谢主持人，商汤大装置定位打造高效率、低成本、规模化的新一代AI基础设施，以AI大模型开发、训练、推理、应用为核心，赋能人工智能生产新范式。我们一直围绕算力、算法、数据，构建三位一体的AI云基础设施，在这方面，我们是国内起步最早的、持续深耕的企业。

2022年，我们建设了上海新一代人工智能平台——商汤临港AIDC计算中心，项目占地87亩，整体规划建筑面积13万平方米，一期已建成7万平方米。目前，商汤临港AIDC已经是国内AIDC建设的“样板间”。

2023年，我们建设了国内最先进的基础设施-万卡集群，实现了对万亿参数大模型的生产支持，还在互联规模、加速效率和稳定性上保持业界领先水平。

近年来，我们也在大力建设大模型服务的MaaS平台和专家服务，为企业提供了一站式的大模型服务解决方案，在企业大模型落地过程中遇到的各种复杂问题提供专业指导和精准支持。

Q

商汤有哪些产品以及特点。

侯浩: 商汤大装置，定位做最懂大模型的AI基础设施，核心产品是我们今年4月10日在【商汤技术交流日】上，全新升级的商汤大装置SenseCore2.0。产品致力于为企业提供敏捷、灵活、可靠的全栈AI基础设施服务。万象是SenseCore2.0的重点子产品，包含模型开发平台和应用开发平台，是依托商汤大装置算力底座和日日新大模型，构建面向企业与开发者的模型管理、模型推理、模型微调、数据管理，以及智能体应用的一站式大模型服务平台。

今年2月，商汤大装置万象平台正式上线了DeepSeek-R1、DeepSeek-V3等模型，其中免费版提供3个月内千万Token额度，受到用户的热烈响应。为了更好的服务用户，经过系列优化，后又推出企业版，同时完成免费版国产化适配与算力扩容，形成专业强支撑+普惠广覆盖的双擎驱动。

万象平台的主要特点，是结合了AI基础设施和大模型优化的经验积累，将模型管理、精调、推理、数据管理、智能体应用等融合到平台上，进一步降低企业应用大模型的门槛。

Q

商汤在技术研发过程中遇到哪些挑战和克服困难的策略，是如何展现团队的技术实力和创新精神的。

侯浩: 第一个挑战是推理性能，DeepSeek官方优化做的非常好，那么在大装置平台如何把性能优势发挥出来？在这里，我们应用PD分离（将模型输入的解析和输出的生成，分开优化来加速处理效率）和KV Cache（将模型中间计算结果存储下来复用）、动态节点管理、调度和负载均衡、增量传输，最终效果在线推理领先行业25%，离线推理Prefill优于行业5倍、Decode优于行业3.5倍。

第二挑战是混合文本带来的性能损耗和服务中断，主要特点是上下文出现超长文本。在这里，我们将超长文本分流，超过一定长度的输入分流到专属服务处理区，以缓解中短长度的解析效率，以及算子优化，专门针对超长长文本定向优化算子，提升处理效率，最终效果服务稳定性得到显著提升。

第三挑战是兼容异构算力，不同企业因自身业务需求和发展方向的差异，对算力的选择呈现出多样化的特点，涵盖了H卡、4090以及国产芯片等多种类型。面对这一现状，我们需要将DeepSeek与各类不同种类的算力进行深度适配与优化，确保其能够在各种算力环境下稳定、高效地运行。这并非易事，这就依托商汤大装置积累的异构算力管理能力和模型适配能力，快速迁移到DeepSeek，满足不同场景下的多样化需求。我们现在推出DeepSeek一体机，兼容性显著提升。

第四个挑战是端到端性能优化，从用户使用DeepSeek API、到模型、到引擎，这个端到端过程还存在安全审核、流量分发策略等服务，这些服务也要有相应优化，否则会成为瓶颈，总之，DeepSeek的使用，并非将开源模型搭建到服务器就完事，而是后期要做大量的优化措施和大量的测试。

Q

DeepSeek服务上线后，市场有哪些反馈和用户评价，请分析一下其在行业中的影响力和地位。

侯浩: 我们主要有2类用户群体：

ToB、ToC类用户，接入B端企业，终端用户是C端，本质将DeepSeek用于服务C端用户，例如对话问答、解题、搜索，此类用户特点是流量较大，上下文长文本占比较多，基于此，我们做了场景优化，用户反馈性能同比是最好的。

ToB类用户群体，将DeepSeek用于企业内容的知识检索、政策问答等，看重端到端的业务效果。针对这个场景做了结合RAG、联网搜索、文件解析等的端到端优化，较好匹配业务场景。

期间来自第三方SuperCLUE的测评，商汤大装置DeepSeek服务在回复完整度、推理速度、准确率等维度，位居第一梯队，与火山、阿里处在一个身位。

Q

有哪些具体案例展示商汤大装置 + DeepSeek服务是如何帮助企业实现业务创新和效率提升的吗？

侯浩: 好的，我举几个例子。

某AI助手类AIGC公司，是一家聚焦人工智能应用开发与智能硬件研发的科技企业，业务覆盖AI大模型、智能座舱、算力基础设施等领域；面向个人用户的AI助手，目前接入DeepSeek，支持网页处理、PPT生成、拍题答疑等功能。对长文本生成速度要求较高，上下文可以达到40-80k，优化前遇到长文本就会服务阻塞中断，后对长文本进行流量分流，并进行算子优化，优化后使得生成速度达到最优状态。

某酒行业的国企，一家集团员工2~3万，年营收和利润都在数百亿，希望通过大模型提升酿酒工艺效率，为员工配备AI助理，解决以通过查文档方式获取工艺知识的低效问题。接入DeepSeek后，结合DeepSeek+RAG+文档插件，并做工程化整体优化，问答准确率可以在85%以上，提升了知识获取效率。

某区级政府，规划在政府的科创园区内打造一个小型人工智能创新平台，为当地企业的业务发展提供大模型能力。将DeepSeek接入万象模型开发平台，提供配套的模型优化、API调用、部署和完备的服务监控，通过平台将DeepSeek复杂的部署工程简化，企业开箱即用。

Q

请分享一下商汤对DeepSeek未来发展的战略规划和技术创新方向，包括与更多生态伙伴的合作计划。

侯浩: DeepSeek是国内顶尖优秀大模型，给大模型开发者带来很好的技术认知的引领，商汤会持续吸纳、借鉴其内核能力和工程架构，包括FlashMLA、DeepGEMM、DeepEP，并建设自身多模态大模型能力，目前我们已经发布SenseNova V6 融合模态大模型，提供给企业和开发者使用。

生态合作，一方面，我们会积极与国产芯片深度适配，我们与华为、寒武纪、沐曦等企业建立了长期战略合作关系，我们对华为910B A+K版本，沐曦C500, 都做了从模型、引擎、工程框架的适配，另一方面，与上层AIGC企业不断建立合作链接，支持这些企业在训练和推理场景，可以使用上大装置的算力集群、存储、网络等服务，解决基础设施层面的后顾之忧，聚焦业务主航道，进行应用层面的创新。

Q

请对AI技术的未来发展趋势进行预测，探讨DeepSeek在其中的角色和贡献，为观众提供前瞻性的思考和启示。

侯浩: 技术趋势上，从训练到推理的迁移，过去几年各家投入到大模型训练以及相应基础设施的建设，后面会是业务应用、推理模型的发展，会对AI Infra带来新的挑战，例如对推理速度、资源利用率、模型优化等方面都有着更为严苛的要求，我们也在积极布局并采取一系列有效措施加以应对，确保在新的技术阶段保持竞争力。

应用趋势上，从模型开发到应用开发的迁移，随着各行各业对大模型的拥抱，越发希望将大模型能力结合自身业务上，会不断涌现各种AI Agent的出现，能够在不同业务环节中发挥关键作用，实现业务流程的自动化和智能化，进而为企业创造更大的价值。

开源会越发繁荣发展，企业技术自研与开源社区会更加紧密结合，从底层基础设施，到中层模型平台，到上层应用开发，都会结合开源算子、开源插件，提高大模型的普及速度。

以专家能力为驱动

以产品为核心

针对千行百业特点定制

提供从需求设计到产品交付的全链路解决方案

通过将定制需求与标准产品结合

给各行各业提供打磨好的AI能力

如有解决方案需求，欢迎后台联系我们！

欢迎扫码加入【万象开发者技术交流群】

更多干货，敬请期待

👇

前沿视觉技术在商汤大装置的应用实践