前沿视觉技术在商汤 AI 大装置的应用实践
商汤 AI 大装置开发者社区 敬请期待
精彩回顾 | 2025,与LazyLLM一起加速技术开发!
26
发布于 2025-01-20 10:07:40



在风云变幻的科技浪潮中,我们迈入了充满挑战与机遇的2025年。在大模型掀起的新一轮技术革命浪潮之下,许多工作正越来越「快」、越来越「智能」。1月18日,多位行业技术专家、从业者和爱好者共聚一堂,共同探讨新软件和新技术如何帮助开发者们在快速变化的技术环境中提升工作效率,实现技术的快速迭代和创新。

 

来自商汤科技大装置事业群的研发总监王志宏受邀分享了主题为《开发应用一分钟,省却台下十年功LazyLLM助你高效构建AI助手!的演讲,通过介绍LazyLLM的设计理念以及编程范式,结合一些实际应用案例,介绍如何利用LazyLLM让新手也能快速开发出更有竞争力的AI应用。

 

演讲摘要

 

 


 王志宏|商汤科技大装置事业群研发总监

 



近年,大模型概念席卷全球,各行各业都在探索AI的落地方式。调研数据预测,整体AI Agent市场规模将在2030年达到470亿美元,是今年规模的6.3!可见,大模型引领的AI浪潮势不可挡。对于企业来说,更不能错失此次数字化转型的机会;对于开发者来说,抓住AI产业升级的红利可以很好的帮助个人和企业发展。

 


谈到LazyLLM的设计理念,王志宏表示,它的存在旨在大幅度降低或削平AI应用开发的门槛,让不具备熟练编码能力的人也可以开发出AI应用。初级开发者可以利用已经设计好的功能和工具,经过简单拼接构建强有力的大模型应用;资深开发者可以利用高层插件模块和机制注册想要的功能和组件,以强大自己的应用。

 



那么LazyLLM做了哪些关键设计使开发更容易呢?首先,基于数据流的开发范式,通过数据流拼接已有组件或其他开源软件,且在代码产出上,LazyLLM便利性无可比拟。其次,我们对LazyLLM中的多种模型服务进行了封装,用统一的方式调用不同模块,致使切换模型时改动少,使用更为方便。在业务交付方面,LazyLLM可以对复杂应用进行一键部署,该优势远超传统应用。最后一个关键设计是LazyLLM可以兼容多个操作系统(如Windows、OSLinux)和多种IaaS平台(如裸金属、K8sslurm、公有云)。

 


RAG是非常有生产力的AI工具,发展相对成熟,因此被很多企业用作智能客服的关键技术以替代人工。另一方面,RAG可以有效减少大模型的幻觉,保证了信息的时效性。利用LazyLLM,仅需10行左右的代码即可搭建完整的多路召回RAG。当然,针对更多的企业级需求,LazyLLM亦可实现商业实践,如构建企业级知识库时,帮助实现公司文档的频繁增删改查、支持向文档模块中注册自定义Reader、公司文档分类管理等。

 


为方便无编程基础的朋友搭建出更有生产力的工具,我们提供平台项目:LazyLLM Enterprise,它不仅具备LazyLLM的所有能力,且通过拖拽即可使用。该平台提供23种画布控件与13种资源控件,能够满足循环、并行等多种代码逻辑,支持多用户可以通过低代码拖拉拽的方式对应用进行搭建,用户能够在同一画布中进行协同,满足产品开发中的协同需求。除此之外,平台还提供数据处理与使用、模型管理与使用等功能。

 

 

LazyLLM Enterprise平台的核心优势之一是:一站式的大模型应用开发。有别于业界主流的开发平台,LazyLLM Enterprise提供了从原型搭建数据回流,再到迭代优化的一站式解决方案。

 


其次,相较于其他Agent平台,LazyLLM Enterprise多了两项能力:可以编排RAG的核心算法,让开发者自主提升效果;支持多模态应用编排,如文本、图像、音频等。

 


第三个优势是突破了云算力的依赖,摆脱了MaaS平台,可充分利用现有资源。因此用户可以在不满足MaaS部署的情况下,依然部署在本地集群上,调度本地算力试用。可以说,LazyLLM Enterprise为企业提供了高性价比的解决方案,降低了算力租赁和带宽成本。

 


基于目前央国企都需要信创方案,所以LazyLLM Enterprise也极大程度的支持国产化,以满足使用需求。




相比于LazyLLM的优势,企业级平台包含更多数据库,也支持更多国产GPU,更能站在企业角度方便使用。如果企业正在从传统业务模式向数字化和智能化转型,企业内部又缺乏技术团队支持或对应用开发效率和准确率要求较高,对数据安全敏感,那么LazyLLM Enterprise可以一站式高效解决痛点

 

 

关注LazyLLM视频号观看演讲回放,关注LazyLLM公众号获取演讲ppt。

扫码加入LazyLLM社群,一起探索更多玩法!