模型部署

查看推理服务列表

在推理服务管理页面，您可对您有权限的所有推理服务实例进行管理。

创建推理服务

如果您需要基于自己的大模型创建推理服务，您可以先于模型平台上传自己的大模型，然后在推理服务创建推理服务，页面如下：

创建推理实例：一个推理服务可创建n(0<n<=10) 个推理实例，客户按需选择。以上图为例，录入推理实例名称、服务可用区，选择模型和推理镜像、配置文件存储卷以及工作空间，配置服务副本数量等信息。

模型标识：支持选择【公开模型】和【我的模型】，数据来源为【模型广场】和【我的模型】管理的模型文件，模型广场提供公开热点模型，我的模型支持上传个人私有模型。

推理服务镜像：支持选择【官方镜像】和【我的镜像】，官方镜像镜像为商汤官方提供的推理优化镜像，例如LightLLM等，提供客户推理业务的性价比，【我的镜像】为客户私有镜像，可以通过SenseCore的云容器实例CCI来上传，同账号下同可用区的镜像可以在AMS服务中获取到。

查看推理服务详情

当您创建成功之后，您可以进入推理服务的详情页查看推理服务的具体内容，并于推理服务详情页获取推理服务接口。 该接口可以帮助您调用基于您大模型搭建的推理服务能力，在正式调用前，您还需要创建该接口的Key。

推理服务鉴权管理

当您准备使用推理服务之前，您还需要创建该推理服务的Key。 有了推理接口 & Key，您就可以调用您创建好的推理服务了，创建推理服务Key的流程如下：

推理服务更新

当您需要更新推理服务的模型，推理镜像，推理资源时，您可以通过更新推理功能对推理服务进行调整，具体流程如下：

推理服务上下线

当您临时不再需要使用某个推理服务，您可以通过推理服务下线来将服务短暂下线，未来需要时再将服务上线即可，具体流程如下：