批量更新实例

POST /v2/services/{service}:bulkSetInstances

请求头（Request Header）

参考认证（authentication）

请求参数（Request Parameters）

名称	类型	必须	位置	默认值	取值范围	描述
service	string	是	path	-	-	The service id.

请求体（Request Body）

名称	类型	必须	默认值	取值范围	描述
parent	string	否	-	-	服务名
instances	array[object]	是	-	-	实例

其中，instances的参数如下

名称	类型	必须	默认值	取值范围	描述
name	string	否	-	-	实例名称
spec	object	是	-	-	实例规格
status	object	否	-	-	实例状态

其中，spec的参数如下

名称	类型	必须	默认值	取值范围	描述
cluster	object	是	-	-	关联集群
model	object	是	-	-	模型规格
framework	object	是	-	-	框架规格
replicas	object	是	-	-	副本数规格
resources	object	是	-	-	资源规格
volume_mounts	array[object]	否	-	-	卷挂载, 仅支持实例停止时更新
zone	string	是	-	-	可用区
finetune_models	array[object]	否	-	-	微调模型
destructive_update	boolean	否	-	-	破坏性升级

其中，cluster的参数如下

名称	类型	必须	默认值	取值范围	描述
subscription	string	是	-	-	订阅
resource_group	string	是	-	-	资源组
zone	string	是	-	-	可用区
workspace	string	是	-	-	工作空间
aec2_name	string	是	-	-	关联集群名
vpc_id	string	是	-	-	虚拟专有网络ID

其中，model的参数如下

名称	类型	必须	默认值	取值范围	描述
name	string	是	-	-	名称
ref	object	是	-	-	git引用
type	string	是	-	-	类型

其中，ref的参数如下

名称	类型	必须	默认值	取值范围	描述
tag	string	否	-	-	标签
branch	string	否	-	-	分支
hash	string	是	-	-	提交

其中，type有如下情况

状态	含义
TYPE_AMP_PRIVATE_MODEL_UNSPECIFIED	私有模型
TYPE_AMP_PUBLIC_MODEL	公共模型
TYPE_AFT_FINETUNE_MODEL	finetune模型

其中，framework的参数如下

名称	类型	必须	默认值	取值范围	描述
name	string	是	-	-	名称
display_name	string	否	-	-	别名
version	string	否	-	-	版本
image_repository	string	否	-	-	镜像仓库
image_tag	string	否	-	-	镜像标签
commands	array[string]	否	-	-	命令行
envs	array[object]	否	-	-	框架环境变量
image_type	string	否	-	-	镜像类型
sidecar	object	否	-	-	Sidecar参数

其中，envs的参数如下

名称	类型	必须	默认值	取值范围	描述
name	string	否	-	-	名称
value	string	否	-	-	值

其中，image_type有如下情况

状态	含义
IMAGE_TYPE_NONE_UNSPECIFIED	未知
IMAGE_TYPE_OFFICIAL	官方
IMAGE_TYPE_PRIVATE	私有

其中，sidecar的参数如下

名称	类型	必须	默认值	取值范围	描述
pool_size	integer	否	-	-	线程池大小
pool_wait	integer	否	-	-	线程池等待请求数
load_threshold	number	否	-	-	负载阈值

其中，replicas的参数如下

名称	类型	必须	默认值	取值范围	描述
value	integer	是	-	-	值

其中，resources的参数如下

名称	类型	必须	默认值	取值范围	描述
cpu	string	是	-	-	cpu
memory	string	是	-	-	内存
acceleration_hardwares	array[object]	否	-	-	加速硬件
cci_sku_name	string	是	-	-	最小库存单元名称

其中，acceleration_hardwares的参数如下

名称	类型	必须	默认值	取值范围	描述
type	string	是	-	-	硬件类型
model	string	是	-	-	硬件型号
count	string	是	-	-	数量

其中，type有如下情况

状态	含义
TYPE_NONE_UNSPECIFIED	未知类型
TYPE_GPU_NVIDIA	NVIDIA GPU

其中，model有如下情况

状态	含义
MODEL_NONE_UNSPECIFIED
MODEL_GPU_NVIDIA_A100
MODEL_GPU_NVIDIA_A800
MODEL_GPU_NVIDIA_L40S
MODEL_GPU_NVIDIA_V100
MODEL_GPU_NVIDIA_T4

其中，volume_mounts的参数如下

名称	类型	必须	默认值	取值范围	描述
mount_path	string	是	-	-	挂载路径
afs_id	string	是	-	-	AI文件存储配置

其中，finetune_models的参数如下

名称	类型	必须	默认值	取值范围	描述
name	string	是	-	-	名称
ref	object	是	-	-	git引用
type	string	是	-	-	类型

其中，ref的参数如下

名称	类型	必须	默认值	取值范围	描述
tag	string	否	-	-	标签
branch	string	否	-	-	分支
hash	string	是	-	-	提交

其中，type有如下情况

状态	含义
TYPE_AMP_PRIVATE_MODEL_UNSPECIFIED	私有模型
TYPE_AMP_PUBLIC_MODEL	公共模型
TYPE_AFT_FINETUNE_MODEL	finetune模型

其中，status的参数如下

名称	类型	必须	默认值	取值范围	描述
render	object	否	-	-	渲染状态
health	object	否	-	-	健康状态
resource_group	object	否	-	-	底层资源组
replicas	array[object]	否	-	-	副本状态
app_name	string	否	-	-	应用名

其中，render的参数如下

名称	类型	必须	默认值	取值范围	描述
success	boolean	否	-	-	是否成功
reasons	array[object]	否	-	-	原因

其中，reasons的参数如下

名称	类型	必须	默认值	取值范围	描述
field	string	否	-	-	字段
message	string	否	-	-	消息

其中，health的参数如下

名称	类型	必须	默认值	取值范围	描述
message	string	否	-	-	消息
status	string	否	-	-	状态

其中，status有如下情况

状态	含义
HEALTH_STATE_CODE_UNKNOWN_UNSPECIFIED	未知
HEALTH_STATE_CODE_PROGRESSING	更新中
HEALTH_STATE_CODE_HEALTHY	健康
HEALTH_STATE_CODE_SUSPENDED	更新暂停中
HEALTH_STATE_CODE_DEGRADED	异常
HEALTH_STATE_CODE_MISSING	未知
HEALTH_STATE_CODE_DELETING	删除中
HEALTH_STATE_CODE_FAILED	已失败
HEALTH_STATE_CODE_CREATING	创建中
HEALTH_STATE_CODE_ONLINING	上线中
HEALTH_STATE_CODE_OFFLINING	下线中
HEALTH_STATE_CODE_OFFLINED	已下线

其中，resource_group的参数如下

名称	类型	必须	默认值	取值范围	描述
subscription	string	否	-	-	订阅
resource_group	string	否	-	-	资源组
zone	string	否	-	-	可用区
workspace	string	否	-	-	工作空间
name	string	否	-	-	名称
resources	array[object]	否	-	-	底层资源

其中，resources的参数如下

名称	类型	必须	默认值	取值范围	描述
name	string	否	-	-	名称
type	string	否	-	-	类型
content	string	否	-	-	消息体

其中，replicas的参数如下

名称	类型	必须	默认值	取值范围	描述
name	string	否	-	-	名称
health	object	否	-	-	健康状态
owner	object	否	-	-	底层资源

其中，health的参数如下

名称	类型	必须	默认值	取值范围	描述
message	string	否	-	-	消息
status	string	否	-	-	状态

其中，status有如下情况

状态	含义
HEALTH_STATE_CODE_UNKNOWN_UNSPECIFIED	未知
HEALTH_STATE_CODE_PROGRESSING	更新中
HEALTH_STATE_CODE_HEALTHY	健康
HEALTH_STATE_CODE_SUSPENDED	更新暂停中
HEALTH_STATE_CODE_DEGRADED	异常
HEALTH_STATE_CODE_MISSING	未知
HEALTH_STATE_CODE_DELETING	删除中
HEALTH_STATE_CODE_FAILED	已失败
HEALTH_STATE_CODE_CREATING	创建中
HEALTH_STATE_CODE_ONLINING	上线中
HEALTH_STATE_CODE_OFFLINING	下线中
HEALTH_STATE_CODE_OFFLINED	已下线

其中，owner的参数如下

名称	类型	必须	默认值	取值范围	描述
name	string	否	-	-	名称
type	string	否	-	-	类型
content	string	否	-	-	消息体

请求示例（Request Example）

curl --location --request POST 'https://ams.sensecoreapi.tech/studio/ams/data/rp/v2/services/testinstance:bulkSetInstances' \
  -H 'authorization: Bearer eyJhbGciOiJSUzI1NiIsImtpZCI6InB1YmxpYzpoeWRyYS5qd3QuYWNjZXNzLXRva2VuIiwidHlwIjoiSldUIn0.eyJhdWQiOltdLCJjbGllbnRfaWQiOiI0ZTQxNDg1NC03MjAwLTUwOWYtYjk2MC1mOGIwZGJiYmYzMzEiLCJleHAiOjE3MDUzODYyMzEsImV4dCI6eyJhbGxfYXoiOmZhbHNlLCJhel9saXN0IjpbImNuLXNoLTAxYSIsImNuLXNoLTAxYiIsImNuLXNoLTAxeiJdLCJpc19kZWRpY2F0ZWRfdGVuYW50IjpmYWxzZSwicHJwX2xpc3QiOlsiY24tc2gtMDFhLXBycDAxIiwiY24tc2gtMDFiLXBycDAxIl0sInRlbmFudF9jZXJ0aWZ5X3N0YXR1cyI6dHJ1ZSwidGVuYW50X2NlcnRpZnlfdHlwZSI6ImVudGVycHJpc2UiLCJ0ZW5hbnRfY29kZSI6Im1hYXNyb290IiwidGVuYW50X2lkIjoiYjRmNjFmNGMtOGE2YS00ZmRiLWI0YzEtZjNiOWE0YWE0YjI0IiwidXNlcl9pZCI6ImNhNzFlZDFkLTliMjYtNDllNS1iZTk2LWIyZGE0NDlkNWE5NCIsInVzZXJfdHlwZSI6Im5vcm1hbCIsInVzZXJuYW1lIjoiamNhbzA4In0sImlhdCI6MTcwNTM3NTQzMSwiaXNzIjoiaHR0cHM6Ly9zaWduaW4uc2Vuc2Vjb3JlLnRlY2gvIiwianRpIjoiZmRjNjZlNjktNmNmYy00MDU5LWJjMTItYTBmODJiMjQxYjE5IiwibmJmIjoxNzA1Mzc1NDMxLCJzY3AiOlsib3BlbmlkIiwib2ZmbGluZSIsIm9mZmxpbmVfYWNjZXNzIl0sInN1YiI6ImpjYW8wODpiNGY2MWY0Yy04YTZhLTRmZGItYjRjMS1mM2I5YTRhYTRiMjQ6Y2E3MWVkMWQtOWIyNi00OWU1LWJlOTYtYjJkYTQ0OWQ1YTk0In0.ETwXlKKODAO5V85zUlaTEy9gp81dkQboF3p423yXXpPLYqup88CwmDI4VhHTsECkMS8w-HaSSae0oKwdF5wdfNazsUx3QeGBiXY7WcOH12cWh2yGaBO7oF75OG2n5PY3aBd4TSF7M7Y36oFjXF2zHIG8oGfvzBTa0IsKaZSrRhx2X9oP3XEWwIcIotIxl-ZC5UWyy5qyfBRsEhyn-P_j7Bl8z4Gkh3VTcDZXbPNG7n7TwymZQrmBIOpKXNmqSrkj3rYn28y9leWlSmmEOKL3i0bBfgaZ-suDxl-Uk9HXOqHEr7FdtAQsrs9jgdqVuvw2Mfef48N8twB_16p-7pu2y84lSJHt1jEDeHgTRjnvmm8tO2AP_u04eUv3a936B8gZpON9uomIK5otu0P0UDZIsyLDe-bvUr4kM9E0zvTQBLqm_UyWeGgiXuZrQPUrYVqx7yPtwEuzPf4rWjP4pmEZyr7hHKNPS-MeAJmG3eIyNm0iQAfCwSjkk-muWDPt2FmLN1i5_jUn5qKWhk9je_yqLEAkwWYMwQGAcw3qdzSITnVQif7pLE3bfDUfrkqgcG4UKSq2-NN_8qhfovSDWy8gbf9i9toKrJxZxRK-5xHtYvkUYVwvQUc6rUYmVJK6AmiVYGNeNp0_UsoWgH3vZE-X37abysZZ-sybODupv9URhNM' \
  --data '{"instances":[{"name":"testinstance","spec":{"cluster":{"subscription":"b4f61f4c-8a6a-4fdb-b4c1-f3b9a4aa4b24","resource_group":"default","zone":"cn-sh-01z","workspace":"db2a4fc8-d1de-478b-a7d8-11f1a422dcd8","aec2_name":"b6c5e435-dd03-4cc2-a2d9-75c111384a7a"},"model":{"name":"pythia-6.9b-deduped","ref":{"tag":"","branch":"master","hash":"372b1c08d9b5b0fc18ce86bbf294930e26e66ed5"},"type":"TYPE_AMP_PUBLIC_MODEL"},"framework":{"name":"ams.inference_framework.stable_diffusion","display_name":"ams.inference_framework.stable_diffusion","version":"v0.0.0","image_repository":"registry.sensecore.tech/studio-ams/triton-server-sd","image_tag":"lightllm-1.3.3-a5f8e44d","commands":["tritonserver","--model-repository={{ .MODEL_PATH_PREFIX }}/model/model_repository","--exit-on-error=False","--log-info=1","--log-error=1","--log-verbose=1","--http-port=18001","--metrics-port=18002","--allow-metrics=true","--allow-gpu-metrics=true"],"envs":[],"image_type":"IMAGE_TYPE_OFFICIAL","sidecar":{"pool_size":1,"pool_wait":1,"load_threshold":0.999}},"replicas":{"value":1},"resources":{"cpu":"30","memory":"64","acceleration_hardwares":[{"type":"TYPE_GPU_NVIDIA","model":"MODEL_GPU_NVIDIA_A100","count":"1"}],"cci_sku_name":"N2sS.Ie.A25.1"},"volume_mounts":[],"zone":"cn-sh-01a"},"status":{"render":{},"health":{},"resource_group":{}}}]}'

响应（Response）

名称	类型	描述
instances	array[object]	实例

其中，instances的参数如下

名称	类型	描述
name	string	实例名称
spec	object	实例规格
status	object	实例状态

其中，spec的参数如下

名称	类型	描述
cluster	object	关联集群
model	object	模型规格
framework	object	框架规格
replicas	object	副本数规格
resources	object	资源规格
volume_mounts	array[object]	卷挂载, 仅支持实例停止时更新
zone	string	可用区
finetune_models	array[object]	微调模型
destructive_update	boolean	破坏性升级

其中，cluster的参数如下

名称	类型	描述
subscription	string	订阅
resource_group	string	资源组
zone	string	可用区
workspace	string	工作空间
aec2_name	string	关联集群名
vpc_id	string	虚拟专有网络ID

其中，model的参数如下

名称	类型	描述
name	string	名称
ref	object	git引用
type	string	类型

其中，ref的参数如下

名称	类型	描述
tag	string	标签
branch	string	分支
hash	string	提交

其中，type有如下情况

状态	含义
TYPE_AMP_PRIVATE_MODEL_UNSPECIFIED	私有模型
TYPE_AMP_PUBLIC_MODEL	公共模型
TYPE_AFT_FINETUNE_MODEL	finetune模型

其中，framework的参数如下

名称	类型	描述
name	string	名称
display_name	string	别名
version	string	版本
image_repository	string	镜像仓库
image_tag	string	镜像标签
commands	array[string]	命令行
envs	array[object]	框架环境变量
image_type	string	镜像类型
sidecar	object	Sidecar参数

其中，envs的参数如下

名称	类型	描述
name	string	名称
value	string	值

其中，image_type有如下情况

状态	含义
IMAGE_TYPE_NONE_UNSPECIFIED	未知
IMAGE_TYPE_OFFICIAL	官方
IMAGE_TYPE_PRIVATE	私有

其中，sidecar的参数如下

名称	类型	描述
pool_size	integer	线程池大小
pool_wait	integer	线程池等待请求数
load_threshold	number	负载阈值

其中，replicas的参数如下

名称	类型	描述
value	integer	值

其中，resources的参数如下

名称	类型	描述
cpu	string	cpu
memory	string	内存
acceleration_hardwares	array[object]	加速硬件
cci_sku_name	string	最小库存单元名称

其中，acceleration_hardwares的参数如下

名称	类型	描述
type	string	硬件类型
model	string	硬件型号
count	string	数量

其中，type有如下情况

状态	含义
TYPE_NONE_UNSPECIFIED	未知类型
TYPE_GPU_NVIDIA	NVIDIA GPU

其中，model有如下情况

状态	含义
MODEL_NONE_UNSPECIFIED
MODEL_GPU_NVIDIA_A100
MODEL_GPU_NVIDIA_A800
MODEL_GPU_NVIDIA_L40S
MODEL_GPU_NVIDIA_V100
MODEL_GPU_NVIDIA_T4

其中，volume_mounts的参数如下

名称	类型	描述
mount_path	string	挂载路径
afs_id	string	AI文件存储配置

其中，finetune_models的参数如下

名称	类型	描述
name	string	名称
ref	object	git引用
type	string	类型

其中，ref的参数如下

名称	类型	描述
tag	string	标签
branch	string	分支
hash	string	提交

其中，type有如下情况

状态	含义
TYPE_AMP_PRIVATE_MODEL_UNSPECIFIED	私有模型
TYPE_AMP_PUBLIC_MODEL	公共模型
TYPE_AFT_FINETUNE_MODEL	finetune模型

其中，status的参数如下

名称	类型	描述
render	object	渲染状态
health	object	健康状态
resource_group	object	底层资源组
replicas	array[object]	副本状态
app_name	string	应用名

其中，render的参数如下

名称	类型	描述
success	boolean	是否成功
reasons	array[object]	原因

其中，reasons的参数如下

名称	类型	描述
field	string	字段
message	string	消息

其中，health的参数如下

名称	类型	描述
message	string	消息
status	string	状态

其中，status有如下情况

状态	含义
HEALTH_STATE_CODE_UNKNOWN_UNSPECIFIED	未知
HEALTH_STATE_CODE_PROGRESSING	更新中
HEALTH_STATE_CODE_HEALTHY	健康
HEALTH_STATE_CODE_SUSPENDED	更新暂停中
HEALTH_STATE_CODE_DEGRADED	异常
HEALTH_STATE_CODE_MISSING	未知
HEALTH_STATE_CODE_DELETING	删除中
HEALTH_STATE_CODE_FAILED	已失败
HEALTH_STATE_CODE_CREATING	创建中
HEALTH_STATE_CODE_ONLINING	上线中
HEALTH_STATE_CODE_OFFLINING	下线中
HEALTH_STATE_CODE_OFFLINED	已下线

其中，resource_group的参数如下

名称	类型	描述
subscription	string	订阅
resource_group	string	资源组
zone	string	可用区
workspace	string	工作空间
name	string	名称
resources	array[object]	底层资源

其中，resources的参数如下

名称	类型	描述
name	string	名称
type	string	类型
content	string	消息体

其中，replicas的参数如下

名称	类型	描述
name	string	名称
health	object	健康状态
owner	object	底层资源

其中，health的参数如下

名称	类型	描述
message	string	消息
status	string	状态

其中，status有如下情况

状态	含义
HEALTH_STATE_CODE_UNKNOWN_UNSPECIFIED	未知
HEALTH_STATE_CODE_PROGRESSING	更新中
HEALTH_STATE_CODE_HEALTHY	健康
HEALTH_STATE_CODE_SUSPENDED	更新暂停中
HEALTH_STATE_CODE_DEGRADED	异常
HEALTH_STATE_CODE_MISSING	未知
HEALTH_STATE_CODE_DELETING	删除中
HEALTH_STATE_CODE_FAILED	已失败
HEALTH_STATE_CODE_CREATING	创建中
HEALTH_STATE_CODE_ONLINING	上线中
HEALTH_STATE_CODE_OFFLINING	下线中
HEALTH_STATE_CODE_OFFLINED	已下线

其中，owner的参数如下

名称	类型	描述
name	string	名称
type	string	类型
content	string	消息体

响应示例（Response Example）

{
    "instances": [
        {
            "name": "testinstance",
            "spec": {
                "cluster": {
                    "subscription": "b4f61f4c-8a6a-4fdb-b4c1-f3b9a4aa4b24",
                    "resource_group": "default",
                    "zone": "cn-sh-01z",
                    "workspace": "db2a4fc8-d1de-478b-a7d8-11f1a422dcd8",
                    "aec2_name": "b6c5e435-dd03-4cc2-a2d9-75c111384a7a"
                },
                "model": {
                    "name": "pythia-6.9b-deduped",
                    "ref": {
                        "tag": "",
                        "branch": "master",
                        "hash": "372b1c08d9b5b0fc18ce86bbf294930e26e66ed5"
                    },
                    "type": "TYPE_AMP_PUBLIC_MODEL"
                },
                "framework": {
                    "name": "ams.inference_framework.stable_diffusion",
                    "display_name": "ams.inference_framework.stable_diffusion",
                    "version": "v0.0.0",
                    "image_repository": "registry.sensecore.tech/studio-ams/triton-server-sd",
                    "image_tag": "lightllm-1.3.3-a5f8e44d",
                    "commands": [
                        "tritonserver",
                        "--model-repository={{ .MODEL_PATH_PREFIX }}/model/model_repository",
                        "--exit-on-error=False",
                        "--log-info=1",
                        "--log-error=1",
                        "--log-verbose=1",
                        "--http-port=18001",
                        "--metrics-port=18002",
                        "--allow-metrics=true",
                        "--allow-gpu-metrics=true"
                    ],
                    "envs": [],
                    "image_type": "IMAGE_TYPE_OFFICIAL",
                    "sidecar": {
                        "pool_size": 1,
                        "pool_wait": 1,
                        "load_threshold": 0.999
                    }
                },
                "replicas": {
                    "value": 1
                },
                "resources": {
                    "cpu": "30",
                    "memory": "64",
                    "acceleration_hardwares": [
                        {
                            "type": "TYPE_GPU_NVIDIA",
                            "model": "MODEL_GPU_NVIDIA_A100",
                            "count": "1"
                        }
                    ],
                    "cci_sku_name": "N2sS.Ie.A25.1"
                },
                "volume_mounts": [],
                "zone": "cn-sh-01a"
            },
            "status": {
                "render": {
                    "success": false,
                    "reasons": [
                        {
                            "field": "模型详情",
                            "message": "模型详情填写有误"
                        }
                    ]
                },
                "health": {
                    "message": "实例已失败：所有副本异常",
                    "status": "HEALTH_STATE_CODE_FAILED"
                },
                "resource_group": null,
                "replicas": []
            }
        }
    ]
}