模型精调 | 大装置帮助中心
跳到主要内容

模型精调

简介​

模型微调是一种深度学习技术，利用特定领域的数据集对现有的预训练大模型进一步训练，以优化模型在特定任务上的性能，适用特定的应用场景。微调的优势在于能够利用预训练模型的知识，快速适应新的任务，同时减少训练时间和资源消耗。

为什么需要模型微调​

  1. 领域知识学习：引入特定领域的数据集进行微调，大模型可以学习该领域的知识和模式。有助于大模型在特定任务上取得更好的性能。
  2. 定制化功能：赋予大模型更加定制化的功能。通用模型虽然能力强大，但在特定领域可能表现不佳。通过微调，可以使模型更好地适应特定领域的需求和特征。

什么场景下适用微调​

先尝试调整prompt或者使用知识库等方式体验效果。若仍无法获得满意的回答，可以使用微调获得更好的效果。

微调可改善效果的典型场景：

  • 需要根据用户意图分类，大模型无法知晓判断依据，用特定数据训练可高效完成用户意图识别。
  • 需要固定的回答风格，如拟人对话。
  • 需要处理较复杂的任务，难以通过 Prompt 或者知识库的方式实现，如从海量信息中抽取关键信息。
  • 需要大量数据标注的任务，人力成本过高，可以训练特定领域模型进行完成标注。

使用流程​

使用指南​

一、模型精调使用步骤​

  1. 准备数据： 模型精调前需要准备对应的精调数据集，通常为prompt-response的对话形式，目前支持OpenAI格式
  2. 选择基模型 挑选可适用的基础模型，目前开源模型较多，模型能力也有差别，可从模型能力、参数大小等维度选择适合的模型
  3. 模型精调： 选择准备好的精调数据集，通过调整超参数，训练提升基模型的性能，并通过训练过程中的指标初步判断训练效果
  4. 模型评测： 构建合适的评测数据集，针对已训练好的模型进行评测，查看/试用模型输出效果，验证模型精调后的效果

二、精调任务管理​

  1. 创建任务：
    • 进入“万象模型开发平台 ModelStudio”模块，点击“模型精调”，进入模型精调任务列表。
    • 点击“创建任务”
    • 填写任务名称、描述，选择训练方法和基模型，调整超参数，选择/上传训练数据，确认后创建模型精调任务。
    • 目前仅支持OpenAI格式的数据，支持json、jsonl的文件，具体示例如下:
    [
    {
    "messages": [
      {
        "role": "system",
        "content": "你是一个无所不知，无所不晓的AI助手"
      },
      {
        "role": "user",
        "content": "请介绍下文艺复兴"
      },
      {
        "role": "assistant",
        "content": "文艺复兴时期是一个关于艺术、文化和学术的复兴运动。"
      }
        ]
    }
    ]
    {"messages": [{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "请介绍下文艺复兴?"}, {"role": "assistant", "content": "文艺复兴时期是一个关于艺术、文化和学术的复兴运动。"},{"role": "user", "content": "那雕塑方面如何呢？"}, {"role": "assistant", "content": "文艺复兴时期的雕塑也非常有名，几位世界级的雕塑大师都出自于这个时期"}]}
    {"messages": [{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "请介绍下文艺复兴?"}, {"role": "assistant", "content": "文艺复兴时期是一个关于艺术、文化和学术的复兴运动。"},{"role": "user", "content": "那雕塑方面如何呢？"}, {"role": "assistant", "content": "文艺复兴时期的雕塑也非常有名，几位世界级的雕塑大师都出自于这个时期"}]}
![创建模型精调任务1.png](./img/创建模型精调任务1.png) 
![创建模型精调任务2.png](./img/创建模型精调任务2.png)

  1. 任务详情：

    • 在模型精调任务页面，点击某个任务名称，可进入任务详情。
    • 任务详情主要展示了训练参数详情，包括任务名称、训练方法、基模型名称、超参数、训练数据等信息。

    训练信息.png

  1. 效果评估：

    • 效果评估展示了训练过程中损失函数值的变化趋势，帮助判断模型训练效果。

    效果评估.png

  1. 训练日志：

    • 训练日志展示了训练过程中的详细信息，可定位追踪训练过程中的异常

    训练日志.png

  2. 模型导出：

    • 模型导出展示了训练完成后生成的模型，可立即试用体验模型效果，也可导出到模型平台进行管理。

    模型精调生成的模型默认只暂存15天，15天后将会清除，若模型长期使用，请及时导出到模型管理中保存。

    模型导出.png