大模型平台使用指南（模型管理员）

准备工作

• 确认希姆云平台已部署完毕，能够正常访问登录页面。

• 确认云管平台系统管理员已创建租户且租户状态正常。

• 获取大模型平台管理员账号和密码。

典型使用流程

1. 配置鉴权信息，包括云平台密钥、SSH密钥、Access Token。

2. 创建模型仓库。

3. 上传模型文件。

4. 预热和部署模型。

5. 获取积分，在体验中心或者通过API调用体验基于大模型的智能问答等服务。

6. 查看模型调用记录。

登录大模型平台管理端

1. 登录云管平台或者算力调度平台。

   1. 访问希姆云平台登录页面。

      

   1. 输入系统管理员或者租户管理员的账号和密码。

   2. 输入验证码。

   3. 单击登录。

2. 单击大模型平台，进入大模型平台管理端登录页面。

   

   

3. 登录大模型平台管理端。

   1. 输入模型管理员账号和密码。

      

   2. 输入验证码。

   3. 单击登录。

管理账号

大模型平台通过账号设置管理当前账号的个人资料、账号密码等信息。

1. 在大模型平台管理端左侧，单击账号设置。

   

2. 查看角色、邮箱等信息。

3. 按需修改昵称，然后单击保存更改。

4. 按需修改密码，然后单击更新密码。

管理用户

管理大模型平台用户，用户角色分为超级管理员、管理员和普通用户。

• 超级管理员：大模型平台的初始用户。可登录大模型平台管理端管理所有的后台功能，包括管理员所不具备的查看所有模型、管理所有用户、管理系统设置、管理可用积分、查看操作日志等；也可以登录用户端，在体验中心或者通过API调用体验大模型。

• 管理员：登录大模型平台管理端管理后台功能，但只可管理当前账号相关的后台功能；也可以登录用户端，在体验中心或者通过API调用体验大模型。

• 普通用户：仅可登录大模型平台用户端，在体验中心或者通过API调用体验大模型。在管理端创建或者在用户端注册均可，在用户端注册后，用户信息自动同步到管理端的用户管理列表。

注意：管理用户需要超级管理员权限，操作前请确保以超级管理员身份登录大模型平台管理端。

1. 在大模型平台管理端左侧，选择用户管理。

   

2. 单击创建。

3. 填写用户的信息。

   • 基础信息：用户名、昵称、邮箱、初始密码。

   • 角色：超级管理员拥有最高权限，管理员可登录管理端管理部分后台功能，普通用户只能登录用户端使用模型。

   • 状态：正常状态可以登录，禁用状态则无法登录。

4. 单击创建。

5. 用户添加成功后会显示在列表中，您可以按需管理。

   • 选择 ⋮ > 编辑，修改当前用户的信息。

   • 选择 ⋮ > 重置密码，修改当前用户的登录密码。

   • 选择 ⋮ > 删除，删除当前用户。

管理系统设置

设置积分赠送规则

设置新建用户后默认赠送的积分数量。设置生效后，在用户新注册或者后台新建用户时，自动向账号充值积分并写入充值记录。

注意：管理系统设置需要超级管理员权限，操作前请确保以超级管理员身份登录大模型平台管理端。

1. 在大模型平台管理端左侧，选择系统设置。

2. 进入新用户赠送积分页面。

   

3. 输入默认赠送积分数量。

4. 单击保存赠送积分。

设置积分消耗规则

设置积分消耗的规则。设置生效后，调用各类模型计量积分消耗时会遵循该规则。

注意：管理系统设置需要超级管理员权限，操作前请确保以超级管理员身份登录大模型平台管理端。

1. 在大模型平台管理端左侧，选择系统设置。

2. 进入默认积分消耗规则页面。

   

3. 填写积分消耗规则。

   模型类型	请求参数
   文本对话	输入（命中缓存）价格：价格单位为积分/百万token，缓存输入来自OpenAI usage.prompt_tokens_details.cached_tokens。 输入（未命中缓存）价格：价格单位为积分/百万token，基于prompt_tokens - cached_tokens计算。 输出价格：价格单位为积分/百万token。

4. 单击保存默认规则。

设置默认模型存储目录

预热模型时将模型文件传输至目标节点的默认模型存储目录，部署模型时从该目录挂载模型文件。

注意：管理系统设置需要超级管理员权限，操作前请确保以超级管理员身份登录大模型平台管理端。

1. 在大模型平台管理端左侧，选择系统设置。

2. 进入模型存储目录页面。

   

3. 输入基础目录。

4. 单击保存存储目录。

设置模型默认请求参数

设置模型默认使用的请求参数。设置生效后，在新建模型时会自动填入默认的设置。

注意：管理系统设置需要超级管理员权限，操作前请确保以超级管理员身份登录大模型平台管理端。

1. 在大模型平台管理端左侧，选择系统设置。

2. 进入模型默认请求参数页面。

   

3. 选择模型类型。

4. 填写默认使用的请求参数。

   模型类型	请求参数
   文本对话	通常用于文本对话、聊天问答： prompt：系统提示词。描述所需生成文本的文字提示词，是模型生成回复的依据，用于约束模型的角色设定、回答风格、输出格式等信息。 max_tokens：生成回复的最大token数量（包括输入和输出）。限制输出长度，避免过长或无意义的生成。 temperature：控制随机性/创造性，范围通常0~2。值越低输出越确定、连贯，值越高输出越多样、出人意料。 top_p：核心采样参数。模型仅从累积概率达到top_p的token集合中采样，值越小输出越保守，与temperature联合使用。

5. 单击保存默认参数。

设置可用模型类型

设置大模型平台允许使用的模型类型，即在大模型平台管理端创建或设置模型时允许选择的模型类型，以及在大模型平台用户端体验中心中显示的服务类型。

注意：管理系统设置需要超级管理员权限，操作前请确保以超级管理员身份登录大模型平台管理端。

1. 在大模型平台管理端左侧，选择系统设置。

2. 进入模型类型开关页面。

   

3. 选中允许使用的模型类型。

4. 单击保存模型类型。

管理鉴权

配置云平台密钥

云平台密钥用于跨平台申请使用算力资源。生成云平台密钥后，在大模型平台中添加即可跨平台使用当前租户的算力资源。

1. 在算力调度平台获取云平台密钥。

   1. 在算力调度平台左侧，选择企业设置 > 密钥管理 > API Key管理。

      

   2. 单击创建API Key。

   3. 输入云平台密钥的名称。

   4. 单击复制，然后单击我已保存，关闭。

      说明：每个企业最多拥有一个云平台密钥，如需更改云平台密钥需要重新生成。请妥善保管云平台密钥，避免泄漏。

      

2. 在大模型平台添加云平台密钥。

   1. 在大模型平台管理端左侧，选择云平台密钥管理。

      

   2. 单击添加一条。

   3. 填写Base URL。

   4. 填写复制的API Key。

   5. 单击保存。

   6. 云平台密钥添加成功后会显示在列表中，您可以按需管理。

      • 选择 ⋮ > 修改，修改当前云平台密钥的Base URL、API Key等信息。

      • 选择 ⋮ > 删除，删除当前云平台密钥。

配置SSH密钥

SSH密钥标识本地设备，用于通过SSH方式将本地文件推送到大模型平台的模型仓库，或者将大模型平台中的模型仓库克隆到本地。

1. 生成SSH密钥。

   1. 在终端，执行命令生成SSH密钥。

      $ ssh-keygen -t ed25519 -C "your_email@example.com"

   2. 复制公钥内容。

      说明：公钥内容通常保存在~/.ssh/id_ed25519.pub文件中。

2. 添加SSH密钥。

   1. 在大模型平台管理端左侧，选择SSH Keys。

      

   2. 单击添加SSH密钥。

   3. 填写密钥名称。

   4. 填写复制的公钥内容。

   5. 单击添加。

   6. SSH密钥添加成功后会显示在列表中。选择 ⋮ > 删除，删除添加的SSH密钥。

配置Access Token

Access Token实现HTTPS传输鉴权，用于通过HTTPS Git / Git LFS将本地文件推送到大模型平台的模型仓库，或者将大模型平台中的模型仓库克隆到本地。

1. 在大模型平台管理端左侧，选择Access Token。

   

2. Access Token页面显示了当前使用的Access Token，您可以按需管理。

   • 单击显示图标，查看当前使用的Access Token。

   • 单击复制图标，复制当前使用的Access Token。

   • 单击刷新Token，重新生成Access Token。

管理模型

创建模型仓库

大模型平台通过模型仓库管理模型元数据、模型默认请求参数、模型文件、模型版本等模型相关的信息。

1. 在大模型平台管理端左侧，单击我的模型。

   

2. 单击新建模型。

3. 填写模型基本信息。

   • 所有者：模型仓库的所有者。

   • 模型名称：源模型路径和部署调用的标识，用于确定模型版本和权限归属等信息，完成计量、路由分发等任务。同一个部署者不能重复部署相同名称的模型，从而确保部署的唯一性。

   • 可见性：公开模型所有管理员均可以部署，私有模型仅模型所有者和超级管理员可以部署。

   • License：标记模型文件和权重的使用许可来源，不同的License针对模型的许可范围存在差异，例如是否可以商用、再分发、二次训练。

   • 模型介绍：简要介绍模型的用途、能力边界、使用场景、注意事项等信息。

   • 运行时模型标识：标识每个实际运行的模型实例，是模型的运行时标识，用于平台内部资源管理，锁定单次请求的执行过程，完成状态管理、链路追踪、流式输出控制等任务。

   • 模型类型：大模型平台为不同模型类型设计了相应的用户端体验页面，同时模型类型也决定了调用模型服务时采用的协议类型，文本、生图、语音等模型服务均有各自的通信接口标准。

   • 默认请求参数（可选）：调用模型服务时的默认填入的请求参数，例如文本对话模型的默认请求参数prompt、max_tokens、temperature等，自定义请求参数可以覆盖默认请求参数。

4. 填写模型使用配置。

   • 部署镜像地址：部署模型时使用的容器镜像地址，留空则使用系统默认的推理镜像。

   • 启动命令：创建模型容器后，在容器内启动推理服务的命令，支持将占位符替换为对应的参数。

     • {MODEL_DIR}：模型文件所在目录。

     • {MODEL_NAME}：模型名称。

     • {PORT}：提供推理服务的端口。

     • {DEVICES}：部署模型时占用的AI加速设备列表。

   • 积分消耗规则（可选）：计量调用模型时消耗积分的规则，例如文本对话服务分别配置输入（命中缓存）价格、输入（未命中缓存）价格、输出价格，生图服务配置生成一张图片的价格。如果未自定义积分消耗规则，则采用系统设置中的默认积分消耗规则。

   • 初始化选项：选择是否需要自动初始化README.md和.gitattributes。README.md包含模型License等信息，.gitattributes包LFS配置等信息。如果您计划后续手动推送本地文件夹，建议不要选择自动初始化，避免出现冲突。

5. 单击创建模型。

6. 模型仓库创建成功后会显示我的模型和全部模型/可部署模型页面中，您可以按需管理。单击模型卡片进入模型详情页面，完成上传文件、预热模型、部署模型等操作。

查看模型仓库

查看模型仓库的详细信息，了解模型的使用状态。

1. 在大模型平台管理端左侧，选择我的模型或者全部模型/可部署模型。

   

2. 模型仓库列表中展示了模型名称、模型可见性、模型所有者等信息，您也可以单击卡片查看更多信息。

   

3. 模型仓库详情包括模型介绍、版本管理等信息以及上传下载、预热、部署、观测等操作的入口，您可以按需管理。

   • 介绍页面：从模型仓库的README.md文件提取内容并展示。

   • 文件页面：完成上传模型文件、管理模型版本等操作。

   • 部署页面：前往预热管理页面完成模型预热操作，前往部署管理页面完成模型部署操作。

   • 设置页面：按需修改模型的基本信息或者使用配置，或者删除当前模型仓库。

     说明：模型标签从README.md文件YAML元数据的提取，模型名称只可在创建模型仓库时指定。

   • 单击刷新，查看最新的模型信息。

   • 单击下载，获取当前模型的下载命令，支持HTTPS和SSH方式下载。

   • 单击查看模型观测，观测当前模型的调用过程指标，了解模型健康度、性能等方面的表现。

上传模型文件

大模型平台支持通过网页或者Git上传模型文件。

通过网页上传模型文件。

1. 在大模型平台管理端左侧，单击我的模型。

2. 单击模型卡片。

3. 进入文件页面。

   

4. 选择上传模型文件的分支。

5. 单击添加文件。

6. 单击选择文件，然后从本地选中并打开文件。

   说明：目前网页上传单次只能上传一个文件，如果需要上传大量文件，建议采用Git方式。

7. 填写本次提交文件的备注信息。

8. 单击Upload。

9. 文件上传完成后，单击提交历史可查看上传记录。

通过Git上传模型文件。

1. 将模型仓库克隆到本地。

   注意：克隆前请确保已将本地设备的SSH密钥添加至大模型平台。

   • 在大模型平台管理端左侧，选择我的模型。

   • 单击模型卡片。

   • 单击下载，然后复制HTTPS或SSH的下载地址。

   • 在本地终端执行下载命令。以SSH为例：

     $ git clone ssh://git@modelgit.cloud.streamcomputing.cn:32222/models/admin/Qwen2-7B-Instruct.git

2. 将模型文件复制到模型文件夹。

3. 编写README.md文件。

4. 将模型文件夹的内容推送到大模型平台。

   • 首次全量推送示例：

     $ git init --initial-branch=main
     $ git remote add origin ssh://git@modelgit.cloud.streamcomputing.cn:32222/models/admin/Qwen2-7B-Instruct.git
     $ git lfs install
     $ git lfs track "*.bin" "*.vmfb" "*.safetensors" "*.pt" "*.pth" "*.onnx" "*.ckpt" "*.h5" "*.tar" "*.tar.gz" "*.zip"
     $ git add .gitattributes
     $ git add .
     $ git commit -m "Initial commit"
     $ git push -u origin main

   • 修改文件后推送，以修改README.md文件为例：

     $ git add .
     $ git commit -m "Modify README.md"
     $ git push -u origin main

5. 文件上传完成后，回到模型的文件页面，单击提交历史可查看上传记录。

预热模型

大模型平台提供模型预热功能，提前将模型文件传输到持久化存储中，方便在部署时直接挂载使用，加速部署过程。同一个模型预热一次即可用于多次部署，在模型尺寸较大时可以有效加速部署速度。

注意：预热和部署模型都需要基于算力调度平台中的资源，因此在操作前请确保已在算力调度平台（云平台密钥对应的租户账号）中创建项目和环境，且已挂载足以容纳模型文件的持久化存储。

1. 在大模型平台管理端左侧，单击预热管理。

   

2. 单击新建预热。

3. 填写预热模型的信息。

   • 源模型：选择需要预热的模型。

   • 部署归属用户：选择部署模型时所归属的用户。

   • 项目：选择预热模型时所归属的项目，便于统一管理模型和应用。

   • 环境：选择预热模型时使用的环境，其中分配了CPU、内存、AI加速卡等算力资源。

   • 预热目录：预热模型时存放模型文件的目录，选择源模型后自动生成默认预热目录，您也可以自定义预热目录，但必须放置在系统设置的模型存储基础目录下，例如基础目录为/data/model-preheats/models/，默认预热目录为/data/model-preheats/models/admin/Qwen2-7B-Instruct。

   • 目标节点：选择预热模型时所在的目标节点。

4. 单击创建。

5. 预热创建成功后会显示在列表中，您可以按需管理。

   • 单击详情，查看当前预热的详细信息。

   • 单击删除，删除当前预热。

部署模型

部署模型提供推理服务，部署成功后可以在大模型平台用户端体验中心或者调用模型API接入推理服务。

注意：预热和部署模型都需要基于算力调度平台中的资源，因此在操作前请确保已在算力调度平台（云平台密钥对应的租户账号）中创建项目和环境，且已挂载足以容纳模型文件的持久化存储。

1. 在大模型平台管理端左侧，单击部署管理。

   

2. 单击新建部署。

3. 填写部署模型的信息。

   • 源模型：选择需要部署的模型。

   • 归属用户：选择部署模型时所归属的用户。

   • 项目：选择部署模型时所归属的项目，便于统一管理模型和应用。

   • 环境：选择模型运行时使用的环境，其中分配了CPU、内存、AI加速卡等算力资源。

   • 部署名称：部署模型时使用的模型标识，用于调用模型服务，例如Qwen2-7B-Instruct-deploy。

   • 镜像地址：创建模型容器时使用的镜像地址。

   • 启动命令：创建模型容器后，在容器内启动推理服务的命令，支持将占位符替换为对应的参数。

   • AI加速卡：设置模型运行所需的资源，包括加速卡类型（NPU/GPU）、加速卡数量、CPU数量、内存大小。

   • 节点：如果已经预热模型，会自动列出目标节点。请按需选择模型容器运行的目标节点，部署时对应的预热目录会自动挂载到模型容器。

4. 单击创建。

5. 部署创建成功后会显示在列表中，您可以按需管理。

   • 单击用量，查看当前部署的调用记录，包含调用时间、调用方、token用量、积分消耗等信息。

   • 单击观测，查看当前部署的请求数量、耗时以及质量趋势。

   • 单击详情，查看当前部署的详情，包括模型信息、部署者信息、项目信息、使用资源的信息、节点信息等。

   • 单击取消，停用当前部署。

   • 单击删除，删除当前部署。

管理积分

积分用于计量模型调用消耗，由超级管理员手动增加。积分消耗规则分为系统默认规则和模型自定义规则，分别在系统设置和模型设置中设定。

注意：为用户增加积分需要超级管理员权限，管理员和普通用户只能查看积分余额或增加/消耗记录。

1. 在大模型平台管理端左侧，单击积分管理。

   

2. 积分管理页面分区展示了充值记录和消耗记录，支持按用户和时间范围筛选，您可以按需管理。

   • 在充值记录区域选择用户，筛选该用户的充值记录。

   • 在消耗记录区域选择用户，筛选该用户的消耗记录。单击去调用统计，查看积分消耗对应的详细模型调用记录。

   • 单击为用户增加积分，选择用户并输入积分值，然后单击确认增加。在充值记录区域确认出现充值记录条目，则代表积分充值成功。

查看信息记录

观测模型表现

观测模型的调用过程指标，了解模型健康度、性能等方面的表现。

1. 在大模型平台管理端左侧，单击模型观测。

   

2. 模型观测页面默认展示活跃模型、异常模型和最近请求，您也可以按需筛选展示的信息。

   1. 选择模型。

   2. 选择时间范围。

   3. 选择状态类型。

   4. 单击查看。

      • 在请求记录区域查看请求数量、耗时以及质量趋势。

      • 在Trace列表区域查看请求链路详情，排查性能问题。

查看调用记录

查看模型的调用方、调用次数、积分消耗等信息，汇总和计量模型使用情况。

1. 在大模型平台管理端左侧，单击调用统计。

   

2. 调用统计页面支持查看调用流水和按天统计调用情况，您也可以按需筛选展示的信息。

   1. 选择模型类型和模型。

   2. 选择用户。

   3. 选择时间范围。

   4. 选择计量类型。

   5. 查看调用记录，调用记录包含了调用时间、调用方、token用量、积分消耗等信息。单击查看Trace，查看请求链路详情，排查性能问题。

查看平台操作日志

大模型平台实时记录并展示操作的详细日志，方便您对操作行为进行审计，满足审计追溯和系统合规的需求。

注意：查看平台操作日志需要超级管理员权限，操作前请确保以超级管理员身份登录大模型平台管理端。

1. 在大模型平台管理端左侧，单击操作审计。

   

2. 操作审计页面按时间倒序展示最近的操作。单击查看，查看当前操作日志的原始消息。