批量推理
更新时间：2025-04-11
功能介绍
批量推理可以⼀次性处理⼤量数据，并对这些数据进⾏统⼀推理预测，最后将结果输出到指定位置。适合⼤批量数据处理、分析的场景等。批量推理的计费仅为实时推理的40%，帮助您有效节省资源消耗成本。
批量推理方式
任务式批量推理batch job
对于大型数据集或者在您不需要立即响应模型预测请求时，推荐使用离线批量推理任务。需要配合百度云对象存储（BOS）使用。
支持模型列表
文本生成
| 模型名称 |
|---|
| ERNIE-4.5 |
| ERNIE-4.0-Turbo |
| ERNIE-4.0 |
| ERNIE 3.5 |
| DeepSeek V3 |
| BLOOMZ-7B |
| Meta-Llama-3-8B |
| Meta-Llama-3-70B |
| Llama-2-7B-Chat |
| Llama-2-13B-Chat |
| Llama-2-70B-Chat |
| ChatGLM2-6B-32K |
| AquilaChat-7B |
| Mixtral-8x7B-Instruct |
| SQLCoder-7B |
| CodeLlama-7B-Instruct |
| XuanYuan-70B-Chat-4bit |
| Qianfan-BLOOMZ-7B-compressed |
| Qianfan-Chinese-Llama-2-7B |
| Qianfan-Chinese-Llama-2-13B |
| ChatLaw |
| Yi-34B-Chat |
| Gemma-7B-it |
推理模型
| 模型名称 |
|---|
| DeepSeek R1 |
| DeepSeek-R1-Distill-Qwen-32B |
| DeepSeek-R1-Distill-Qwen-14B |
| DeepSeek-R1-Distill-Qwen-7B |
| DeepSeek-R1-Distill-Qwen-1.5B |
| DeepSeek-R1-Distill-Llama-70B |
| DeepSeek-R1-Distill-Llama-8B |
| DeepSeek-R1-Distill-Qianfan-Llama-70B |
| DeepSeek-R1-Distill-Qianfan-Llama-8B |
| QWQ-32B |
batch job使用指南
1、数据准备
上传文件到BOS对象存储，如您未开通BOS功能，可提前开通。
2、创建批量推理任务
3、查询批量推理任务
- 批量推理列表页可查看任务运行信息
- 点击任务名称或选择操作列的“详情”按钮，即可查看本任务详细信息。
4、下载批量推理结果
点击结果集存储BOS
