AI 批处理任务设计：什么时候该从实时接口切到 Batch

不是所有 AI 请求都应该实时返回。摘要离线生成、批量标签清洗、文章质量审核、知识库预处理这类任务，更适合进入后台队列。OpenAI Batch API 文档把批量请求作为异步处理方式，适合不要求立即返回的工作负载。[batch-001]

适合批处理的场景

实时接口优化的是交互体验，批处理优化的是吞吐、成本和稳定性。

概念任务结构：

{
  "job_type": "article_review",
  "input_file": "reviews-2026-07-14.jsonl",
  "status": "queued",
  "retry_policy": "retry_failed_items"
}

批处理不是 fire-and-forget。任务系统至少要记录输入版本、模型配置、提交时间、完成时间和失败项。失败项不要直接丢弃，应进入重试或人工检查。

综合文档可以推断：Batch 更像数据管线组件，而不是聊天接口替代品。它适合批量、异步、可追踪的后台 AI 工作。