03 / 科研基础设施与模型评测

AIchemy / Alchemy SDK — AI 科研任务编排与可复现循环

连接GPU/SLURM调度、训练可观测性、实验谱系和研究决策的code-first基础设施。

时间
2026 — 至今
状态
持续开发
角色
平台与SDK设计

平台层:AIchemy

  • 面向SLURM集群与独立GPU节点调度任务,支持优先级队列、DAG依赖、网格搜索、自动分配和容量预留。
  • 处理断线恢复、滚动升级兼容、任务状态收敛和备份。
  • 采集GPU与训练指标,并分类OOM、NCCL和CUDA错误;提供审计日志与通知。

开发者层:Alchemy SDK

  • 在训练代码中直接记录step、loss、metrics、evaluation、checkpoint与制品。
  • 通过 should_stop() 处理SLURM抢占或人工停止后的优雅保存。
  • 提供PyTorch Lightning与HuggingFace回调。
  • 记录experiment lineage、summary、diff、manifest、timeline和research bundle。
  • 将keep/drop/rerun/fork研究决策纳入可复现、可审计的循环。

架构取舍

平台解决“任务在哪里、何时、以什么资源运行”;SDK解决“实验做了什么、产生了什么、接下来为什么这样决策”。二者分层,避免把科研语义硬塞进集群调度器。

使用场景

面向算法工程师的任务编排、实验管理、稳定性和可观测性,覆盖基础设施与开发者接口。