训练任务平台真正难的是什么:从提交作业到交付结果
训练平台不是一个提交作业的界面,而是一套管理资源、环境、时间与失败的不确定性系统。本文从生命周期、调度、可观测性和容错四个方面,讨论训练任务平台真正困难的工程问题。
从源码阅读到系统问题,一些已经写下的思考。早期笔记保留原来的时间与背景。
训练平台不是一个提交作业的界面,而是一套管理资源、环境、时间与失败的不确定性系统。本文从生命周期、调度、可观测性和容错四个方面,讨论训练任务平台真正困难的工程问题。
学习 CUDA 与 OpenMP 协同、Tensor Core GEMM 及半精度向量计算的关键实现。
通过 clock、NVRTC、C++ 集成和函数重载示例继续理解 CUDA 的编译与运行机制。
从 asyncAPI、动态并行打印与 GPU 快速排序示例理解 CUDA 的异步执行和动态并行。
记录 TensorRT 中 Plugin Creator 的查找、字段传递与插件实例创建流程。
从 FM 模型公式出发,拆解 xLearn 中 CalcScore 的具体实现与时间复杂度优化。
通过 SET、INCRBY 与 OVERFLOW 选项,理解 Redis BITFIELD 对位域的写入与溢出处理。
理解 C++ 为支持函数重载而进行的名字重整,并使用 abi::__cxa_demangle 还原符号名称。