评估云端计算实例支撑机器学习训练的数据吞吐，不能只看存储标称带宽，也不能只看 GPU 利用率。真正要确认的是：训练过程中，数据能否稳定、持续地送到计算设备。建议同时观察每秒样本数、每个训练步的耗时，以及 GPU 是否经常等待数据。
先分清三种“吞吐”
- 样本吞吐：每秒处理的样本数，常写作 samples/s。适合比较相同模型、数据和批量大小下的训练速度。
- 数据吞吐：每秒读取的数据量，常用 MB/s 或 GB/s。它受样本大小、文件格式和读取方式影响。
- 训练步耗时：完成一个前向、反向和参数更新步骤所需时间。若耗时忽高忽低，平均吞吐可能掩盖输入停顿。
不同模型的样本大小和计算量不同，因此不能拿一个任务的 samples/s 直接比较另一种任务。评估云端计算实例支撑机器学习训练的数据吞吐时，应固定模型、批量大小、精度设置和数据集，再比较实例配置。
用对照测试找瓶颈
以 PyTorch 训练 ImageNet-1K 图像分类模型为例，图像解码、增强和读取都可能消耗时间。先跑真实数据，再用内存中的合成数据做对照：如果合成数据下速度明显提高，问题更可能在数据读取或预处理；若差异很小，则应检查模型计算、显存或批量设置。
- 固定条件。记录实例的 CPU、GPU、内存和存储类型，并固定软件版本、模型、数据划分、批量大小及数据增强方式。
- 预热后计时。先运行若干训练步，让文件缓存、编译或初始化影响减弱，再连续记录一段稳定训练时间。可从预热 20 至 100 步开始，具体取决于模型与启动开销。
- 记录多个指标。保存每步耗时、samples/s、GPU 利用率、CPU 使用情况，以及存储读吞吐和等待时间。比较中位数和波动，不只看单个峰值。
- 逐项调整。依次尝试增加 DataLoader 的 worker 数、启用数据预取、调整批量大小，或把小文件整理为更适合顺序读取的格式；每次只改一项并重复测试。
读数时注意因果关系
GPU 利用率低，不一定是存储慢
低 GPU 利用率可能来自 CPU 解码、数据增强、进程间传输或同步等待。若 GPU 利用率偏低，同时 CPU 某些核心繁忙，可先减少昂贵的在线增强，或检查 worker 是否不足；若存储读速率低且等待时间明显，再检查数据所在盘、文件布局和并发读取能力。单看利用率无法定因。
标称带宽不等于训练可用带宽
顺序读取大文件与随机读取许多小文件，表现可能差异很大。对象存储还会受到网络、请求粒度和缓存影响；本地 NVMe 通常适合高频访问的临时数据，但容量和生命周期需另行管理。应使用实际训练数据与加载方式测试，避免用单一顺序读结果推断整体表现。
记录结果时，可列出实例配置、数据来源、预处理方式、worker 数、稳定阶段样本吞吐和波动范围。这样得出的云端计算实例支撑机器学习训练的数据吞吐结论，才能用于复测和选型，而不是只对应一次偶然峰值。
常见问题
样本吞吐和存储读速率哪个更重要？
训练速度比较优先看样本吞吐与训练步耗时；定位输入瓶颈时，再结合存储读速率和等待情况。
DataLoader 的 worker 越多越好吗？
不一定。过多 worker 会增加 CPU、内存和进程调度开销，应逐步调整并以稳定吞吐为准。
合成数据测试能代替真实数据吗？
不能。它适合估算计算侧上限、判断输入是否拖慢训练，最终评估仍应使用真实数据管线。
不同实例怎样公平比较？
保持模型、数据、软件和训练参数一致，预热后在相同时间窗口内多次测量，并同时报告吞吐和波动。