这样，他们找到了最佳的 Token/Dollar 比值，并假设可以通过调整优化超参数（例如学习率）来实现与硬件最佳配置的最佳收敛。 接下来，给出这些配置参数的定义 GPU 类型：他们评估了三种英伟达 GPU：A100-40GB、A100-80GB 和 H100-80GB。所有 GPU 使用的数据类型都是 ...