约 394,000 个结果
在新选项卡中打开链接
  1. 什么是Checkpoint？ 在 机器学习 和 深度学习 中，checkpoint（检查点）是指在模型训练过程中保存的模型状态。 这些检查点通常包括模型的参数（权重和偏置）、优化器状态和其他相关的训练信息。 通过保存检查点，您可以在训练过程中定期保存模型的当前状态，以便在需要时恢复训练或用于模型评估和推理。

    什么是Checkpoint？_checkpoint模型-…

    blog.csdn.net/Flemington7/article/details/139026499
    Checkpoint是用于描述在每次训练后保存模型参数（权重）的惯例或术语。 这就像在游戏中保存关卡时你可以随时通过加载保存文件回复游戏。 你可以加载保存的模型权重重新开启训练甚至可以之后进行一个推理。 复杂模型的训练阶段通常很长（数小时到数天到数周）。

    理解Checkpoint - 知乎

    zhuanlan.zhihu.com/p/410548507
  2. 其他用户还问了以下问题
    什么是checkpoint操作?
    主要用于节省训练模型过程中使用的内存，将模型或其部分的激活值的计算方法保存为一个checkpoint，在前向传播中不保留激活值，而在 反向传播 中根据checkpoint重新计算一次获得激活值用于反向传播。 checkpoint操作是通过将计算交换为内存而起作用的。 不同于常规地将整个计算图的所有中间激活值保存下来用于计算反向传播，作为检查点的部分不再保存中间激活值，而是在反向传播中重新计算一次中间激活值，即重新运行一次检查点部分的前向传播。 由此可知，checkpoint操作在训练过程中可以节省下作为检查点部分所需占的内存，但是要付出在反向传播中重新计算的时间代价。 (checkpoint操作可用于网络的任意部分。

    Pytorch高效降低内存 torch.utils.checkpoint()的使用 - CSDN博客

    blog.csdn.net
    如何优化checkpoint过程?
    优化 checkpoint 过程，尽量缩短 checkpoint 耗时，减少训练中断时间。 接下来我们先分析数据的 shuffle 和读取，checkpoint 过程随后再讨论。 如果我们对 shuffle 和读操作进行具体的分析，就会发现，shuffle 是一个纯元数据操作的过程，主要依赖大量文件的 LIST，读取过程则元数据和数据操作都有。

    面向大模型的存储加速方案设计和实践 - 知乎

    zhuanlan.zhihu.com
    什么是checkpoint事件?
    一般所说的checkpoint是一个数据库事件 (event)，checkpoint事件由checkpoint进程 ( LGWR / CKPT 进程)发出，当checkpoint事件发生时 DBWR 会将脏块写入到磁盘中，同时数据文件和控制文件的 文件头 也会被更新以记录checkpoint信息。 缩短实例恢复的时间，实例恢复要把实例异常关闭前没有写出到硬盘的 脏数据 通过日志进行恢复。

    CheckPoint_百度百科

    baike.baidu.com
    Checkpoint 多大?
    与训练数据以小文件为主不同，大模型单个节点的 checkpoint 通常就能达到几十上百 GB。 而多个训练节点同时写，需要恢复时又同时读，对存储提出了很高的吞吐要求。 同时一个关键的问题是 checkpoint 期间整个训练是中断的。

    面向大模型的存储加速方案设计和实践 - 知乎

    zhuanlan.zhihu.com
    允许多个 checkpoint 并行进行吗?
    不过允许多个 checkpoint 并行进行是可行的，对于有确定的处理延迟（例如某方法所调用比较耗时的外部服务），但是仍然想进行频繁的 checkpoint 去最小化故障后重跑的 pipelines 来说，是有意义的。 该选项不能和 “checkpoints 间的最小时间”同时使用。

    状态与容错 - Checkpointing - 《Apache Flink v1.14 中文文档

    bookstack.cn
    Check Point是哪个国家的?
    Check Point 的国际总部位于以色列特拉维夫，以及美国加利福尼亚州圣卡洛斯。 本公司的办事处遍布美国的 阿拉巴马州、亚利桑那州、北加州和南加州、科罗拉多州、佛罗里达州、佐治亚州、伊利诺伊州、马萨诸塞州、密歇根州、明尼苏达州、纽约州、新泽西州、俄亥俄州、宾夕法尼亚州、德克萨斯州、弗吉尼亚州、华盛顿州和威斯康星州；以及加拿大安大略地区。 本公司在以下国家/地区还设有国际子公司：奥地利、白俄罗斯、比利时、捷克、丹麦、芬兰、法国、德国、希腊、匈牙利、意大利、荷兰、挪威、波兰、葡萄牙、罗马尼亚、俄罗斯、西班牙、瑞典、瑞士、土耳其、英国、澳大利亚、新西兰、印度、日本、中国香港、中国大陆、菲律宾、新加坡、韩国、中国台湾、泰国、阿根廷、巴西、哥伦比亚、墨西哥和加拿大。

    事实一览 | Check Point Software

    checkpoint.com.cn
    反馈
  3. CSDN博客
    https://blog.csdn.net/Shirelle_/article/details/137868196

    梯度检查点（Gradient Checkpointing）的解释和举例-CSDN博客

      仅显示来自 blog.csdn.net 的搜索结果
    • 知乎专栏
      https://zhuanlan.zhihu.com/p/650652151

      Gradient Checkpointing(梯度检查点) - 知乎

    • 知乎专栏
      https://zhuanlan.zhihu.com/p/602473031

      在 PyTorch 中使用梯度检查点在GPU 上训练更大的模型 - 知乎

    • CSDN博客
      https://blog.csdn.net/weixin_44212848/article/details/...

      accelerator.sync_gradients - CSDN博客

    • hugging-face.cn
      https://hugging-face.cn/docs/accelerate/usage_guides/...

      检查点 - Hugging Face 中文

    • 知乎专栏
      https://zhuanlan.zhihu.com/p/455541708

      PyTorch 之 Checkpoint 机制解析 - 知乎

    • pytorch.ac.cn
      https://pytorch.ac.cn/tutorials/recipes/distributed...

      分布式检查点 (DCP) 入门 — PyTorch 教程 2.5.0+cu124 文档 ...

    • deepspeed.org.cn
      https://www.deepspeed.org.cn/.../universal-checkpointing

      DeepSpeed 通用检查点：实用指南 - DeepSpeed 中文

    • CSDN博客
      https://blog.csdn.net/Flemington7/article/details/139026499

      什么是Checkpoint？_checkpoint模型-CSDN博客

    • nvidia.com
      https://developer-qa.nvidia.com/zh-cn/blog/checkpointing...

      使用 CRIU 实现 CUDA 应用程序检查点 - NVIDIA 技术博客

    • 某些结果已被删除