监控与验证
会员专享使用 TensorBoard、SwanLab、采样文本和 checkpoint 跟踪预训练
预训练跑起来之后,真正要盯的是实验有没有按预期推进:训练 loss 有没有记录,验证 loss 有没有稳定写出,学习率调度是否正确,采样文本有没有生成,checkpoint 有没有保存。
cookllm-bento 里默认配置了 TensorBoard,同时也提供了 SwanLab logger。实际训练时我更推荐 SwanLab:它适合远程机器、长时间实验和多次实验对比;TensorBoard 更适合本地快速看一眼。
日志从哪里来
训练过程中看到的曲线不是 logger 自己算出来的,而是代码主动记录出来的。比如 PretrainModule 里有两处关键日志:
登录以继续阅读
这是一篇付费内容,请登录您的账户以访问完整内容。
CookLLM文档