动手训练公开训练中,敬请期待我们正在从零公开训练一个中英双语的小语言模型 BentoLM。训练完成后,这里会整理出完整的过程:每个实验的问题、设置、结果和花费,以及每一个选择背后的理由。 现在的进度和每个实验的记录,可以在公开构建页面看到。在那之前,可以先读原理精讲部分。PagedAttention按最大长度预留连续显存只用上了两三成,用操作系统的分页思路把利用率做到 96%