智能
上下文
- 智能100168
- ?
下一个 token 的概率
- 的0.41
- 是0.18
- 在于0.12
- ，0.08
- 与0.05
公式、代码、交互图，一一对应
把位置写进旋转角度，两个向量的点积就只剩下相对距离 m−n。
def rotate_half(x):
x1 = x[..., : x.shape[-1] // 2]
x2 = x[..., x.shape[-1] // 2 :]
return torch.cat((-x2, x1), dim=-1)
q_embed = (q * cos) + (rotate_half(q) * sin)
k_embed = (k * cos) + (rotate_half(k) * sin)3
1
15°
课程大纲
- 01基础Tokenization、Transformer、优化
- 02系统与部署GPU Kernels、并行、推理和部署
- 03规模与数据Scaling Laws、清洗、去重、混合
- 04评估Benchmark、解析、可靠性
- 05后训练SFT、RLHF、GRPO、DPO
- 06多模态与 Agent视觉、图文对齐、工具调用
- 01数据准备下载、清洗、打包
- 02分词器训练RustBPE、tiktoken
- 03模型搭建BentoLM、RoPE、Muon
- 04预训练Muon、WSD、规模化
- 05中期训练长上下文、RoPE 缩放
- 06后训练与 AgentSFT、RL、工具调用
更多内容即将推出，敬请期待
定价
求职会员
$39/季
课程终身会员 7.5 折
- 传上简历，从数万个在招的 AI 岗位里挑出适合你的
- 每天早上把新出现的合适岗位发到你的邮箱
- X、LinkedIn 上团队直招的帖子，附发帖人和原帖
- 每个岗位写明匹配度、共同技能和级别差距
- 申请链接直达公司官网，岗位每天更新
- 可按地区、工作方式和级别筛选
课程终身会员
课程仍在构建中，现在是早期价格
一次付费，永久有效
- 现有和以后新增的全部章节
- 课程配套的全部仓库代码
- 章节里能动手调的交互图
- 动手训练：六个阶段，从数据到 Agent
- BentoLM 的全部实验记录
- 未来上线的视频课
你会关心的事
如果你已经会调 API，想知道模型是怎么训出来的，就适合。从别的方向转做 LLM、准备 LLM 岗位面试、工作里要训模型或调模型的人，都能用上。如果只想学怎么用好 ChatGPT，这门课不适合你。
四样。课程文档在这个网站上看，分原理精讲和动手训练两部分，公式、图和能跑的代码放在一起。代码在两个 GitHub 私有仓库里：cookllm-recipes 是每个模块的实现，cookllm-bento 是从头训一个 LLM 的完整代码。我们训 BentoLM 的全部实验记录也在里面，每次的配置、结果和花了多少钱都有。视频课正在做，上线后买过课程的人直接能看。
能。有一部分章节完全免费，付费的章节也能先看一部分。
是。课程一次付费，以后新加的章节、代码和视频课，都不用再付费。
多数教程要么教你调现成的框架，要么把论文复述一遍。这里讲的是每一步为什么这样做：公式、交互图和代码放在一起，看得到每个设计改变了什么。我们自己正在从头训一个 LLM，整个过程都公开在 /lab 上，失败的实验和花了多少钱也在。
在 Discord 里问，或者发邮件给我们，联系页上两个都有。