8.0
热点
AI SCORE
编程提效2026-08-28 05:46
AI Engineer Notebooks：免费Colab笔记本质保
Hacker News#开源#Colab#RAG
Editor brief · 编辑速览
GitHub开源项目，提供免费、无框架依赖的RAG/Agent/评测笔记本，可在Colab直接运行。
用真正会被面试的方式学习 applied-LLM 技术栈：不依赖框架，基于免费 API，从 prompt 到 serving、fine-tuning 和红队基准测试，完整走一遍。
这是一套面向 AI Engineer / Forward Deployed Engineer（FDE）技能树的 Runnable Colab notebook。你使用原生 API 而非框架，在基础模型之上构建生产可用系统（model APIs、RAG、evals、agents、adaptation、serving）。
刻意不依赖框架。你先用原生 API 调用手写 agent loop、RAG 和 evals，这样在拿起 LangChain/LlamaIndex 之前就理解了它们实际在做什么（也能判断何时不该用）。模式是持久的；包装库却在不断迭代。
Evals 是脊梁。"测量先行，调优在后"这条习惯很早就被植入，并在每个章节中反复出现。它区分了真正交付了系统的工程师和只做了 demo 的人。
全程免费运行。所有内容都跑在免费的 Groq API 上（无需信用卡）。Groq 无法承载的两个主题——LoRA fine-tuning（06）和 self-hosted serving（09）——则以概念优先的方式讲解，并附上可选的 Colab-GPU 附录（在真实 Colab T4 上验证过）。
真实案例研究，不是玩具 demo。三个端到端案例研究展示了在真实约束下组合各项技能：一个在生产环境调试的支持助手、一个 pipeline-vs-agent 成本对比、以及一个红队鲁棒性基准测试。
全程 OpenAI 兼容，每个模式都可以直接迁移到 OpenAI（做少量改动可迁移到 Anthropic）。换一个 base URL，技能就能带走。
作为 Plan: Transitioning to Forward Deployed Engineer / AI Engineer 的实战配套。这些 notebooks 实现了那份路线图所规划的内容。
面向希望转型 AI Engineer、FDE、Applied AI 或 Solutions Engineer（AI 方向）的后端或全栈工程师。title 各不相同，工作内容却大同小异。你能交付生产代码；现在想要在之上补上 applied-model 这一层。
自上而下地走。每个 notebook 都是自包含的（自己安装依赖，从 Colab secrets 读取 API key），每个都以练习收尾。
课程结构
02 — Evals I: measuring outputs
04 — Evals II: the differentiator
06 — Adapting the model
09 — Serving & inference performance
当免费 Groq API 无法运行某个主题时（这些框架需要 GPU），notebook 会先讲概念，再附上可选的 Colab-GPU 附录——与 06 节 LoRA 附录相同的模式。
10 — ML system design & performance
11 — Customer craft (the FDE differentiator)
12 — Case Studies & Capstone
这里是各项技能汇合成项目的地方。先有一个案例研究（一个从头到尾可运行的真实场景），然后是 capstone：你自主构建的已部署 repo。（章节总览。）
Capstone 是你简历上那个部署项目的简介——一个真实 repo，包含 serving 组件和 eval 报告。案例研究用于学习；capstone 用于求职。
原生 model APIs，不依赖框架。模式是持久的；包装库却在不断迭代。
跨 RAG 和 eval 章节共用一份语料库（data/），这样 evals 测量的是你实际构建的 retrieval。
自包含的 notebook。第一个 cell 安装依赖，第二个 cell 调用 from aien import setup; client, MODEL = setup() 从 Colab secrets 加载 key（或本地 env var）。notebook 之间无隐藏状态。aien 是这个 repo 里小小的共享 setup 包（集中一处修改凭证加载），由第一个 cell 自动安装。
每个 notebook 都以练习收尾。做完再往下走。
GROQ_API_KEY 添加为 secret，并开启 notebook 访问权限。本地运行：pip install -r requirements.txt && pip install -e .（第二个命令安装 aien setup helper），export GROQ_API_KEY=...，用 Jupyter 打开。