| title | AI Token 中转站实战:从 0 搭建企业级 LLM 网关 |
|---|
在线阅读 · inferloop.dev/llm-gateway
所有书目 · inferloop.dev
用 TypeScript 从零搭一个企业级 LLM API 中转站(也叫 AI Gateway)。 覆盖路由、协议转换、鉴权、计费、限流、渠道管理、流式响应、可观测性, 以及一个常被讨论但很少讲透的话题:中转站为什么能比官方便宜。
读完这本书,读者应该能:
- 理解 one-api / new-api / portkey gateway 这类中转站的核心架构
- 用 TS 自己跑通一个最小但完整的网关原型
- 知道企业内部 LLM 网关和对外中转站在设计上的差异
- 看懂中转站成本优化背后的技术与商业机制
| 字段 | 值 |
|---|---|
| 阶段 | 全书写作完成,代码已验证 |
| 技术栈 | TypeScript + Node.js 20+、Hono、better-sqlite3 + Drizzle |
| 篇幅 | 12 章正文 + 2 篇附录 |
| 参考库 | one-api、new-api、portkey gateway、helicone、litellm |
- 想快速理解中转站长什么样:先读前言和第 1 章,再直接跳到第 12 章把最小原型跑起来
- 系统学习:从前言到第 12 章按顺序读,每章配套
examples/跟着跑一遍 - 关心成本与商业机制:重点读第 5 章、第 10 章、第 11 章
前言
- 前言 为什么写这本书、写给谁、覆盖什么、三条阅读路线
第一部分 从一个入口到多家上游
第二部分 把网关做成生意
第三部分 成本、收费与上线
附录
完整目录另见 SUMMARY.md。
每章对应 book/NN-xxx/examples/ 一份可独立运行的最小示例,
全书最后一章(第 12 章)汇总成一个能本地跑起来的最小原型:
cd examples/12-ship-it
npm install && npm run migrate && npm run smoke来自同一作者的其他书: