Skip to content

Latest commit

 

History

8 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

title AI Token 中转站实战:从 0 搭建企业级 LLM 网关

在线阅读 · inferloop.dev/llm-gateway
所有书目 · inferloop.dev

这本书在讲什么

用 TypeScript 从零搭一个企业级 LLM API 中转站(也叫 AI Gateway)。 覆盖路由、协议转换、鉴权、计费、限流、渠道管理、流式响应、可观测性, 以及一个常被讨论但很少讲透的话题:中转站为什么能比官方便宜

读完这本书,读者应该能:

  • 理解 one-api / new-api / portkey gateway 这类中转站的核心架构
  • 用 TS 自己跑通一个最小但完整的网关原型
  • 知道企业内部 LLM 网关和对外中转站在设计上的差异
  • 看懂中转站成本优化背后的技术与商业机制

状态

字段
阶段 全书写作完成,代码已验证
技术栈 TypeScript + Node.js 20+、Hono、better-sqlite3 + Drizzle
篇幅 12 章正文 + 2 篇附录
参考库 one-api、new-api、portkey gateway、helicone、litellm

怎么读这本书

  • 想快速理解中转站长什么样:先读前言第 1 章,再直接跳到第 12 章把最小原型跑起来
  • 系统学习:从前言到第 12 章按顺序读,每章配套 examples/ 跟着跑一遍
  • 关心成本与商业机制:重点读第 5 章第 10 章第 11 章

目录

前言

  • 前言 为什么写这本书、写给谁、覆盖什么、三条阅读路线

第一部分 从一个入口到多家上游

第二部分 把网关做成生意

第三部分 成本、收费与上线

附录

完整目录另见 SUMMARY.md

配套代码

每章对应 book/NN-xxx/examples/ 一份可独立运行的最小示例, 全书最后一章(第 12 章)汇总成一个能本地跑起来的最小原型:

cd examples/12-ship-it
npm install && npm run migrate && npm run smoke

相关书

来自同一作者的其他书:

About

AI Token 中转站实战 — 从 0 搭建企业级 LLM 网关

Topics

Resources

Stars

10 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors