LiteLLM Proxy と Amazon Bedrock Application Inference Profile の棲み分け

[littlemex]

議題

現状、AIP は TPM 等の制限をかけることは直接的にはできない。作り込みが必要なはず。
そのため、チーム・個人単位での制限をかける必要がある場合は LiteLLM Proxy が有力な選択肢になると思っている。

1. LiteLLM Proxy から AIP の Model ID を指定できることに意味があるのか考えたい。
2. LiteLLM Proxy は Serving が必要なことがネックであり、AIP + マネージドな仕組みで同様のことができるのか考えたい。