Auto AI Router: высокопроизводительный прокси-роутер для LLM API на GoAuto AI Router — лёгкий прокси-роутер на Go, котор...

Auto AI Router: высокопроизводительный прокси-роутер для LLM API на GoAuto AI Router — лёгкий прокси-роутер на Go, который принимает запросы в формате OpenAI API и прозрачно распределяет их между несколькими провайдерами и ключами с балансировкой нагрузки, защитой от банов и контролем RPM-лимитов. Читать далее (многобукав)https://habr.com/ru/articles/1027878/#go #github #llm #openai #vertex #gemini #litellm #docker #dockercompose #router

Read Original

Related