Делаем лимиты ИИ почти бесконечными: умный роутер, который режет затраты на токены в разы$47 за неделю на LLM API — при ...

Делаем лимиты ИИ почти бесконечными: умный роутер, который режет затраты на токены в разы$47 за неделю на LLM API — при том что половина запросов тривиальные. Поставил ClawRouter — open source роутер, который анализирует промт по 15 параметрам и отправляет в самую дешёвую подходящую модель. За следующую неделю потратил $1.80. Рассказываю, как работает, что понравилось, что нет и какие есть альтернативы.https://habr.com/ru/articles/1018952/#llm #api #оптимизация #ai #opensource #routing

Read Original

Related