Облачная LLM на 16 ГБ VRAM — часть 2: LangGraph Server, LangSmith и SDKДрузья, привет! Возвращаюсь с продолжением. В пер...

Облачная LLM на 16 ГБ VRAM — часть 2: LangGraph Server, LangSmith и SDKДрузья, привет! Возвращаюсь с продолжением. В первой части мы разобрались, как поднять локальную LLM и пробросить к ней внешний доступ. Но до настоящей интеграции в продукт так и не добрались — модель работает, а что с ней делать дальше, непонятно. Сегодня исправляем это. Поговорим про графовую инфраструктуру на базе локальных моделей — и не только локальных. Любых, поддерживающих OpenAI-совместимый протокол. А теперь вопрос: что, если вам достаточно хорошо научиться писать граф — и вокруг него автоматически поднимется REST API, появится интерфейс для тестирования, трейсинг и мониторинг?https://habr.com/ru/companies/selectel/articles/1034720/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1034720#langgraph #selectel #itинфраструктура #llm #ai #cloud #rest_api #интерфейс #трейсинг #мониторинг