Adola: Reducing LLM input tokens by 70%Adola의 Rose 1은 LLM 입력 토큰을 최대 70%까지 줄이면서도 답변 정확도를 유지하는 문맥 압축 API를 제공한다. 다양한 평가 세트에...

Adola: Reducing LLM input tokens by 70%Adola의 Rose 1은 LLM 입력 토큰을 최대 70%까지 줄이면서도 답변 정확도를 유지하는 문맥 압축 API를 제공한다. 다양한 평가 세트에서 최대 70% 압축에도 불구하고 과학, 수학, 상식 문제에서 정확도 저하가 거의 없음을 입증했다. 이 서비스는 에이전트 트레이스, RAG 검색, 프롬프트 게이트웨이, 지원 코파일럿 등 다양한 AI 워크플로우에서 중복되고 불필요한 문맥을 효과적으로 줄여 비용과 지연을 절감한다. 간단한 API 호출로 기존 모델 공급자와 호환되며, 컴플라이언스 지침을 보호하면서도 프롬프트 크기를 줄이는 데 최적화되어 있다.https://adola.app/#llm #contextcompression #api #promptoptimization #costreduction