L'essentiel
AI 스타트업 디노티시아가 대규모언어모델(LLM)의 메모리 부담을 줄이는 KV캐시 압축 기술 'STAR-KV'를 공개했다. 이 기술은 KV캐시를 최대 20배 압축하고 연산 속도를 최대 6.9배 향상시켜 AI 추론 생태계에 기여할 것으로 기대된다.
Résumé généré par IA
AI 스타트업 디노티시아가 대규모언어모델(LLM)의 메모리 부담을 줄이는 KV캐시 압축 기술 'STAR-KV'를 공개했다. 이 기술은 KV캐시를 최대 20배 압축하고 연산 속도를 최대 6.9배 향상시켜 AI 추론 생태계에 기여할 것으로 기대된다.






