KV Cache1 [논문 리뷰] TurboQuant: Online Vector Quantization withNear-optimal Distortion Rate TurboQuant : 근-최적 왜곡률을 달성하는 온라인 벡터 양자랩실 세미나에서 한 분이 발표하셨는데, 최근 매우 핫한 주제여서 관심이 생겨 더 찾아보았다.1. Introduction: 벡터 양자화란 무엇인가Vector Quantization(VQ)은 고차원 벡터를 낮은 비트폭의 정수로 압축하면서, 그 과정에서 발생하는 왜곡(distortion)을 최소화하는 문제다. 즉, floating point number → lower bitwidth integer 변환이 핵심이다.VQ의 이론적 뿌리는 Shannon의 소스 코딩 이론까지 거슬러 올라간다. 핵심 개념인 Shannon distortion-rate function R(D)는 다음을 묻는다:주어진 비트 수(R) 안에서, 원본과 압축본 사이의 오차(D)를.. 2026. 4. 12. 이전 1 다음
