Tether 오픈 소스 TurboQuant, 로컬 AI 장치 KV 캐시 압축 비율은 최대 5배에 이를 수 있습니다
Tether AI 연구 팀은 TurboQuant 생산 버전을 오픈 소스화하고 이를 QVAC SDK 0.12.0에 통합했다고 발표했습니다.
TurboQuant는 Google Research의 메모리 압축 알고리즘에서 유래되었으며, AI 런타임의 KV 캐시를 최대 5배 압축할 수 있으며, 압축되지 않은 모델의 출력 품질에 가깝게 유지됩니다.
이는 노트북, 휴대폰 및 엣지 장치가 데이터를 클라우드에 업로드할 필요 없이 더 긴 대화, 더 큰 파일 및 더 복잡한 작업을 처리할 수 있음을 의미합니다.
이번 오픈 소스 릴리스에는 완전한 양자화 파이프라인, 주요 추론 프레임워크 어댑터 및 개발자 문서가 포함되어 있으며, 소비자급 하드웨어, 엣지 장치 및 P2P 네트워크에서 AI를 배포하는 개발자와 스타트업 팀을 대상으로 하고 있습니다.
체인캐처(ChainCatcher)는 독자들에게 블록체인을 이성적으로 바라보고, 리스크 인식을 실제로 향상시키며, 다양한 가상 토큰 발행 및 조작에 경계해야 함을 상기시킵니다. 사이트 내 모든 콘텐츠는 시장 정보나 관련 당사자의 의견일 뿐이며 어떠한 형태의 투자 조언도 제공하지 않습니다. 만약 사이트 내에서 민감한 정보를 발견하면 를 클릭하여 신속하게 처리할 것입니다.
관련 태그






