Tether는 소비자급 GPU 및 스마트폰에서 대형 모델 훈련 및 추론을 지원하는 크로스 플랫폼 BitNet LoRA 프레임워크를 발표했습니다

Tether CEO Paolo Ardoino가 발표한 바에 따르면, Tether AI 팀은 새로운 버전의 QVAC Fabric을 출시하였으며, 이는 크로스 플랫폼 BitNet LoRA 프레임워크를 통합하여 소비자급 GPU 및 스마트폰에서 10억 매개변수 규모의 대모델 훈련 및 추론을 가능하게 합니다.

새로운 QVAC Fabric LLM은 최초로 BitNet LoRA 미세 조정 및 추론을 AMD, Intel, Apple Metal 및 모바일 GPU에서 크로스 플랫폼으로 실행할 수 있게 하였습니다. 플래그십 장치에서 GPU 추론 속도는 CPU보다 2배에서 11배 향상되었으며, 메모리 사용량은 전체 정밀도 모델보다 최대 90% 감소하였습니다. Tether 팀은 Pixel 9, S25 및 iPhone 16과 같은 플래그십 스마트폰에서 최대 38억 매개변수 모델의 미세 조정을 완료하였으며, iPhone 16에서 최대 130억 매개변수 모델의 미세 조정을 구현하였습니다. 관련 코드는 GitHub에 오픈 소스되었습니다.