Tether 发布跨平台 BitNet LoRA 框架，十亿参数模型可在消费级设备完成微调

Techub News 소식, Tether는 QVAC Fabric 내 크로스 플랫폼 BitNet LoRA 미세 조정 프레임워크를 출시하여 Microsoft BitNet(1-bit LLM)의 훈련 및 추론 최적화를 실현한다고 발표했습니다. 이 프레임워크는 연산 능력과 메모리 요구 사항을 현저히 낮춰, 십억 매개변수급 모델이 노트북, 소비자용 GPU 및 스마트폰에서 훈련과 미세 조정을 완료할 수 있게 합니다. 이 솔루션은 모바일 GPU(Adreno, Mali 및 Apple Bionic 포함)에서 BitNet 모델의 미세 조정을 처음으로 실현했으며, 테스트 결과 125M 매개변수 모델은 약 10분 내에, 1B 모델은 약 1시간 수준으로 미세 조정이 완료되며, 심지어 휴대폰에서 13B 매개변수 모델로 확장 가능합니다. 또한, 이 프레임워크는 Intel, AMD 및 Apple Silicon과 같은 이기종 하드웨어를 지원하며, 비 NVIDIA 장치에서의 1-bit LLM LoRA 미세 조정을 처음으로 실현했습니다. 성능 측면에서 BitNet 모델은 모바일 GPU에서의 추론 속도가 CPU 대비 2배에서 11배까지 향상되었으며, 동시에 메모리 점유율은 기존 16-bit 모델 대비 최대 약 77.8% 감소했습니다. Tether는 이 기술이 고급 연산 능력과 클라우드 인프라에 대한 의존을 깨고, AI 훈련의 분산화와 현지화를 촉진하며, 연합 학습과 같은 새로운 응용 시나리오에 기반을 제공할 수 있을 것이라고 밝혔습니다.