Tether发布跨平台BitNetLoRA框架支持消费级GPU及智能手机端大模型训练与推理
2026-03-17 22:03:53
作者:佚名
来源:本站整理
0 阅读
TetherCEOPaoloArdoino披露,TetherAI团队发布了新版QVACFabric,集成跨平台BitNetLoRA框架,可在消费级GPU及智能手机上实现十亿参数级大模型的训练与推理。新版QVACFabricLLM首次实现了BitNetLoRA微调与推理在AMD、Intel、AppleMetal及移动端GPU上的跨平台运行。在旗舰设备上,GPU推理速度较CPU提升2至11倍,内存占用较全精度模型减少最高90%。Tether团队已在Pixel9、S25及iPhone16等旗舰手机上完成最高38亿参数模型的微调,并在iPhone16上实现最高130亿参数模型的微调。相关代码已开源至GitHub。
免责声明:
本文仅为提供市场讯息,所有内容及观点仅供参考,不构成投资建议,不代表本站观点和立场。
投资者应自行决策与交易,对投资者交易形成的直接或间接损失,作者及本站将不承担任何责任。