https://github.com/magnitudedev/magnitude

magnitude：本地跑模型，隐私安全无云端

开源推理服务器，自动匹配硬件跑本地模型，兼容主流代理。