swllm.cpp 是 shenwenAI 推出的高性能 C/C++ 大语言模型推理引擎，
专为本地部署和边缘计算优化，支持多种模型格式和硬件加速。
swllm.cpp 提供高性能、轻量级的大语言模型推理解决方案
基于 C/C++ 实现，充分利用硬件性能，支持 AVX2、NEON 等 SIMD 指令集加速
无需网络连接，支持在本地设备上运行大语言模型，保护数据隐私
支持 GGUF、GGML 等多种模型格式，兼容主流开源大语言模型
支持 4-bit、8-bit 等多种量化方案，在保持模型精度的同时大幅降低内存占用
支持 Linux、macOS、Windows 等主流操作系统，可在多种硬件平台上运行
基于 MIT 协议开源，可自由使用、修改和分发，欢迎社区贡献
