BaseRT
BaseCompute 推出 BaseRT，专为 Apple Silicon 打造的最快 LLM 运行时，一行命令安装，本地模型即刻运行。
BaseRT 是什么？
BaseRT 是 BaseCompute 专为 Apple Silicon 硬件打造的高性能运行时工具，一条命令就能在你的设备上本地安装和运行大语言模型（LLM）。官方号称它是 Apple Silicon 上最快的 LLM 运行时，速度比 MLX 和 llama.cpp 等竞品快一大截。你可以直接从自己的机器上提供服务，所有数据都留在本地，不需要 API 密钥，也不用联网调用。
Application scenarios
本地 AI 开发
在 Apple Silicon Mac 上完全离线运行和测试开源模型，不依赖云端。
编程助手
本地部署一个模型，然后让编程 agent 连接它，实现私密、离线的代码辅助。
隐私敏感任务
执行 AI 工作负载时不把数据传出设备，适合机密或敏感项目。
模型性能对比
用 BaseRT 内置的基准测试，跟 MLX 和 llama.cpp 比比看谁更快。
社区实验
加入 Discord 社区，跟其他工程师一起捣鼓设备端 AI 和开源模型。
Core Features
一键安装
一条 `curl` 命令搞定：`curl -LsSf https://basecompute.co/install.sh | sh`。
Apple Silicon 最快运行时
相比 llama.cpp，解码速度最高快 33%，预填充速度最高快 6.4 倍；相比 MLX，预填充速度最高快 3.9 倍。
模型服务
用 `basert serve basecompute/gemma-4-E4B-it` 就能本地跑起模型，立刻可用。
编程 agent 集成
安装专用插件（`pip install git:github.com/basecompute/pi-basert`），让 BaseRT 驱动本地编程 agent。
支持模型
兼容热门开源模型，包括 Qwen3、Qwen3.5、Qwen3.6、Llama 3.1、Llama 3.2、Gemma 3、Gemma 4、Mistral、Phi-3 和 Nomic BERT。
社区支持
提供技术报告、文档、GitHub 仓库，还有 Discord 服务器供工程师交流设备端 AI。
目标用户
BaseRT 面向搞设备端 AI 的工程师和开发者，尤其是需要在 Apple Silicon 硬件上本地跑开源模型的人。AI 研究员、编程工具开发者、不想依赖云端的隐私敏感用户都很适合。对在 Mac 上折腾 LLM 性能对比和实验的爱好者来说，也是个好玩具。
如何使用 BaseRT？
- 打开 Apple Silicon Mac 的终端。
- 运行安装命令：
curl -LsSf https://basecompute.co/install.sh | sh。 - 用
basert serve basecompute/gemma-4-E4B-it（或其他支持的模型）本地提供服务。 - 如果要用编程 agent，先装插件：
pip install git:github.com/basecompute/pi-basert，然后运行。 - 去 BaseRT 官网或 GitHub 查看详细技术报告和文档。
效果评价
BaseRT 确实兑现了“Apple Silicon 上最快 LLM 运行时”的承诺，基准测试数据实打实地显示，它在解码和预填充阶段都比 MLX 和 llama.cpp 快很多。一键安装和简单的模型服务让开发者能快速启动本地 AI，不用折腾复杂配置。跟编程 agent 的集成也很实用，适合搭建私密、离线的开发工具。虽然它明显是为 Apple Silicon 优化的，但本地执行和隐私保护的理念跟边缘 AI 的趋势很合拍。Discord 社区活跃、技术报告齐全，说明项目维护得不错——不过网站上除了基准测试，没提供更多真实用户的反馈。
Frequently Asked Questions
BaseRT 是什么？
支持哪些苹果设备？
怎么安装 BaseRT？
BaseRT 免费吗？
BaseRT 能跑哪些模型？
BaseRT 需要联网吗？
BaseRT - AI Tool Detail
BaseCompute 推出 BaseRT，专为 Apple Silicon 打造的最快 LLM 运行时，一行命令安装，本地模型即刻运行。
Category：训练部署工具
Visit Link：https://www.basecompute.co/getbasert
Tags：Apple Silicon本地推理、macOS AI运行环境、BaseCompute大模型、BaseRT LLM运行时、离线AI推理工具