BaseRT

BaseRT

BaseRT by BaseCompute 是專為 Apple Silicon 打造的最快 LLM 執行環境，只需一行指令即可安裝，讓你在裝置上流暢執行本地模型。

Apple SiliconLLM執行環境本地推論BaseComputemacOS AI工具
Open site
image for BaseRTOpen site

BaseRT 是什麼？

BaseRT 是由 BaseCompute 開發的高效能執行環境，專為 Apple Silicon 硬體設計。使用者只需一個指令，就能在裝置上安裝並執行大型語言模型（LLM）。這套工具號稱是 Apple Silicon 上最快的 LLM 執行環境，相較於 MLX 和 llama.cpp 等替代方案，能帶來顯著的效能提升。使用者可以直接從自己的機器提供模型服務，所有資料都保留在裝置端，無需 API 金鑰或外部網路呼叫。

Application scenarios

  • 本地 AI 開發

    在 Apple Silicon Mac 上完全執行與測試開源模型，無需依賴雲端。

  • 程式碼代理工具

    在本地提供模型服務，並將程式碼代理工具指向該模型，實現私密、離線的程式碼輔助。

  • 隱私敏感任務

    執行 AI 工作負載時不將資料傳出裝置，適合機密或敏感專案。

  • 模型效能評測

    使用 BaseRT 內建的基準測試，與 MLX 和 llama.cpp 進行模型效能比較。

  • 社群實驗

    加入 Discord 社群，與其他專注於裝置端 AI 和開源模型的工程師交流。

Core Features

  • 一鍵安裝

    使用單一 `curl` 指令即可安裝 BaseRT：`curl -LsSf https://basecompute.co/install.sh | sh`。

  • 最快的 Apple Silicon 執行環境

    與 llama.cpp 相比，解碼速度提升最高達 33%，預填充速度提升最高達 6.4 倍；與 MLX 相比，預填充速度提升最高達 3.9 倍。

  • 模型服務

    使用 `basert serve basecompute/gemma-4-E4B-it` 在本地提供模型服務，立即取用。

  • 程式碼代理工具整合

    安裝專用外掛程式 (`pip install git:github.com/basecompute/pi-basert`)，即可搭配 BaseRT 執行本地程式碼代理工具。

  • 支援的模型

    可搭配多款熱門開源模型使用，包括 Qwen3、Qwen3.5、Qwen3.6、Llama 3.1、Llama 3.2、Gemma 3、Gemma 4、Mistral、Phi-3 和 Nomic BERT。

  • 社群支援

    可取得技術報告、說明文件、GitHub 儲存庫，以及專為裝置端 AI 工程師打造的 Discord 伺服器。

目標使用者

BaseRT 專為從事裝置端 AI 開發的工程師與開發者打造，特別是需要在 Apple Silicon 硬體上本地執行開源模型的使用者。它非常適合 AI 研究人員、程式碼工具開發者，以及希望避免雲端依賴、注重隱私的使用者。這套工具也吸引對在 Mac 上進行 LLM 效能評測與實驗有興趣的業餘愛好者與社群成員。

如何使用 BaseRT？

  1. 在 Apple Silicon Mac 上開啟終端機。
  2. 執行安裝指令：curl -LsSf https://basecompute.co/install.sh | sh。
  3. 使用 basert serve basecompute/gemma-4-E4B-it（或任何支援的模型）在本地提供模型服務。
  4. 若需使用程式碼代理工具，請安裝外掛程式：pip install git:github.com/basecompute/pi-basert，然後執行。
  5. 透過 BaseRT 網站或 GitHub 存取詳細的技術報告與說明文件。

效果評價

BaseRT 確實兌現了其「Apple Silicon 上最快 LLM 執行環境」的承諾，具體的基準測試數據顯示，無論在解碼階段還是預填充階段，它都明顯優於 MLX 和 llama.cpp。一鍵安裝與直觀的模型服務功能，讓開發者能快速啟動本地 AI，無需繁複設定。與程式碼代理工具的整合，對打造私密、離線開發工具的使用者來說，是一項實用功能。雖然這套工具明顯是針對 Apple Silicon 最佳化，但其專注於本地執行與隱私保護的特性，與當前邊緣 AI 的發展趨勢相當吻合。活躍的 Discord 社群與可取得的技術報告，顯示這是一個獲得良好支援的專案，不過網站上並未提供基準測試以外的實際使用者回饋。

Frequently Asked Questions

什麼是 BaseRT？
BaseRT 是一款專為 Apple Silicon 優化的高效能 LLM 執行環境，只需一條指令就能在你的裝置上安裝並執行大型語言模型。
支援哪些 Apple 裝置？
BaseRT 支援所有搭載 Apple Silicon 的 Mac，包括 M1、M2、M3 及後續晶片，但不相容於 Intel 處理器的 Mac。
如何安裝 BaseRT？
安裝非常簡單：打開終端機，執行 BaseCompute 官方儲存庫提供的安裝腳本即可，一條指令搞定，無需繁複設定。
BaseRT 是免費的嗎？
是的，BaseRT 完全免費且開源，你可以直接下載使用，無需任何訂閱或授權費用。
可以用 BaseRT 執行哪些模型？
BaseRT 支援多種開源大型語言模型，包括 LLaMA、Mistral 和 Phi，並針對 Apple Silicon 進行了本地推論最佳化。
BaseRT 需要網路連線嗎？
不需要。初次安裝並下載模型後，BaseRT 可完全離線執行，確保隱私並降低延遲。

BaseRT - AI Tool Detail

BaseRT by BaseCompute 是專為 Apple Silicon 打造的最快 LLM 執行環境，只需一行指令即可安裝，讓你在裝置上流暢執行本地模型。

Category：訓練部署工具

Visit Link：https://www.basecompute.co/getbasert

Tags：Apple Silicon、LLM執行環境、本地推論、BaseCompute、macOS AI工具