BaseRT

BaseRT

BaseRT de BaseCompute es el runtime para LLM más rápido en Apple Silicon. Instalación con un solo comando y ejecución local de modelos directamente en tu dispositivo.

Apple SiliconLLM runtimeinferencia localBaseComputeIA en macOS
Open site
image for BaseRTOpen site

¿Qué es BaseRT?

BaseRT es un runtime de alto rendimiento desarrollado por BaseCompute, diseñado específicamente para hardware Apple Silicon. Permite a los usuarios instalar y ejecutar modelos de lenguaje grandes (LLMs) localmente en su dispositivo con un solo comando. La herramienta se comercializa como el runtime de LLM más rápido en Apple Silicon, ofreciendo mejoras significativas de velocidad en comparación con alternativas como MLX y llama.cpp. Los usuarios pueden servir modelos directamente desde su máquina, manteniendo todos los datos en el dispositivo sin necesidad de claves API ni llamadas externas a la red.

Application scenarios

  • Desarrollo local de IA

    Ejecuta y prueba modelos de código abierto completamente en tu Mac con Apple Silicon, sin dependencias en la nube.

  • Agentes de codificación

    Sirve un modelo localmente y apunta un agente de codificación hacia él, permitiendo asistencia de código privada y sin conexión.

  • Tareas sensibles a la privacidad

    Ejecuta cargas de trabajo de IA sin enviar datos fuera de tu dispositivo, ideal para proyectos confidenciales o sensibles.

  • Evaluación comparativa de modelos

    Compara el rendimiento entre modelos utilizando los benchmarks integrados de BaseRT frente a MLX y llama.cpp.

  • Experimentación comunitaria

    Únete a una comunidad en Discord para ingenieros que trabajan en IA en el dispositivo y modelos de código abierto.

Core Features

  • Instalación con un solo comando

    Instala BaseRT con un solo comando `curl`: `curl -LsSf https://basecompute.co/install.sh | sh`.

  • Runtime más rápido en Apple Silicon

    Logra velocidades de decodificación hasta un 33% más rápidas y velocidades de prefill hasta 6,4 veces más rápidas en comparación con llama.cpp, y hasta 3,9 veces más rápido en prefill que MLX.

  • Servicio de modelos

    Sirve un modelo localmente usando `basert serve basecompute/gemma-4-E4B-it` para acceso inmediato.

  • Integración con agentes de codificación

    Instala un plugin dedicado (`pip install git:github.com/basecompute/pi-basert`) para ejecutar agentes de codificación locales con BaseRT.

  • Modelos compatibles

    Funciona con modelos populares de código abierto, incluyendo Qwen3, Qwen3.5, Qwen3.6, Llama 3.1, Llama 3.2, Gemma 3, Gemma 4, Mistral, Phi-3 y Nomic BERT.

  • Soporte comunitario

    Accede a informes técnicos, documentación y un repositorio de GitHub, además de un servidor de Discord para ingenieros que construyen IA en el dispositivo.

Usuarios objetivo

BaseRT está diseñado para ingenieros y desarrolladores que trabajan con IA en el dispositivo, especialmente aquellos que necesitan ejecutar modelos de código abierto localmente en hardware Apple Silicon. Es ideal para investigadores de IA, desarrolladores de herramientas de codificación y usuarios preocupados por la privacidad que desean evitar dependencias en la nube. La herramienta también atrae a aficionados y miembros de la comunidad interesados en realizar evaluaciones comparativas y experimentar con LLMs en Macs.

¿Cómo usar BaseRT?

  1. Abre una terminal en tu Mac con Apple Silicon.
  2. Ejecuta el comando de instalación: curl -LsSf https://basecompute.co/install.sh | sh.
  3. Sirve un modelo localmente usando basert serve basecompute/gemma-4-E4B-it (o cualquier modelo compatible).
  4. Para agentes de codificación, instala el plugin con pip install git:github.com/basecompute/pi-basert y ejecútalo.
  5. Accede a informes técnicos detallados y documentación a través del sitio web de BaseRT o GitHub.

Revisión de resultados

BaseRT cumple su promesa de ser el runtime de LLM más rápido para Apple Silicon, con cifras de benchmark concretas que muestran ganancias sustanciales sobre MLX y llama.cpp tanto en fases de decodificación como de prefill. La instalación con un solo comando y el servicio directo de modelos lo hacen accesible para desarrolladores que desean poner en marcha rápidamente IA local sin una configuración compleja. La integración con agentes de codificación es una característica práctica para quienes construyen herramientas de desarrollo privadas y sin conexión. Si bien la herramienta está claramente optimizada para Apple Silicon, su enfoque en la ejecución local y la privacidad se alinea bien con las tendencias actuales en IA periférica. La comunidad activa en Discord y los informes técnicos disponibles sugieren un proyecto bien respaldado, aunque no se proporciona retroalimentación de usuarios reales más allá de los benchmarks en el sitio.

Frequently Asked Questions

¿Qué es BaseRT?
BaseRT es un entorno de ejecución de alto rendimiento para modelos de lenguaje grandes (LLM), optimizado para Apple Silicon. Te permite instalar y ejecutar estos modelos localmente en tu dispositivo con un solo comando.
¿Qué dispositivos Apple son compatibles?
BaseRT es compatible con todas las Mac con Apple Silicon, incluyendo los chips M1, M2, M3 y versiones posteriores. No funciona en Mac con procesadores Intel.
¿Cómo instalo BaseRT?
La instalación es muy sencilla: solo necesitas abrir la Terminal y ejecutar el script de instalación proporcionado en el repositorio oficial de BaseCompute. No se requiere configuración compleja.
¿BaseRT es gratuito?
Sí, BaseRT es gratuito y de código abierto. Puedes descargarlo y usarlo sin necesidad de suscripciones ni tarifas de licencia.
¿Qué modelos puedo ejecutar con BaseRT?
BaseRT admite una amplia variedad de modelos de lenguaje grandes de código abierto, como LLaMA, Mistral y Phi, todos optimizados para inferencia local en Apple Silicon.
¿BaseRT requiere conexión a internet?
No, después de la instalación inicial y la descarga del modelo, BaseRT funciona completamente sin conexión, lo que garantiza privacidad y baja latencia.

BaseRT - AI Tool Detail

BaseRT de BaseCompute es el runtime para LLM más rápido en Apple Silicon. Instalación con un solo comando y ejecución local de modelos directamente en tu dispositivo.

Category：Herramienta de implementación de formación

Visit Link：https://www.basecompute.co/getbasert

Tags：Apple Silicon、LLM runtime、inferencia local、BaseCompute、IA en macOS