BaseRT

BaseRT : Le Runtime le Plus Rapide pour Apple Silicon

Dans le paysage technologique actuel de l'intelligence artificielle, la performance et la confidentialité sont devenues des priorités absolues pour les développeurs. BaseRT se positionne comme la solution de pointe, s'affirmant comme le runtime le plus rapide disponible pour l'architecture Apple Silicon. Que vous soyez un ingénieur travaillant sur l'IA on-device ou un développeur cherchant à optimiser ses workflows locaux, BaseRT offre une efficacité inégalée sans compromis.

Qu'est-ce que BaseRT ?

BaseRT est un environnement d'exécution (runtime) de haute performance spécifiquement optimisé pour le silicium d'Apple (Apple Silicon). Son objectif principal est de permettre l'exécution de modèles de langage étendus (LLM) et de modèles d'IA en local avec une rapidité qui surpasse les standards actuels de l'industrie. En utilisant BaseRT, les utilisateurs peuvent faire tourner des modèles complexes directement sur leurs machines, éliminant ainsi le besoin de dépendre de serveurs tiers ou de clés API coûteuses.

Une architecture pensée pour la vitesse

Contrairement à d'autres solutions, BaseRT est conçu pour tirer chaque once de puissance des puces Apple, comme le processeur Apple M5 Pro. Il optimise les phases critiques de l'inférence, à savoir le Prefill et le Decode, pour garantir une réactivité instantanée, même avec des modèles gourmands en ressources.

Caractéristiques de BaseRT

BaseRT ne se contente pas d'être une alternative ; il redéfinit les attentes en matière de performance pour l'IA locale.

Des performances records (Benchmarks)

Les tests de performance montrent que BaseRT est significativement plus rapide que MLX et llama.cpp. Sur les phases de Prefill, BaseRT atteint des vitesses allant jusqu'à 6,4x par rapport à llama.cpp et 3,9x par rapport à MLX. Pour la phase de Decode, l'amélioration peut atteindre 1,33x.

Résultats de Benchmark (Tokens / Sec sur Apple M5 Pro)

Voici un aperçu détaillé des capacités de BaseRT comparées aux autres solutions du marché :

Mode DECODE (TG128)

• QWEN3 0.6B · Q4 :
  • BaseRT : 531
  • MLX : 398 (+33% pour BaseRT)
  • LLAMA.CPP : 386 (+37% pour BaseRT)
• LLAMA 3.2 1B · Q4 :
  • BaseRT : 342
  • MLX : 298 (+15% pour BaseRT)
  • LLAMA.CPP : 267 (+28% pour BaseRT)
• LLAMA 3.2 3B · Q4 :
  • BaseRT : 137
  • MLX : 131 (+5% pour BaseRT)
  • LLAMA.CPP : 120 (+14% pour BaseRT)

Mode PREFILL

• QWEN3 30B-A3B · PP128 · Q4 :
  • BaseRT : 2 478
  • MLX : 639 (+288% pour BaseRT)
  • LLAMA.CPP : 1 280 (+94% pour BaseRT)
• GEMMA 4 E2B · PP2048 · Q8 :
  • BaseRT : 16 264
  • MLX : 12 355 (+32% pour BaseRT)
  • LLAMA.CPP : 2 547 (+539% pour BaseRT)

Modèles pris en charge

BaseRT offre une compatibilité étendue avec les modèles les plus populaires de la communauté open-source, notamment :

• Qwen : Versions 3, 3.5 et 3.6
• Llama : Versions 3.1 et 3.2
• Gemma : Versions 3 et 4
• Mistral
• Phi-3
• Nomic BERT

Cas d'utilisation : Agents de Codage Locaux

L'une des applications les plus puissantes de BaseRT réside dans le déploiement d'agents de codage locaux (Local Coding Agents).

Grâce à BaseRT, vous pouvez servir un modèle localement et y connecter votre agent de développement. Cela présente des avantages majeurs :

• Confidentialité totale : Aucune donnée ne quitte votre appareil. Votre code source reste strictement privé.
• Zéro dépendance : Pas besoin de clés API ou de connexion internet constante pour faire fonctionner votre assistant de code.
• Vitesse d'exécution : Avec la puissance du runtime BaseRT, les suggestions de code et les analyses sont quasi instantanées.

"Servez un modèle avec BaseRT, pointez votre agent vers celui-ci, et gardez tout sur votre machine. Pas de clés API, aucune donnée ne quitte votre appareil."

Comment utiliser BaseRT ?

L'installation et la mise en route de BaseRT sont conçues pour être simples et rapides via l'interface en ligne de commande.

1. Installation

Pour installer BaseRT sur votre système, utilisez la commande suivante :

$ curl -LsSf https://basecompute.co/install.sh | sh

2. Servir un modèle

Une fois installé, vous pouvez lancer un modèle (par exemple Gemma 4) avec la commande suivante :

basert serve basecompute/gemma-4-E4B-it

3. Installer le plugin pour agent de codage

Pour intégrer BaseRT à votre environnement de développement :

pi install git:github.com/basecompute/pi-basert

4. Lancement final

Il ne vous reste plus qu'à lancer l'outil :

pi

FAQ (Foire Aux Questions)

Q : BaseRT est-il vraiment plus rapide que MLX ? A : Oui, selon les benchmarks effectués sur Apple M5 Pro, BaseRT surpasse MLX de manière significative, notamment sur le Prefill avec des gains allant jusqu'à +288% sur certains modèles comme Qwen3.

Q : Quels sont les modèles supportés par BaseRT ? A : BaseRT supporte une large gamme de modèles, incluant la famille Llama (3.1, 3.2), Gemma (3, 4), Qwen (3, 3.5, 3.6), ainsi que Mistral, Phi-3 et Nomic BERT.

Q : Mes données sont-elles sécurisées avec BaseRT ? A : Absolument. BaseRT est conçu pour l'exécution locale. Vos données et votre code restent sur votre machine, sans aucun transfert vers des serveurs externes.

Q : Comment rejoindre la communauté BaseRT ? A : Vous pouvez rejoindre les ingénieurs et développeurs sur le serveur Discord officiel de BaseRT pour discuter de l'IA on-device et des modèles open-source.

Q : Où est basée l'équipe de BaseRT ? A : L'équipe de recherche et de développement de BaseRT est située à Melbourne et Berlin.