BaseRT

BaseRT: De Krachtigste en Snelste Runtime voor Apple Silicon

In het snel evoluerende landschap van kunstmatige intelligentie is snelheid en efficiëntie op lokale hardware cruciaal. BaseRT is ontwikkeld om aan deze behoefte te voldoen als de snelste runtime die specifiek is geoptimaliseerd voor Apple Silicon. Of u nu een ontwikkelaar bent die werkt met lokale taalmodellen of een enterprise-gebruiker die privacy en snelheid prioriteert, BaseRT biedt de prestaties die nodig zijn om AI-taken moeiteloos uit te voeren.

Wat is BaseRT?

BaseRT is een hoogwaardige runtime-omgeving die speciaal is ontworpen om het volledige potentieel van de Apple Silicon-architectuur te benutten. Waar traditionele runtimes vaak moeite hebben om de hardware-acceleratie van Mac-systemen volledig te gebruiken, is BaseRT vanaf de grond opgebouwd om superieure verwerkingssnelheden te bieden voor open-source AI-modellen.

Met BaseRT kunnen gebruikers modellen zoals Llama, Qwen en Gemma lokaal draaien met snelheden die voorheen onbereikbaar waren. Het platform richt zich op het minimaliseren van latentie en het maximaliseren van de token-doorvoer, waardoor het de ideale keuze is voor veeleisende toepassingen.

Belangrijkste Kenmerken van BaseRT

De kracht van BaseRT zit in de technische superioriteit en de focus op gebruiksvriendelijkheid. Hieronder volgen de belangrijkste kenmerken die BaseRT onderscheiden van de concurrentie:

• Ongeëvenaarde Snelheid: BaseRT is aanzienlijk sneller dan populaire alternatieven zoals MLX en llama.cpp.
• Optimale Prefill-prestaties: Met verbeteringen tot wel 6.4x ten opzichte van llama.cpp op de prefill-fase, blinkt BaseRT uit in het snel verwerken van grote hoeveelheden invoertekst.
• Efficiënte Decode: Zelfs tijdens de generatiefase (decode) biedt BaseRT tot 1.33x hogere snelheden, wat resulteert in een vloeiendere tekstgeneratie.
• Privacy en Veiligheid: Omdat BaseRT lokaal op uw apparaat draait, verlaat er geen data uw machine. Er zijn geen API-keys nodig en uw privacy is volledig gewaarborgd.
• Brede Modelondersteuning: BaseRT ondersteunt een breed scala aan moderne AI-modellen, van Llama 3.2 tot Gemma 4 en Mistral.

Benchmarks: BaseRT vs. De Concurrentie

Prestatiecijfers vertellen het ware verhaal van de dominantie van BaseRT. Getest op de Apple M5 Pro chip, laten de benchmarks zien dat BaseRT consequent beter presteert dan MLX en llama.cpp in verschillende scenario's.

Decode Prestaties (Tokens per seconde - tg128)

| Model | BaseRT | MLX | Llama.cpp | | :--- | :--- | :--- | :--- | | Qwen3 0.6B · Q4 | 531 | 398 (+33%) | 386 (+37%) | | Llama 3.2 1B · Q4 | 342 | 298 (+15%) | 267 (+28%) | | Llama 3.2 3B · Q4 | 137 | 131 (+5%) | 120 (+14%) |

Prefill Prestaties (Tokens per seconde)

In de prefill-fase, waar de context van de prompt wordt geanalyseerd, toont BaseRT zijn ware kracht:

• Qwen3 30B-A3B (pp128 · Q4): BaseRT behaalt 2.478 tokens/sec, wat 288% sneller is dan MLX (639) en 94% sneller dan llama.cpp (1.280).
• Gemma 4 E2B (pp2048 · Q8): BaseRT bereikt een indrukwekkende snelheid van 16.264 tokens/sec, wat 32% sneller is dan MLX en maar liefst 539% sneller dan llama.cpp (2.547).

Hoe Gebruik je BaseRT?

Het installeren en in gebruik nemen van BaseRT is uiterst eenvoudig gemaakt via de command-line interface. Volg deze stappen om direct aan de slag te gaan:

1. Installatie

Gebruik het volgende commando om BaseRT op uw Apple Silicon-systeem te installeren:

curl -LsSf https://basecompute.co/install.sh | sh

2. Een Model Serveren

Zodra BaseRT is geïnstalleerd, kunt u eenvoudig een model naar keuze serveren. Bijvoorbeeld, om Gemma 4 te laden:

basert serve basecompute/gemma-4-E4B-it

3. Integratie met Coding Agents

Om BaseRT te gebruiken met een lokale coding agent, installeert u de benodigde plugin:

pi install git:github.com/basecompute/pi-basert

Start vervolgens de applicatie met:

pi

Gebruiksscenario: Lokale Coding Agents

Een van de meest krachtige toepassingen van BaseRT is het draaien van een lokale coding agent. Door een model te serveren met BaseRT en uw programmeer-assistent hiernaar te verwijzen, houdt u het volledige ontwikkelproces op uw eigen machine.

Dit heeft drie grote voordelen:

1. Geen latentie: Geen vertraging door netwerkverkeer naar externe API's.
2. Kostenbesparing: U hoeft niet te betalen voor dure API-tokens.
3. Data-soevereiniteit: Uw broncode en gevoelige bedrijfsgegevens blijven lokaal en veilig op uw eigen hardware.

Ondersteunde Modellen

BaseRT streeft naar compatibiliteit met de meest geavanceerde open-source modellen die beschikbaar zijn. De huidige lijst met ondersteunde modellen omvat:

• Qwen Familie: Qwen3, Qwen3.5, Qwen3.6
• Meta Llama: Llama 3.1, Llama 3.2
• Google Gemma: Gemma 3, Gemma 4
• Mistral AI: Mistral
• Microsoft: Phi-3
• Nomic: Nomic BERT

Veelgestelde Vragen (FAQ)

V: Is BaseRT alleen beschikbaar voor Apple Silicon? A: Ja, BaseRT is specifiek geoptimaliseerd voor de architectuur van Apple Silicon (zoals de M1, M2, M3, M4 en M5 chips) om de hoogst mogelijke prestaties te garanderen.

V: Hoe verhoudt BaseRT zich tot llama.cpp? A: BaseRT is aanzienlijk sneller, vooral in de prefill-fase (tot 6.4x sneller) en de decode-fase (tot 1.33x sneller) vergeleken met llama.cpp.

V: Heb ik een internetverbinding nodig om BaseRT te gebruiken? A: Alleen voor de initiële installatie en het downloaden van modellen. Eenmaal geïnstalleerd, werkt BaseRT volledig offline, zonder dat er data naar de cloud wordt verzonden.

V: Waar is het team achter BaseRT gevestigd? A: Het team van RuntimeResearch dat BaseRT ontwikkelt, is gevestigd in Melbourne en Berlijn.

V: Waar kan ik hulp krijgen bij technische problemen? A: De community van technici die bouwen op on-device AI en open-source modellen is zeer actief op Discord. U kunt daar terecht voor ondersteuning en discussies over BaseRT.