Ollama v0.19

Ollama: Apple Silicon에서 MLX로 가속화된 로컬 AI의 혁신

Ollama가 Apple Silicon 사용자를 위해 획기적인 성능 업데이트를 발표했습니다. 이제 Ollama는 Apple의 머신러닝 프레임워크인 MLX를 기반으로 작동하여, Mac 사용자들에게 이전과는 비교할 수 없는 압도적인 속도와 효율성을 제공합니다. 이번 업데이트를 통해 Ollama는 단순한 모델 실행 도구를 넘어, 고성능 코딩 에이전트와 개인 비서를 구동하는 핵심 엔진으로 자리매김했습니다.

What's Ollama?

Ollama는 로컬 환경에서 대규모 언어 모델(LLM)을 간편하게 설치하고 실행할 수 있도록 돕는 오픈 소스 프레임워크입니다. 특히 이번 0.19 프리뷰 버전부터는 Apple Silicon의 통합 메모리 아키텍처를 최대한 활용하기 위해 Apple MLX를 탑재했습니다.

이로 인해 Ollama는 Apple의 최신 M5, M5 Pro, M5 Max 칩에 내장된 GPU 및 Neural Accelerator를 완벽하게 제어할 수 있게 되었습니다. 사용자는 클라우드에 의존하지 않고도 자신의 Mac에서 강력한 AI 모델을 최고 속도로 구동할 수 있습니다.

Ollama의 주요 기능 (Features)

1. MLX 기반의 압도적 성능 향상

Ollama는 이제 Apple의 MLX 프레임워크를 통해 하드웨어 가속을 실현합니다. 기존 Ollama 0.18 버전과 비교했을 때 비약적인 속도 차이를 보여줍니다:

• Prefill 성능: 초당 최대 1810~1851 토큰 처리 (기존 1154 토큰/s 대비 대폭 향상)
• Decode 성능: 초당 최대 112~134 토큰 생성 (기존 58 토큰/s 대비 2배 이상 향상)
• 최신 칩 최적화: Apple M5 시리즈의 GPU 가속기를 활용하여 첫 토큰 생성 시간(TTFT)과 초당 토큰 생성 속도를 모두 단축했습니다.

2. NVFP4 포맷 지원 및 품질 향상

Ollama는 NVIDIA의 NVFP4(NVIDIA Floating Point 4) 포맷을 지원합니다. 이 기능의 장점은 다음과 같습니다:

• 정확도 유지: 모델의 정확도를 유지하면서 메모리 대역폭과 저장 공간 요구 사항을 대폭 줄입니다.
• 운영 환경과의 동등성: 실제 프로덕션 환경에서 사용되는 것과 동일한 품질의 결과를 로컬 Ollama 환경에서 얻을 수 있습니다.
• 최적화 모델 활용: NVIDIA 모델 옵티마이저로 최적화된 모델을 Ollama에서 직접 실행할 수 있는 길이 열렸습니다.

3. 향상된 지능형 캐싱 시스템

에이전트 작업 및 코딩 보조의 효율성을 높이기 위해 Ollama의 캐시 시스템이 업그레이드되었습니다:

• 메모리 점유율 감소: 대화 간 캐시 재사용을 통해 메모리 사용량을 낮췄습니다.
• 지능형 체크포인트: 프롬프트의 중요한 지점에 캐시 스냅샷을 저장하여 처리 시간을 단축합니다.
• 스마트한 캐시 제거: 공유 접두사(Shared Prefixes)를 더 오래 유지하여 효율적인 컨텍스트 관리가 가능합니다.

Ollama 활용 사례 (Use Case)

Ollama는 특히 복잡하고 빠른 응답이 필요한 다음 작업에서 탁월한 능력을 발휘합니다:

• 코딩 에이전트(Coding Agents): Claude Code, OpenCode, Codex, Pi와 같은 도구와 결합하여 실시간 코드 생성 및 수정을 지원합니다.
• 개인 비서(Personal Assistants): OpenClaw와 같은 시스템에서 훨씬 빠른 응답 속도로 개인화된 AI 서비스를 제공합니다.
• 로컬 워크플로우 가속: 외부 서버 연결 없이 로컬에서 고성능 모델(Qwen3.5-35B 등)을 구동하여 데이터 보안과 속도를 동시에 잡을 수 있습니다.

Ollama 사용 방법 (How to Use)

Ollama 0.19 버전을 통해 최적화된 모델을 실행하는 방법은 매우 간단합니다. (단, 32GB 이상의 통합 메모리를 갖춘 Mac이 필요합니다.)

1. Claude Code 실행

ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4

2. OpenClaw 실행

ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4

3. 모델과 직접 대화하기

ollama run qwen3.5:35b-a3b-coding-nvfp4

자주 묻는 질문 (FAQ)

Q: 이번 업데이트의 핵심인 MLX란 무엇인가요? A: MLX는 Apple Silicon에서 머신러닝 연구를 위해 설계된 효율적이고 유연한 프레임워크입니다. Ollama는 이를 통해 Mac 하드웨어의 성능을 극한으로 끌어올립니다.

Q: NVFP4 포맷을 사용하면 어떤 장점이 있나요? A: 모델의 정확도를 손상시키지 않으면서도 메모리 사용량을 줄여, 더 큰 모델을 더 적은 리소스로 실행할 수 있게 해줍니다.

Q: 사용 가능한 하드웨어 사양에 제한이 있나요? A: MLX 기반의 최신 성능을 온전히 누리기 위해서는 32GB 이상의 통합 메모리를 탑재한 Apple Silicon Mac을 권장합니다.

Q: 내가 직접 파인튜닝한 커스텀 모델도 지원하나요? A: 현재 지원되는 아키텍처 내에서는 가능하며, 향후 커스텀 모델을 더 쉽게 가져올 수 있는 기능을 추가할 예정입니다.

---

Ollama는 지속적으로 지원 모델 아키텍처를 확장하고 있으며, GGML, llama.cpp, Alibaba Qwen 팀 및 NVIDIA와의 협력을 통해 로컬 AI 생태계를 선도하고 있습니다. 지금 바로 Ollama를 다운로드하여 Apple Silicon의 진정한 성능을 경험해 보세요.