Перейти к содержимому

Как запустить LLM на Mac Mini M4 (Llama, Mistral, Phi)

Архитектура унифицированной памяти Apple Silicon делает Mac Mini M4 одной из наиболее экономичных платформ для локального запуска больших языковых моделей. Это руководство охватывает Ollama, llama.cpp и MLX с реальными бенчмарками и практическими примерами кода.

AI и машинное обучение 20 мин чтения Обновлено в октябре 2026 Средний

Почему Mac Mini M4 для LLM?

Mac Mini M4 уникально подходит для запуска больших языковых моделей благодаря архитектуре Apple Silicon. В отличие от традиционных GPU-серверов, где VRAM ограничивает размер модели, унифицированная память M4 позволяет CPU, GPU и Neural Engine совместно использовать один пул памяти. Это значит, что Mac Mini с 24 ГБ может загружать модели, для которых потребовался бы дорогой GPU с 24 ГБ VRAM.

Архитектура унифицированной памяти

В отличие от GPU NVIDIA с отдельной VRAM, унифицированная память M4 позволяет GPU обращаться ко всей оперативной памяти. Mac Mini с 24 ГБ фактически имеет 24 ГБ «VRAM» для загрузки моделей без узкого места PCI-E.

Neural Engine

16-ядерный Neural Engine M4 обеспечивает до 38 TOPS производительности ML. CoreML использует его для ускорения локальных моделей, а Ollama, llama.cpp и MLX запускают LLM на GPU M4 через Metal.

Энергоэффективность

Mac Mini M4 потребляет всего 5-15 Вт при типичной нагрузке инференса LLM, по сравнению с 300-450 Вт для NVIDIA A100. Это приводит к значительно меньшим затратам на хостинг и отсутствию необходимости в специальном охлаждении.

Экономичность

От $85/мес. (USD, без налогов) за выделенный Mac Mini M4 с 16 ГБ вы получаете предсказуемые цены без потокенных API-расходов. Запускайте неограниченные запросы инференса 24/7 за долю стоимости облачных GPU.

Ключевой вывод: Для задач инференса (не обучения) Mac Mini M4 предлагает лучшее соотношение производительности к стоимости в индустрии. Вы получаете выделенное оборудование без «шумных соседей», без потокенной оплаты и пропускную способность памяти Apple Silicon до 120 ГБ/с.

Сравнение фреймворков LLM

Три фреймворка доминируют в экосистеме LLM на Apple Silicon. Каждый имеет свои сильные стороны в зависимости от вашего сценария использования.

Сравнение фреймворков LLM
Ollama llama.cpp MLX
Простота настройки Очень просто Средне Просто
Поддержка Metal GPU Да (авто) Да (флаг) Да (нативно)
API-сервер Встроенный Встроенный Встроенный (mlx_lm.server)
Формат моделей GGUF (автозагрузка) GGUF SafeTensors / MLX
Производительность Хорошая Лучшая для GGUF Лучшая для Apple Silicon
Библиотека моделей Курируемая (ollama.com) HuggingFace GGUF HuggingFace MLX
Язык Go (CLI/API) C++ (CLI/API) Python
Лучше всего для Быстрого развёртывания, API-сервинга Макс. контроля, кастомных сборок Python ML-пайплайнов, исследований

Настройка с Ollama

Ollama, самый простой способ начать работу с LLM на Mac Mini M4. Он управляет загрузкой моделей, квантизацией и API-сервингом одним бинарным файлом.

Шаг 1: Установка Ollama

# Install Ollama with Homebrew
# (or download the macOS app from ollama.com, which starts the server for you)
brew install ollama

# Start the server and leave it running (Step 6 starts it automatically)
ollama serve

# In a second terminal, verify installation
ollama --version

Шаг 2: Загрузка моделей

# Download Llama 3 8B (4.7GB, fits 16GB RAM)
ollama pull llama3:8b

# Download Mistral 7B (4.1GB)
ollama pull mistral:7b

# Download Phi-3 Mini (2.3GB, great for constrained setups)
ollama pull phi3:mini

# Download Llama 3 70B (requires 48GB+ RAM)
ollama pull llama3:70b

# List downloaded models
ollama list
# NAME            SIZE     MODIFIED
# llama3:8b       4.7 GB   2 minutes ago
# mistral:7b      4.1 GB   5 minutes ago
# phi3:mini       2.3 GB   8 minutes ago

Шаг 3: Запуск интерактивного чата

# Start an interactive chat session
ollama run llama3:8b

# Example interaction:
# >>> What is the capital of France?
# The capital of France is Paris. It is the largest city in France
# and serves as the country's political, economic, and cultural center.

Шаг 4: Использование как API

Ollama автоматически запускает REST API сервер на порту 11434. Вы можете обращаться к нему из любого приложения, используя OpenAI-совместимый API.

# The Ollama server from Step 1 listens on localhost:11434

# Query using curl (OpenAI-compatible endpoint)
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3:8b",
    "messages": [
      {"role": "system", "content": "You are a helpful coding assistant."},
      {"role": "user", "content": "Write a Python function to calculate fibonacci numbers."}
    ],
    "temperature": 0.7,
    "max_tokens": 500
  }'

# Native Ollama API endpoint
curl http://localhost:11434/api/generate \
  -d '{
    "model": "llama3:8b",
    "prompt": "Explain quantum computing in 3 sentences.",
    "stream": false
  }'

Шаг 5: Использование из Python

# pip install openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # Ollama doesn't require an API key
)

response = client.chat.completions.create(
    model="llama3:8b",
    messages=[
        {"role": "system", "content": "You are a senior Python developer."},
        {"role": "user", "content": "Write a FastAPI endpoint for user registration."}
    ],
    temperature=0.7,
    max_tokens=1000
)

print(response.choices[0].message.content)

Шаг 6: Запуск Ollama как фоновой службы

# Create a LaunchAgent: Ollama starts with your user session and restarts
# if it crashes (enable automatic login so it also returns after a reboot)
# (Homebrew on Apple Silicon installs ollama in /opt/homebrew/bin; check with: which ollama)
cat <<EOF > ~/Library/LaunchAgents/com.ollama.server.plist
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN"
  "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
    <key>Label</key>
    <string>com.ollama.server</string>
    <key>ProgramArguments</key>
    <array>
        <string>/opt/homebrew/bin/ollama</string>
        <string>serve</string>
    </array>
    <key>EnvironmentVariables</key>
    <dict>
        <key>OLLAMA_HOST</key>
        <string>127.0.0.1:11434</string>
    </dict>
    <key>RunAtLoad</key>
    <true/>
    <key>KeepAlive</key>
    <true/>
</dict>
</plist>
EOF

# First stop the server you started by hand in Step 1 (Ctrl+C in its terminal):
# the service needs port 11434

# Load the service
launchctl load ~/Library/LaunchAgents/com.ollama.server.plist

# Verify it's running
curl http://localhost:11434/api/tags

Настройка с llama.cpp

llama.cpp даёт вам максимальный контроль над параметрами инференса и часто обеспечивает лучшую чистую производительность на Apple Silicon благодаря вручную оптимизированному бэкенду Metal.

Шаг 1: Клонирование и сборка с Metal

# Install dependencies
brew install cmake

# Clone the repository
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp

# Build (Metal GPU acceleration is enabled by default on macOS)
cmake -B build
cmake --build build --config Release -j

# The binaries are in ./build/bin
./build/bin/llama-cli --version

Шаг 2: Загрузка GGUF-моделей

# Install the Hugging Face CLI (hf) for easy downloads
pip install -U huggingface_hub

# Download Llama 3 8B Instruct Q4_K_M (best quality/speed balance)
hf download \
  bartowski/Meta-Llama-3-8B-Instruct-GGUF \
  Meta-Llama-3-8B-Instruct-Q4_K_M.gguf \
  --local-dir ./models

# Download Mistral 7B Q4_K_M
hf download \
  TheBloke/Mistral-7B-Instruct-v0.2-GGUF \
  mistral-7b-instruct-v0.2.Q4_K_M.gguf \
  --local-dir ./models

# Download Phi-3 Mini Q4
hf download \
  microsoft/Phi-3-mini-4k-instruct-gguf \
  Phi-3-mini-4k-instruct-q4.gguf \
  --local-dir ./models

Шаг 3: Запуск инференса

# Run Llama 3 8B with Metal GPU offloading (all layers)
./build/bin/llama-cli \
  -m ./models/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf \
  -ngl 99 \
  -c 4096 \
  -t 8 \
  --temp 0.7 \
  -p "Explain how transformers work in machine learning:"

# Key flags:
# -ngl 99     : Offload all layers to Metal GPU
# -c 4096     : Context window size
# -t 8        : Number of CPU threads (M4 has 10 cores)
# --temp 0.7  : Temperature for sampling

Шаг 4: Запуск API-сервера

# Start OpenAI-compatible API server
./build/bin/llama-server \
  -m ./models/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf \
  -ngl 99 \
  -c 4096 \
  --host 0.0.0.0 \
  --port 8080 \
  --parallel 4

# Test the API
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3-8b",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Настройка с MLX

MLX является собственным фреймворком машинного обучения Apple, разработанным специально для Apple Silicon. Он рассчитан на унифицированную память и работает на CPU и GPU M4, что делает его идеальным для Python-ориентированных ML-рабочих процессов.

Шаг 1: Установка MLX

# Create a virtual environment
python3 -m venv ~/mlx-env
source ~/mlx-env/bin/activate

# Install MLX and the LLM package
pip install mlx mlx-lm

# Verify installation
python3 -c "import mlx.core as mx; print(mx.default_device())"
# Device(gpu, 0)

Шаг 2: Запуск инференса с MLX

# Run Llama 3 8B using mlx-lm CLI
mlx_lm.generate \
  --model mlx-community/Meta-Llama-3-8B-Instruct-4bit \
  --prompt "Write a Python decorator for rate limiting:" \
  --max-tokens 500 \
  --temp 0.7

# Run Mistral 7B
mlx_lm.generate \
  --model mlx-community/Mistral-7B-Instruct-v0.3-4bit \
  --prompt "Explain microservices architecture:" \
  --max-tokens 500

Шаг 3: Интеграция с Python

from mlx_lm import load, generate, stream_generate
from mlx_lm.sample_utils import make_sampler

# Load the model (downloads on first run)
model, tokenizer = load("mlx-community/Meta-Llama-3-8B-Instruct-4bit")

# Sampling settings are passed as a sampler object
sampler = make_sampler(temp=0.7, top_p=0.9)

# Generate text
prompt = "Write a bash script to monitor disk usage and send alerts:"
response = generate(
    model,
    tokenizer,
    prompt=prompt,
    max_tokens=500,
    sampler=sampler
)
print(response)

# Streaming generation: each chunk is a response object with .text
for chunk in stream_generate(
    model, tokenizer,
    prompt="Explain Docker networking:",
    max_tokens=300
):
    print(chunk.text, end="", flush=True)

Шаг 4: Создание простого API с MLX

# pip install fastapi uvicorn mlx-lm
# (mlx-lm also ships an OpenAI-compatible server: mlx_lm.server --model <repo>)
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from mlx_lm import load, stream_generate
import json

app = FastAPI()
model, tokenizer = load("mlx-community/Meta-Llama-3-8B-Instruct-4bit")

@app.post("/v1/completions")
async def completions(request: dict):
    prompt = request.get("prompt", "")
    max_tokens = request.get("max_tokens", 256)

    response = ""
    for chunk in stream_generate(model, tokenizer, prompt=prompt, max_tokens=max_tokens):
        response += chunk.text

    return {"choices": [{"text": response}]}

@app.post("/v1/chat/completions")
async def chat(request: dict):
    messages = request.get("messages", [])
    prompt = tokenizer.apply_chat_template(
        messages, tokenize=False, add_generation_prompt=True
    )

    response = ""
    for chunk in stream_generate(model, tokenizer, prompt=prompt, max_tokens=512):
        response += chunk.text

    return {
        "choices": [{
            "message": {"role": "assistant", "content": response}
        }]
    }

# Run: uvicorn server:app --host 0.0.0.0 --port 8000

Бенчмарки производительности

Реальные бенчмарки, измеренные с помощью Ollama с квантизацией Q4_K_M. Все тесты используют промпт из 512 токенов, генерацию 256 токенов и параметры выборки по умолчанию.

Бенчмарки производительности
Оборудование Модель Токенов/сек Время до первого токена Стоимость/мес.
Mac Mini M4 16GB Llama 3 8B Q4 ~35 tok/s ~180ms $85
Mac Mini M4 16GB Mistral 7B Q4 ~38 tok/s ~160ms $85
Mac Mini M4 24GB Llama 3 13B Q4 ~22 tok/s ~320ms $129
Mac Mini M4 Pro 48GB Llama 3 70B Q4 ~12 tok/s ~850ms $299
RTX 4090 (cloud) Llama 3 8B Q4 ~120 tok/s ~50ms $500+

Цены My Remote Mac: USD, без налогов, за месяц.

Примечание: Хотя GPU NVIDIA предлагают более высокую чистую пропускную способность, Mac Mini M4 обеспечивает отличную скорость генерации токенов для интерактивных задач при значительно меньшей стоимости. При 35 ток/с ответы ощущаются мгновенными для чат-приложений. Реальное преимущество в стоимости: неограниченное использование за $85/мес. (USD, без налогов) vs. потокенная оплата API, которая может легко превысить $500/мес.

Какие модели подходят для какой конфигурации?

Ключевой фактор, унифицированная память. При квантизации Q4 модели используют примерно 0,5-0,6 ГБ на миллиард параметров плюс накладные расходы на контекст и ОС.

Какие модели подходят для какой конфигурации?
Диапазон размеров моделей Примеры моделей Цена/мес.
16 GB 7B - 13B (Q4) Llama 3 8B, Mistral 7B, Phi-3 Mini, Gemma 7B $85
24 GB 13B - 34B (Q4) Llama 3 13B, CodeLlama 34B, Yi 34B $129
48 GB 34B - 70B (Q4) Llama 3 70B, Mixtral 8x7B, DeepSeek 67B $299
64 GB+ 70B+ (Q4/Q6) Llama 3 70B Q6, Mixtral 8x22B, Command-R+ $449

Цены My Remote Mac: USD, без налогов, за месяц.

# Quick formula to estimate memory requirements:
# Memory needed = (Parameters in B * Bits per weight / 8) + context overhead
#
# Example: Llama 3 70B at Q4 quantization
# = (70 * 4 / 8) GB = 35 GB model weights
# + ~4 GB context/overhead
# = ~39 GB total → fits in 48GB Mac Mini M4 Pro
#
# Check current memory usage while running a model:
ollama ps
# NAME          SIZE     PROCESSOR    UNTIL
# llama3:8b     5.1 GB   100% GPU     4 minutes from now

Сценарии использования

Приватный AI-ассистент

Запускайте ассистента в стиле ChatGPT, который хранит все данные на вашем сервере. Никакие данные не покидают вашу инфраструктуру. Идеально для работы с конфиденциальными документами, данными клиентов или проприетарным кодом.

Рекомендуется: Llama 3 8B на 16 ГБ

RAG-пайплайн

Создайте систему Retrieval-Augmented Generation, которая ищет по вашим документам и генерирует ответы. Используйте ChromaDB или Qdrant для эмбеддингов с Ollama для генерации.

Рекомендуется: Mistral 7B на 16 ГБ

Генерация кода

Используйте специализированные модели для программирования, такие как CodeLlama или DeepSeek Coder, для автодополнения, ревью кода и автоматического рефакторинга. Интегрируйте с VS Code или JetBrains через Continue.dev.

Рекомендуется: CodeLlama 34B на 48 ГБ

Генерация контента

Генерируйте маркетинговые тексты, статьи блога, описания продуктов и шаблоны писем в масштабе. Запускайте пакетные задачи ночью без накопления потокенных API-расходов.

Рекомендуется: Llama 3 70B на 48 ГБ

Советы по производительности

Выберите правильную квантизацию

Уровень квантизации значительно влияет как на скорость, так и на качество. Q4_K_M предлагает лучший баланс для большинства задач.

# Quantization levels (from fastest to best quality):
# Q2_K  - Fastest, lowest quality, smallest size
# Q3_K  - Fast, acceptable quality
# Q4_K_M - Best balance of speed and quality (RECOMMENDED)
# Q5_K_M - Slower, better quality
# Q6_K  - Slow, near-original quality
# Q8_0  - Slowest, best quality, largest size
# F16   - Full precision, requires 2x memory

# Example: Download Q4_K_M for best balance
ollama pull llama3:8b-instruct-q4_K_M

Максимизируйте перенос на Metal GPU

Убедитесь, что все слои модели выполняются на GPU для максимальной производительности. Частичный перенос на CPU значительно снижает пропускную способность.

# llama.cpp: offload all layers to GPU
./build/bin/llama-cli -m model.gguf -ngl 99

# Check GPU utilization
sudo powermetrics --samplers gpu_power -n 1 -i 1000

# Monitor memory pressure
memory_pressure
# System-wide memory free percentage: 45%

Оптимизируйте размер батча и контекст

Уменьшение размера контекстного окна освобождает память и может повысить пропускную способность. Используйте ровно столько контекста, сколько нужно вашему приложению.

# Default context is often 4096 or 8192 tokens
# Reduce if you don't need long context.
# Ollama: set it inside an interactive session...
ollama run llama3:8b
# >>> /set parameter num_ctx 2048

# ...or as the default for every model the server loads: add it to the
# EnvironmentVariables dict of ~/Library/LaunchAgents/com.ollama.server.plist
# (Step 6), then reload the service (a variable set in a shell does not
# reach the launchd service, and a second ollama serve would clash on port 11434)
#   <key>OLLAMA_CONTEXT_LENGTH</key>
#   <string>2048</string>
launchctl unload ~/Library/LaunchAgents/com.ollama.server.plist
launchctl load ~/Library/LaunchAgents/com.ollama.server.plist

# For llama.cpp, set context and batch size:
#   -c 2048       Context window
#   -b 512        Batch size for prompt processing
#   --parallel 2  Concurrent request slots
./build/bin/llama-server -m model.gguf -ngl 99 \
  -c 2048 \
  -b 512 \
  --parallel 2

Держите модели загруженными в памяти

Загрузка модели с диска занимает несколько секунд. Держите часто используемые модели в памяти для мгновенных ответов.

# Ollama: set keep-alive to keep model in memory indefinitely
curl http://localhost:11434/api/generate -d '{
  "model": "llama3:8b",
  "keep_alive": -1
}'

# Or make it the server default: add OLLAMA_KEEP_ALIVE to the
# EnvironmentVariables dict of the Step 6 plist, then reload the service
#   <key>OLLAMA_KEEP_ALIVE</key>
#   <string>-1</string>
launchctl unload ~/Library/LaunchAgents/com.ollama.server.plist
launchctl load ~/Library/LaunchAgents/com.ollama.server.plist

# Check which models are loaded
ollama ps

Часто задаваемые вопросы

Можно ли запускать модели уровня ChatGPT на Mac Mini M4?
Да. Модели Llama 3 8B и Mistral 7B обеспечивают качество, сопоставимое с GPT-3.5, для многих задач. Для качества уровня GPT-4 потребуется модель 70B, для которой нужно 48+ ГБ унифицированной памяти (Mac Mini M4 Pro). Опыт отличный для ассистенции в программировании, вопросов-ответов по документам и генерации контента.
Достаточно ли 35 токенов/секунду для чата в реальном времени?
Безусловно. Средняя скорость чтения человека составляет около 4-5 слов в секунду, что соответствует примерно 5-7 токенам в секунду. При 35 ток/с модель генерирует текст в 5-7 раз быстрее, чем человек может его прочитать. Для чат-приложений это ощущается абсолютно мгновенным.
Сколько одновременных пользователей выдержит Mac Mini M4?
С моделью 7B один Mac Mini M4 может обрабатывать 2-4 одновременных запроса с приемлемой латентностью. Для большего количества одновременных подключений можно запустить несколько Mac Mini за балансировщиком нагрузки. Серверы Ollama и llama.cpp поддерживают параллельную очередь запросов.
Можно ли дообучать модели на Mac Mini M4?
Да, с ограничениями. Вы можете дообучать модели 7B с использованием LoRA/QLoRA на устройствах с 16 ГБ с помощью MLX или библиотеки Hugging Face PEFT. Полное дообучение более крупных моделей требует больше памяти. Для production-дообучения моделей 70B+ GPU-серверы более практичны.
Какой фреймворк выбрать: Ollama, llama.cpp или MLX?
Выберите Ollama, если хотите самую быструю настройку и удобный API-сервинг. Выберите llama.cpp для максимального контроля над параметрами инференса и лучшей производительности с GGUF-моделями. Выберите MLX, если вы создаёте Python ML-пайплайны и хотите нативную оптимизацию под Apple Silicon. Многие пользователи начинают с Ollama и переходят на llama.cpp или MLX по мере роста потребностей.

Начните запускать LLM на Apple Silicon

Получите выделенный сервер Mac Mini M4 и запускайте Llama, Mistral или Phi с неограниченным инференсом. От $85/мес. (USD, без налогов).

Нужно больше деталей?

Полная документация: пошаговые инструкции по настройке, справочники по конфигурации и решение проблем.

Открыть документацию →