Train AI Local: Xu Hướng Và Công Cụ Thực Chiến 2024

Hỏi thẳng: bạn có đang trả tiền cho API của OpenAI hoặc Google mỗi tháng không? Nếu có, và nếu workload của bạn không quá phức tạp, thì rất có thể bạn đang bỏ tiền ra mua thứ mình hoàn toàn có thể tự làm — chạy AI ngay trên máy tính của mình, không cần internet, không cần subscription, không cần lo lộ dữ liệu.

Tại Sao AI Local Đang Trở Thành Xu Hướng Không Thể Bỏ Qua

Vài năm trước, việc chạy một mô hình AI decent trên máy cá nhân gần như là chuyện viễn tưởng. Nhưng từ khi Meta phát hành Llama (và sau đó là Llama 2, Llama 3), cùng với hàng loạt model open-source khác như Mistral, Phi-3, Gemma — cục diện thay đổi hoàn toàn.

Ba lý do chính khiến AI local bùng nổ:

1. Chi phí: Gọi GPT-4o cho 10 triệu token một tháng? Tốn không ít tiền. Dùng Llama 3.1 8B chạy local? Miễn phí hoàn toàn, chỉ tốn điện. Với startup hay indie developer, đây là sự khác biệt giữa survive và scale.

2. Bảo mật & Privacy: Data của khách hàng, code nội bộ, tài liệu nhạy cảm — gửi hết lên cloud là rủi ro compliance thực sự, đặc biệt với các công ty fintech, healthcare, hay dự án có NDA. Local inference giải quyết bài toán này triệt để.

3. Latency & Offline: Không phụ thuộc internet, không bị rate limit, không lo downtime của provider. Với embedded AI hoặc edge deployment, đây là điều kiện bắt buộc.

Các Công Cụ Đang Dẫn Đầu Ecosystem AI Local

Mình đã thử qua kha khá tool. Dưới đây là những cái thực sự đáng đầu tư thời gian:

Ollama — Cái này mình dùng nhiều nhất. Giao diện CLI đơn giản như chạy Docker: ollama pull llama3.1 rồi ollama run llama3.1 là xong. Hỗ trợ tốt trên Mac (M-series chip), Linux, Windows. Tích hợp REST API nên gắn vào app rất dễ. Model library khổng lồ, community active.

LM Studio — Phù hợp cho người muốn GUI, không thích command line. Drag-and-drop model từ HuggingFace, inference trực tiếp, có built-in chat interface. Tốt cho prototyping nhanh hoặc demo cho stakeholder non-technical.

llama.cpp — Backend thuần C++, hiệu năng cực tốt. Nếu bạn muốn nhúng vào ứng dụng production hoặc cần custom optimization, đây là lựa chọn. Hơi khó setup hơn, nhưng reward xứng đáng về performance.

Jan.ai — Open-source, cross-platform, giao diện sạch. Tốt cho daily use nếu bạn muốn một "ChatGPT" chạy offline hoàn toàn.

Text Generation WebUI (oobabooga) — Cái này mạnh cho power user muốn experiment: nhiều sampling parameters, hỗ trợ nhiều model format (GGUF, AWQ, GPTQ). Nhưng setup phức tạp hơn, không phải tool cho người mới.

Bắt Đầu Với Ollama: Hướng Dẫn Từng Bước

Ollama là điểm vào dễ nhất. Mình sẽ đi qua flow từ cài đặt đến tích hợp vào code thực tế.

Cài đặt:

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows: tải installer từ https://ollama.com/download

Kéo và chạy model:

# Pull Llama 3.1 8B (khoảng 4.7GB)
ollama pull llama3.1

# Chạy interactive chat
ollama run llama3.1

# Hoặc one-shot prompt
ollama run llama3.1 "Giải thích RAG architecture trong 3 câu"

Gọi qua REST API (tích hợp vào app):

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "Viết unit test cho function sort_users()",
  "stream": false
}'

Dùng OpenAI-compatible endpoint:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # bất kỳ string nào cũng được
)

response = client.chat.completions.create(
    model="llama3.1",
    messages=[{"role": "user", "content": "Review code này cho mình"}]
)
print(response.choices[0].message.content)

Cái hay là Ollama expose OpenAI-compatible API, nghĩa là bạn có thể swap provider chỉ bằng cách đổi base_url — code không cần thay đổi gì khác.

Tip xương máu: Với Mac M-series, Ollama tận dụng Metal GPU rất tốt. Một model 7B chạy trên M2 Pro nhanh hơn bạn nghĩ — khoảng 30-50 tokens/giây, đủ dùng cho production với low-to-medium throughput.

Fine-Tuning Local: Khi Nào Cần Và Dùng Tool Gì

Chạy inference local là một chuyện. Fine-tuning để customize model cho domain riêng là câu chuyện khác. Không phải lúc nào cũng cần fine-tune — RAG (Retrieval Augmented Generation) giải quyết được 80% bài toán "model không biết về dữ liệu của tôi" mà không tốn công train lại.

Nhưng nếu bạn thực sự cần fine-tune (ví dụ: muốn model học style viết code của team, hoặc domain-specific reasoning), hai tool phổ biến nhất:

Axolotl — Framework fine-tuning mạnh nhất hiện tại cho local GPU. Hỗ trợ LoRA, QLoRA (fine-tune model lớn với GPU nhỏ hơn), full fine-tuning. Config qua YAML file, dễ reproduce. Cần GPU NVIDIA (CUDA) hoặc AMD (ROCm).

Unsloth — Nhanh hơn và ít VRAM hơn Axolotl nhờ kernel optimization tự viết. Nếu bạn có GPU consumer như RTX 3090/4090, Unsloth giúp fine-tune model 7B-13B khả thi hơn nhiều.

Thực tế: fine-tune một model Llama 3.1 8B với QLoRA trên RTX 4090 với dataset vài nghìn sample tốn khoảng 30-60 phút. Không phải chuyện xa vời nữa.

Ổ Gà Thường Gặp Khi Mới Bắt Đầu

Chọn model quá lớn: Nhiều người mới pull thẳng model 70B rồi thắc mắc tại sao máy đơ. Rule of thumb: model 7B cần khoảng 8GB RAM (quantized 4-bit), model 13B cần 16GB, 70B cần 48GB+. Bắt đầu với model nhỏ, scale up khi cần.

Không quantize model: Full precision (FP16) ngốn VRAM kinh khủng. Với GGUF format và quantization Q4_K_M hoặc Q5_K_M, chất lượng giảm không đáng kể nhưng VRAM giảm 4-8 lần. Ollama tự handle việc này, nhưng nếu dùng llama.cpp trực tiếp, cần tự chọn quantization level.

Context window overflow: Mỗi model có giới hạn context window (số token có thể xử lý một lúc). Nhét quá nhiều text vào prompt → kết quả tệ hoặc crash. Với Ollama, set num_ctx parameter phù hợp với usecase.

Không check hardware compatibility: llama.cpp và Ollama có backend khác nhau (CUDA, Metal, CPU). Chạy inference trên CPU thay vì GPU là sai lầm phổ biến → chậm gấp 10-20 lần. Check log sau khi start để confirm GPU đang được dùng.

FAQ

Q: Máy mình không có GPU NVIDIA có dùng được không?

A: Hoàn toàn được. Ollama chạy tốt trên Mac với Apple Silicon (M1/M2/M3) nhờ Metal. Trên Windows/Linux không có NVIDIA GPU, bạn vẫn dùng CPU được — chỉ là chậm hơn. Với CPU hiện đại (Ryzen 7000 hoặc Intel 13th gen+), model 7B vẫn đạt 5-15 tokens/giây, đủ dùng cho nhiều tác vụ.

Q: Ollama vs LM Studio: dùng cái nào?

A: Phụ thuộc usecase. Ollama tốt hơn cho developer, tích hợp vào app, automation. LM Studio tốt hơn cho người muốn GUI đẹp, test nhanh, không cần code. Nhiều người dùng cả hai song song — LM Studio để experiment, Ollama cho production integration.

Q: Fine-tune local có thực sự cần thiết không hay dùng RAG là đủ?

A: 80% trường hợp RAG là đủ và nên làm trước. RAG rẻ hơn, nhanh hơn, dễ update khi data thay đổi. Fine-tuning chỉ nên làm khi bạn cần model thay đổi hành vi/style cốt lõi (không phải thêm knowledge), hoặc muốn model nhỏ mà hiệu năng cao trên task cụ thể.

Bức Tranh Đang Thay Đổi Nhanh Hơn Bạn Nghĩ

Cách đây 2 năm, chạy một LLM decent trên laptop là pipe dream. Giờ mình đang dùng Ollama với Llama 3.1 8B như một tool hàng ngày — review code, draft email kỹ thuật, brainstorm kiến trúc — hoàn toàn offline, không tốn một đồng API nào.

Ecosystem AI local vẫn đang phát triển rất nhanh: model mới ra mỗi tuần, tool ngày càng polish hơn, hardware ngày càng capable hơn với giá rẻ hơn. Nếu bạn chưa thử, điểm bắt đầu tốt nhất là cài Ollama ngay hôm nay, kéo một model nhỏ, và chạy thử. Mất không quá 15 phút — và khả năng cao là bạn sẽ tự hỏi tại sao mình không làm điều này sớm hơn.