Thiết kế Big Data cho hệ thống hàng chục triệu user

Khi hệ thống chạm mốc hàng chục triệu user, mọi quyết định kiến trúc đều bị khuếch đại. Dưới đây là vài nguyên tắc mình luôn quay lại.

1. Thiết kế quanh access pattern

Câu hỏi đầu tiên không phải "lưu gì" mà "đọc/ghi thế nào, tần suất bao nhiêu". Access pattern quyết định storage engine, partition key, và cách denormalize.

2. Tách ghi và đọc

Pipeline ingest tối ưu cho throughput; lớp serving tối ưu cho latency. Đừng ép một hệ thống làm tốt cả hai.

3. Partition là sống còn

Sai partition key ở quy mô lớn = hotspot, skew, và những đêm trực không ngủ. Chọn key phân tán đều và khớp access pattern.

4. Idempotency mặc định

Ở quy mô này, retry là chuyện thường ngày. Mọi bước pipeline phải chịu được chạy lại mà không nhân đôi dữ liệu.

5. Quan sát được từ ngày đầu

Metric, lineage, alert không phải thứ thêm sau. Bạn không thể vận hành cái mình không nhìn thấy.

Quy mô lớn không tha thứ cho thiết kế cẩu thả — nhưng thưởng rất hậu cho thiết kế đúng.