Cách Phát Hiện Hot Key Redis Real-Time Trong Hệ Thống Microservices
Mục lục
Chào anh em, hôm nay ngồi rảnh nhìn lại cái dashboard Grafana của hệ thống, mình chợt nhớ đến một issue khó nhằn mà team Platform bên mình từng còng lưng mới giải quyết được: Bài toán phát hiện Hot Key trên Redis ở hệ thống vài chục Microservices.
Trong bài viết trước (của một bác trên cộng đồng), anh em biết Hot Key nguy hiểm thế nào rồi. Cache hit rate 99% vẫn sập như thường. Lý thuyết là thế, dễ hiểu, nhưng khi bước vào thực tế vận hành hệ thống lớn, câu hỏi đau đầu luôn là: Làm sao biết chính xác key nào đang bị hot, ở service nào, mà KHÔNG làm ảnh hưởng đến hiệu năng hệ thống và KHÔNG bắt Dev phải sửa code nghiệp vụ?
Hôm nay mình xin chia sẻ giải pháp Custom SDK + Sidecar Pattern mà team mình đã build để tóm được Hot Key real-time. Hạ tầng và bài toán có thể không hơn ai nhưng là trải nghiệm thật cùng chung tay xây dựng DevOps Việt Nam vững mạnh và để lại giá trị lâu dài cho bác nào chưa biết :Đ
1. Những lối đi mà bọn mình từng thử
Trước khi ra được kiến trúc hiện tại, team mình cũng từng thử qua vài cách phổ thông:
Cách 1: Dùng lệnh MONITOR hoặc SLOWLOG của Redis.
Kết quả: Thử bật MONITOR lúc một Redis node đang peak tầm 12.000 QPS, con Redis CPU nhảy dựng lên, latency cũng bắt đầu bị ảnh hưởng. Lệnh này quá nặng để chạy liên tục trên Prod.
Cách 2: Bắt từng team Dev tự log/đếm QPS ở code nghiệp vụ.
Kết quả: Dev phản ứng ngay vì rất tốn công, code bị rác (lẫn lộn code business và code monitor). Chưa kể mỗi team dùng một kiểu log khác nhau, không tài nào aggregate tập trung được.
Triết lý của team Platform: Cái gì lặp đi lặp lại và mang tính chất hạ tầng, hãy Abstraction nó đi. Dev chỉ cần tập trung viết logic nghiệp vụ, việc Observability là việc của Platform.
2. Kiến trúc giải pháp: Custom Lib + Ring Buffer + Sidecar
Để giải bài toán này một cách triệt để, bọn mình đã thiết kế một luồng xử lý bất đồng bộ hoàn toàn thông qua mô hình dưới đây:

Bước 1: Giấu logic tracking vào Custom SDK (Core Lib)
Bên mình build một con library bọc ngoài các thư viện Redis tiêu chuẩn (như Go-Redis hoặc Lettuce của Java). Tất cả các hàm Get, Set, HGetAll… đều được chèn thêm một hook nhỏ.
Khi Dev gọi: redis.Get(ctx, "product:detail:12345"), SDK vẫn thực thi lệnh sang Redis như bình thường để đảm bảo latency thấp nhất. Nhưng đồng thời, nó sẽ ném cái raw key product:detail:12345 vào một Hàng đợi nội bộ (Internal Ring Buffer).
Tại sao lại là Ring Buffer? Vì nó là lock-free queue, tốc độ đẩy data vào cực kỳ nhanh (chỉ mất vài nano-second), đảm bảo không làm tăng latency của request chính.
Bước 2: Sidecar Container: Brain xử lý
Chạy ngay cạnh App container trong cùng một Kubernetes Pod là một con Sidecar siêu nhẹ viết bằng Go. Nhiệm vụ duy nhất của con Sidecar này là ăn data từ Ring Buffer ra để xử lý.
Tại đây, con Sidecar làm 2 việc tối quan trọng:
-
Normalize Key (Chuẩn hóa): nếu để nguyên raw key dạng
product:detail:12345thì Prometheus sẽ bị nổ cardinality (quá nhiều label unique). Sidecar sẽ dùng Regex để đưa về dạng tổng quát:product:detail:{id}. -
Tính toán Top K (Sliding Window): nó dùng thuật toán Stream Summary hoặc Sliding Window Counter để tìm ra top 20 nhóm key có QPS cao nhất trong vòng 1 phút qua.
Bước 3: Đẩy lên Prometheus và vẽ Grafana
Con Sidecar sẽ expose một endpoint dạng /metrics. Cứ mỗi 15 giây, Prometheus sẽ qua cào (scrape) dữ liệu một lần.
3. Thành quả thu được
Từ khi áp dụng pattern này, ae team Dev lẫn SRE dễ thở hơn hẳn:
-
Dev không cần viết thêm một dòng code log nào liên quan đến Redis: dùng lib của Platform là tự động được bảo hộ.
-
Săn Hot Key nhanh chóng: trên Grafana, bọn mình có một cái Leaderboard realtime. Nhìn một phát là biết ngay kiểu như service A đang dính hot key
global_configvới QPS 2.500, service B đang có lượng truy cập bất thường vào nhóm keytenant:permissions:*. -
Hệ thống an toàn: vì xử lý hoàn toàn bất đồng bộ ở tầng App thông qua Ring Buffer và Sidecar riêng biệt, cụm Redis chính hoàn toàn không phải chịu một chút áp lực nào từ việc đo đạc này.
Kịch bản Cứu giá thực tế (Incident Response)
Vừa xong, hệ thống bị dội traffic bất thường, API checkout chậm hẳn.
-
Trước đó: SRE sẽ lo lắng bật
SLOWLOG, Dev vào soi code xem có ai quên đóng loop hay cache lỗi không. -
Bây giờ: SRE bật Grafana, thấy ngay là nhóm key
campaign:active_userscủa service Promotion đang chiếm tới 40% tổng traffic của Shard 1.
Loanh quanh tầm 5 phút để định vị vấn đề. Team đưa ra quyết định bật Local Cache 3 giây cho riêng nhóm key đó ở tầng App. Hệ thống lập tức hạ nhiệt, P99 mượt mà trở lại (nói chung là hiệu quả hehe).
Lời kết
Nếu hệ thống của anh em đã lớn, Microservices chạy ầm ầm, việc phụ thuộc vào các công cụ monitor thủ công của Redis sẽ sớm chạm trần. Hãy mang tư duy Platform Engineering vào để tự động hóa việc này. Đầu tư một lần vào Core Lib và Sidecar, anh em sẽ đỡ nhọc về sau (lời khuyên cá nhân thôi nhé :Đ)
Giải pháp này bên mình đang tối ưu thêm phần tự động kích hoạt Local Cache (Auto-circuit breaker cho Hot Key) khi Sidecar phát hiện QPS vượt ngưỡng. Khi nào chạy ổn định mình lại lên bài chia sẻ tiếp nhé!