Gateway là gì? Cách hiểu API Gateway trong DevOps và SRE

Gateway (hay API Gateway) là một thành phần nằm ở lớp ngoài của hệ thống để nhận request từ client, áp policy, rồi route request vào các backend service tương ứng.

Trong DevOps và SRE, API Gateway quan trọng vì nó thường là điểm tập trung của auth, rate limit, routing, và observability. Nếu gateway lỗi hoặc bị quá tải, user impact thường lan rộng vì nhiều service dùng chung gateway.

Ví dụ: Một gateway bật rate limit sai, trả mã 429 cho hàng loạt cho traffic hợp lệ, khiến nhiều client không gọi được API dù backend service vẫn healthy.

API Gateway không chỉ là routing. Nó là nơi bạn đặt guardrail cho traffic public và tạo một điểm kiểm soát nhất quán cho production.

Gateway cho biết điều gì?

Gateway giúp bạn nhìn rõ các nhóm vấn đề vận hành phổ biến:

Traffic vào hệ thống đang đi qua những route nào và endpoint nào đang chịu tải cao.
Auth và access policy đang chặn đúng hay đang làm user impact.
Rate limit có đang bảo vệ backend hay đang chặn sai.
Latency tăng do gateway, do network, hay do upstream service.

Tuy nhiên, cần lưu ý: gateway thường là shared dependency. Khi gateway có issue, nhiều service bị ảnh hưởng cùng lúc.

Gateway khác Load balancer ra sao?

API Gateway và Load balancer hay bị dùng lẫn nhau, nhưng thường khác về trách nhiệm:

Load balancer: tập trung phân phối traffic và health check, thường ưu tiên tính điều phối traffic và sẵn sàng (L4 hoặc L7 đơn giản).
API Gateway: tập trung policy ở layer ứng dụng như auth, rate limit, request validation, routing theo path, header, tenant.

Trong thực tế, bạn có thể có cả hai: Load balancer ở lớp ngoài để nhận traffic, API Gateway ở phía sau để xử lý logic, hoặc dùng một sản phẩm làm cả hai tùy platform.

Gateway thường nằm ở đâu trong hệ thống?

Một số vị trí triển khai phổ biến:

Edge: đứng sau CDN, nhận traffic public từ internet.
Internal: làm north-south gateway cho traffic giữa client nội bộ và service.
Kubernetes: đặt ở cluster edge hoặc dùng Gateway API, Ingress controller tùy mô hình.

Nếu bạn có nhiều cluster hoặc nhiều region, gateway thường cần strategy cho traffic routing theo region và failover.

Gateway làm gì trong production?

Các capability hay gặp của API Gateway:

Routing theo path, host, header, method.
Auth: API key, JWT, OAuth integration.
Rate limit và quota theo client, token, tenant, endpoint.
Request validation, request transformation, response transformation.
TLS termination, đôi khi mTLS cho upstream.
Observability: access logs, metrics, tracing propagation.

Bạn nên chọn những thứ thực sự cần, vì càng nhiều policy ở gateway càng dễ tạo latency overhead và complexity.

Cách hiểu gateway theo kiểu DevOps

Một số nguyên tắc cơ bản khi vận hành gateway:

Coi gateway là production critical component, phải có HA và rollback path rõ ràng.
Mọi thay đổi config nên đi qua CI/CD để có traceability.
Policy nên thiết kế theo nguyên tắc fail-safe, tránh chặn sai traffic hợp lệ.
Luôn có dashboard theo route và theo status code để triage nhanh.

Ví dụ:

Nếu rate limit đặt theo IP ở môi trường có NAT, nhiều user hợp lệ có thể bị gộp chung và bị chặn.
Nếu rollout rule routing sai, traffic có thể bị route nhầm sang upstream không tương thích và tạo 5xx hàng loạt.

Những yếu tố làm gateway dễ thành bottleneck

Một số nguyên nhân phổ biến:

Gateway trở thành single choke point vì mọi traffic đi qua một cụm nhỏ.
TLS handshake hoặc connection handling kém làm tăng CPU và latency.
Rule quá nhiều và quá phức tạp làm tăng processing time.
Logging quá nặng hoặc synchronous logging làm tăng latency.
Upstream slow làm gateway giữ connection lâu, dẫn tới connection exhaustion.

Vì vậy, khi gateway latency tăng, bạn cần tách rõ phần gateway processing và upstream time để khoanh vùng đúng.

Gateway metrics nên theo dõi

Một số metrics thực tế hay dùng:

RPS theo route, theo status code.
p95 latency theo route, tách gateway latency và upstream latency nếu có.
4xx, 5xx, 429 theo route và theo client group.
Connection count, connection error, timeout, TLS error.
CPU, memory, queue và saturation signals ở gateway tier.

Các metrics này giúp bạn phân biệt nhanh issue do policy, do gateway tier, hay do upstream service.

Gateway được dùng để làm gì trong DevOps?

Ở mức cơ bản, gateway giúp bạn:

Chuẩn hóa entry point cho traffic public và giảm blast radius bằng policy.
Bảo vệ backend bằng rate limit, request validation, WAF integration.
Quản lý routing và rollout kiểu canary, blue-green bằng traffic shifting.
Tạo observability nhất quán ở edge để triage incident nhanh hơn.

Checklist gateway cho production

Gateway tier có HA, health check, và capacity đủ cho peak traffic.
Thay đổi config qua CI/CD, có review và rollback path.
Có rate limit và quota theo tenant hoặc theo token cho endpoint tốn tài nguyên.
Có dashboard theo route, status code, và upstream latency.
Logging và tracing propagation được kiểm soát để không tạo overhead quá lớn.
Có runbook cho các tình huống như 429 spike, 5xx spike, timeout spike, routing sai.

Kết luận

API Gateway là lớp kiểm soát traffic ở lớp ngoài hệ thống, thường đảm nhiệm routing, auth, rate limit và observability.

Để vận hành gateway tốt trong production, bạn cần HA, config rollout có traceability, policy thiết kế tránh chặn sai, và metrics theo route để triage nhanh khi latency hoặc error rate tăng.