Triển khai Load Balancing trên Kubernetes sử dụng HA Proxy và Nginx Ingress

Giới thiệu

Yêu cầu

• Đã cài đặt K8S Cluster.

• Một server riêng để cài đặt HA Proxy (trong bài thực hành sử dụng Ubuntu 22.04, 1GB ram, 1 cpu, 10GB SSD)

• Có hiểu biết về Load Balance HA Proxy, Ingress, Nginx và một số workload trong K8S.

Mô hình

• Nhận traffic từ client qua HTTPS.

• Không giải mã SSL → chỉ chuyển tiếp request đến Ingress Controller, sử dụng mode tcp trong HAProxy → TCP passthrough.

• Client → HA Proxy: HTTPS, HA Proxy → Ingress Controller: HTTPS (giữ nguyên vẹn gói tin).

• Là một pod trong cluster.

• Xử lý SSL Termination: nhận HTTPS từ LB → giải mã ra HTTP.

• Đọc domain/path trong request → áp dụng Ingress Rules để route.

• Theo domain (ví dụ: hello.manhtx.click)

• Theo path (ví dụ: /login, /shop)

• Tự động tạo SSL cert (qua Let's Encrypt, Self Sign, …).

• Gắn cert vào đúng Ingress (bằng cách quản lý Secret).

• Gia hạn chứng chỉ tự động.

• Là Kubernetes Service route request đến đúng Pod backend (Deployment).

• Mỗi Service có thể đại diện cho một microservice khác nhau.

• Các Pod chạy ứng dụng backend thật sự.

• Mỗi Deployment có nhiều Pod, quản lý tự động bởi Kubernetes.

Luồng xử lý yêu cầu

• Client gửi request:
hello.manhtx.click

• HAProxy Load Balancer:
• Nhận gói HTTPS.
• Dùng mode tcp, truyền thẳng đến Ingress Controller (không giải mã).

• Ingress Controller Service:
• Terminate SSL (giải mã HTTPS → HTTP).
• Đọc domain hello.manhtx.click, path /cart.
• So khớp với Ingress Rule.

• Ingress Rule chọn đúng Service (ví dụ: service-cart).

• Service route đến đúng Pod trong Deployment để xử lý.

Hướng dẫn cấu hình

Cài đặt Nginx Ingress

• Tạo namespace để dễ dàng hơn trong việc quản lý các resource

• Thêm repo của ingress-nginx

• Tải về chart và file cấu hình values.yaml.

• Chỉnh sửa file values.new.yaml copy từ values.yaml

• Tìm đến controller block, do cluster đang cài on premise, cập nhật lại service type từ LoadBalancer (chỉ support cho cloud provider) sang NodePort để có thể truy cập vào nginx ingress qua IP của node.

• Chỉ định port cho cần expose với http chạy port 31080 và https chạy port 31443

• Chạy lệnh sau để cài ingress nginx lên cluster với file values mới

• Sau khi chạy xong, kiểm tra các resource được tạo ra

Cài đặt Cert Manager

• Thêm Helm repo của Jetstack

• Cài đặt cert manager

• Kiểm tra các resouce được khởi tạo

Cài đặt HA Proxy

• Cập nhật hệ thống

• Cài đặt HA Proxy

• Kiểm tra phiên bản

• Cấu hình HA Proxy

• Sử dụng cấu hình sau

• Kiểm tra cấu hình

• Khởi động lại dịch vụ HAProxy

• Kiểm tra trạng thái

• Kiểm tra xem HA Proxy đã chuyển tiếp request với nginx ingress chưa, nếu trỏ về trang 404 Not Found của Nginx thì chính xác

• Cũng có thể kiểm tra trên trình duyệt

Triển khai ứng dụng

• Đầu tiên, tạo 1 ClusterIssuer sử dụng self-signed certificate (do đang dựng lab ở local) với file selfsigned-issuer.yaml có nội dung sau:

• Apply file

• Kiểm tra ClusterIssuer được tạo chưa

• Tạo file demo_app.yaml với nội dung sau

• Apply file

• Cấu hình domain để trỏ về load balancer IP hoặc bạn có thể config local dns trong /etc/hosts.