Kế nối mạng trung tâm dữ liệu kiến trúc server farm và hướng dẫn thiết kế
“Lân cận lớp 2 giữa các máy chủ có nghĩa là các máy
chủ này nằm trong cùng miền quảng bá. Khi các
máy chủ là lân cận lớp 2, mỗi máy chủ nhận được
tất cả các gói tin multicast và quảng bá từ máy chủ
khác.” Phiến dịch vụ như phiến tường lửa và phiến cân bằng tải …
cung cấp các chức năng trạng thái dựa trên phần cứng
KẾT NỐI MẠNG TRUNG TÂM DỮ LiỆU
KiẾN TRÚC SERVER FARM VÀ HƯỚNG
DẪN THIẾT KẾ
TERRY SEETO
GIÁM ĐỐC GiẢI PHÁP KINH DOANH
CISCO CHÂU Á THÁI BÌNH DƯƠNG CCIE #3119
© 2005 Cisco Systems, Inc. All rights reserved. 1
Nội dung
Cơ sở hạ tầng trung tâm dữ liệu
• Tổng quan về kiến trúc Server Farm
• Yêu cầu thiết kế cho Server Farm
• Mô hình thiết kế lớp truy nhập
• Ảnh hưởng đến khả năng mở rộng và mật độ
• Độ khả dụng cao trong trung tâm dữ liệu
• Tổng kết
© 2005 Cisco Systems, Inc. All rights reserved. 2
TỔNG QUAN VỀ KiẾN TRÚC
CHUYỂN MẠCH SERVER FARM
CỦA TRUNG TÂM DỮ LiỆU
© 2005 Cisco Systems, Inc. All rights reserved. 3
Định nghĩa Lớp truy nhập DC
Máy chủ Lớp 2, Lớp 3 và kết nối Mainframe
• Yêu cầu lớp 2 và lớp
3 Lõi doanh nghiệp
• Gắn đơn và đôi
• Chuyển mạch lớp 2, Lõi DC
hiệu năng cao, trễ
thấp
• Hỗn hợp yêu cầu cao
• Nhiều lựa chọn
đường lên
Kết hợp DC
• Xử lý STP chỉ cho
VLAN được đặt cấu
hình
• Sử dụng dich vụ tại
lớp kết hợp
Mainframe
Blade w/ OSA
L2 w/ Clustering Blade Chassis w/ L3
Chassis w/ Integrated
and NIC Teaming Access
Pass Thru Switch
Truy nhập DC
© 2005 Cisco Systems, Inc. All rights reserved. 4
Định nghĩa lớp kết hợp DC
Cung cấp dịch vụ An ninh/Ứng dụng dùng chung
Lõi doanh nghiệp
• Kết hợp các đường
truy nhập lên vào lõi
DC
• Tải xử lý STP lớn
• Cung cấp ứng dụng
tiên tiến và chức năng
an ninh thông qua các
mô đun dịch vụ Mô đun dịch vụ
• Duy trì trạng thái
phiên và bảng kết nối
cho dự phòng
• Những dịch vụ này là
gì?
Mainframe
Blade w/ OSA
L2 w/ Clustering Blade Chassis w/ Truy
Chassis w/ Integrated
and NIC Teaming nhập lớp
Pass Thru Switch 3
Truy nhập DC
© 2005 Cisco Systems, Inc. All rights reserved. 5
Định nghĩa lớp kết hợp DC
Các dịch vụ tích hợp
Các dịch vụ lớp 4 – 7: FW, SLB, SSL, IDS
+
• Các dịch vụ ứng dụng và an ninh có thể được triển khai như:
Dụng cụ
Phiến dịch vụ
• Phiến dịch vụ như phiến tường lửa và phiến cân bằng tải …
cung cấp các chức năng trạng thái dựa trên phần cứng
• Các phiến tích hợp làm tối ưu hóa không gian giá, quản lý cấu
hình và đi cáp
• Cung cấp độ linh hoạt cao nhất và kinh tế quy mô
© 2005 Cisco Systems, Inc. All rights reserved. 6
Định nghĩa lớp tích hợp DC
Đường giao tiếp máy chủ đến máy chủ
Tồn tại những loại lưu lượng máy chủ tới máy chủ nào?
Tương tác nhiều lớp, Dự phòng, Nhân bản, Thông điệp nhóm, Lưu trữ qua IP
Lõi DC
Kết hợp
Truy nhập
• Mô đun kết hợp có thể cung cấp tuyến giao tiếp sơ cấp cho lưu lượng giữa các máy chủ
• Sự xuất hiện của lưu lượng phi truyền thống
• Tạo nên dự phòng và số lượng các đường lên 10GE ít hơn
• Máy chủ được cung cấp với PCI-X NIC’s và GE
• Quy hoạch băng thông cho dung lượng máy chủ thực trong tương lai
© 2005 Cisco Systems, Inc. All rights reserved. 7
Định nghĩa lớp DC lõi
Ma trận chuyển mạch tốc độ cao cho các mô đun kết hợp
Lõi doanh nghiệp
DC Core
Mô đun kết hợp 1 Mô đun kết hợp 2
Kết hợp
GE/10GE GE/10GE
Truy nhập
N x 100 máy chủ N x 100 máy chủ
• Liên kết các mô đun AGG
• Cách biệt miền gây lỗi
• Mở rộng những đường kính STP lớn
• Cải thiện mở rộng 10GE
• Quy hoạch và xây dựng trước lõi DC
© 2005 Cisco Systems, Inc. All rights reserved. 8
Định nghĩa ma trận chuyển mạch máy chủ DC
Ma trận chuyển mạch máy chủ cho lưu lượng liên máy chủ
• Ma trận chuyển mạch máy Mạng lưu trữ
chủ kiến tạo theo mục
tiêu, cho phép: FC
Hạ tầng IP Ma trận chuyển mạch
RDMA trễ thấp máy chủ
Ethernet
Ảo hóa máy chủ
Ethernet
Infiniband
Tính toán Lưới/Tiện ích
• Môi trường Cluster
Tạo cluster cơ sở dữ liệu
Tạo cluster HA
Tạo cluster HPC NAS
NAS
WIN
WIN UNIX
UNIX
Máy chủ phiến Ma trận máy Ma trận máy
Máy chủ
• Chuyển mạch Gateway UNIX/Windows
chủ ảo #1 chủ ảo #2
Linux/Windows (phiến)
sang IP và lớp lưu trữ
• Mới, hiện đại, vẫn đang Enterprise GRID
chín muồi
© 2005 Cisco Systems, Inc. All rights reserved. 9
YÊU CẦU THIẾT KẾ TRONG
SERVER FARM
DC-2101
11127_05_2005_c1 © 2005 Cisco Systems, Inc. All rights reserved. 10
Khi nào cần có lân cận lớp 2?
Thỏa mãn yêu cầu ứng dụng Server Farm
• Tạo Cluster: các ứng dụng
thường được thực thi trên
Ứng dụng
nhiều máy chủ được tạo Microsoft
cluster để xuất hiện như .NET
một thiết bị đơn nhất;
chung cho các yêu cầu HA
và cân bằng tải; (Windows Ứng dụng Java,
MSCS và NLB) J2EE…
• Phần mềm tạo nhóm NIC
yêu cầu lân cận lớp 2 giữa
các NIC cùng nhóm
© 2005 Cisco Systems, Inc. All rights reserved. 11
Định nghĩa Lân cận lớp 2
“Lân cận lớp 2 giữa các máy chủ có nghĩa là các máy
chủ này nằm trong cùng miền quảng bá. Khi các
máy chủ là lân cận lớp 2, mỗi máy chủ nhận được
tất cả các gói tin multicast và quảng bá từ máy chủ
khác.”
Packet Magazine: Quý hai, 2005
Thiết kế Lớp truy nhập trung tâm dữ liệu
© 2005 Cisco Systems, Inc. All rights reserved. 12
Định nghĩa máy chủ nhóm (clustered)
Các nhóm cho độ khả dụng cao
• Mục tiêu chung: tập hợp nhiều máy Giao diện mặt trước
chủ để thể hiện như một hệ thống
thống nhất nhờ phần mềm đặc biệt
và kết nối mạng
• Nhóm với 2 nút HA có thể sử dụng
cáp nối chéo riếng để trao đổi dữ
liệu, trạng thái phiên, giám sát … Server-A Server-B
Mạng Cluster với 2 nút
• Hai hay nhiều máy chủ dùng bọ - Kết nối cáp chéo
chyển mạch để cung cấp kết nối tại
vùng lớp 2 cách biệt/VLAN Giao diện mặt trước
• Ví dụ: Dịch vụ nhóm MS-Windows
2003 Advanced Server 2003 Cluster
Service (MSCS), cho Exchange and
SQL Servers (tối đa 8 nút) A B C
• Veritas Clustering cho HA
• Cần có lân cận lớp 2
Mạng cluster với 2 hay nhiều nút
Chạy trên chuyển mạch VLAN
© 2005 Cisco Systems, Inc. All rights reserved. 13
Định nghĩa máy chủ nhóm
Nhóm phân phối tải
Server-Based NLB Uses
• Các ứng dụng giao dịch/dựa Flooding: Multicast
trên HTTP được “ghép Address Used in Arp
nhóm” với mục tiêu mở rộng Reply for Server IP
(ví dụ MSCS NLB, đến 32 nút Front-End Interface
mạng
• Khoảng lớp 2 được dùng để
“multicast” mọi gói tin đến A B C
đến mọi máy chủ trong
nhóm (cần có Lân cận lớp 2) Cluster Network
• Một địa chỉ IP được gắn với To VIP
địa chỉ MAC multicast trong SLB Hardware:
phản hồi arp nhóm Use Unicast-
(Windows) To Reals Based Solution
• Các bộ cân bằng tải được
chế tạo đặc biệt cung cấp
phần cứng tiêu chuẩn dựa
trên giải pháp unicast hỗ trợ A C
B
hàng trăm nút mạng
Cluster Network
© 2005 Cisco Systems, Inc. All rights reserved. 14
Định nghĩa máy chủ nhóm
Tạo nhóm CSDL
• Mục tiêu: cải thiện thời gian khóa CSDL
và cho phép quét song song hiệu quả Mạng lưu trữ
hơn
Hạ tầng IP Ma trận chuyển mạch
• Ví dụ nhóm CSDL máy chủ
Gateway đa giao thức
Oracle 10g RAC
IBM DB2 Parallel
SQL Server Máy chủ Máy chủ
ứng dụng ứng dụng
MySQL Cluster
• Cách tiếp cận lưu trữ
Dùng chung mọi thứ
Khóa FS
IBM MySQL
Cluster Oracle RAC IBM DB2
Không dùng chung DB2 Parallel
Parallel
Cắt miếng CSDL Nhóm CSDL trên Nhóm CSDL trên
Ethernet Infiniband
• Các lựa chọn kết nối theo chuẩn
Ethernet, Infiniband
Trễ thấp + băng thông caorights reserved.
© 2005 Cisco Systems, Inc. All 15
Định nghĩa máy chủ nhóm
Các nhóm tính toán hiệu năng cao (HPC)
Những ứng dụng đặc thù
• Tạo ảnh động
• Địa chấn học
• Khai thác dầu
Implementations are very
• Sinh hóa
customized and rarely alike
• Phân tích tài chính
• Thông lệ chung cho thuê môi trường HPC
Có thể là giao diện/hạ Hệ thống file chung
tầng chung
Et
he
r ne
t(
Nút tính toán
N
FS
(đến hàng chục
Ethernet, Infiniband
,i
SC
ngàn) NAS, SAN
Mặt trước
SI
Back End
Ethernet
),
Nút chính
FC
,I
(có thể nhiều)
B
G
at
ew
ay
Mặt sau để đồng bộ nút/chia sẻ dữ liệu bằng các
giao thức IP/TCP hay RDMA (MPI, uDAPL, SDP,
SRP)
© 2005 Cisco Systems, Inc. All rights reserved. 16
Định nghĩa máy chủ nhóm
Yêu cầu/Ảnh hưởng của các nhom HPC
• Có thể cần Lân cận lớp 2
giữa các nút tính toán
(phụ thuộc vài ứng dụng)
Công cộng Lớp truy nhập
• Hệ thống file dùng chung
cho các nút tính toán Kết hợp
Các nút
• Độ trễ ảnh hưởng lớn chủ
đến hiệu năng
• Nhân viên mạng và hệ Riêng Access Layer
thống thường không trao Ethernet,
đổi rõ ràng các nhu cầu Đồng bộ nút Infiniband,
tạo nhóm và chia sẻ Myrinet,
dữ liệu với Nút tính Quadrics
• Ai xác định máy chủ sẽ MPI/DAPL/ toán
đưa vào nhóm? Cùng SDP
giá? Hàng?
File System
• Các tuyến lên lớp truy Lớp truy nhập
nhập có bị ảnh hưởng
không? GE đến NAS, FC SAN, iSCSI)
© 2005 Cisco Systems, Inc. All rights reserved. 17
Máy chủ nhóm
Ảnh hưởng của thiết kế mạng
• Máy chủ-A và máy chủ B
giao tiếp trên lớp 2 để trao
Kết hợp
đổi trạng thái, phiên và các
thông tin khác
• Máy chủ (2 hay nhiều) trong
nhóm có thể nằm tại các bộ Trung kế
chuyển mạch truy nhập khác
nhau – mở rộng VLAN và
VLAN 10
đường kính Tree diameter
• Ma trận nhóm máy chủ đến
máy chủ có thể yêu cầu Máy chủ-A Máy chủ-B
tuyến lên băng thông lớn
hơn (GEC, 10GE)
© 2005 Cisco Systems, Inc. All rights reserved. 18
Yêu cầu máy chủ phiến
Các lựa chọn kết nối
Sử dụng mô đun nối thông Sử dụng chuyển mạch Ethernet tích hợp
Lớp kết hợp
Chuyển mạch
lớp 2 ngoài
Chuyển mạch
lớp 2 tích
hợp
Khung máy chủ phiến Khung máy chủ phiến
Giao diện 1
Giao diện 2
© 2005 Cisco Systems, Inc. All rights reserved. 19
CÁC MÔ HÌNH THIẾT KẾ LỚP
TRUY NHẬP
DC-2101
11127_05_2005_c1 © 2005 Cisco Systems, Inc. All rights reserved. 20
