보편적인 인프라 구성에서는 FC 케이블과 SAN 스위치를 통해 연결된 하드웨어 계층의 스토리지를 봤을 것이다.
하지만 VMware에서는 하드웨어에 장착된 디스크를 하나로 모아 소프트웨어 계층의 스토리지,
즉 vSAN (Virtual SAN) 이라는 솔루션을 구현할 수 있다.
vCenter를 통해 vSphere HA, DRS, EVC 적용이 가능하듯 vSAN 기능도 클러스터 레벨에서 활성화할 수 있다.
vSAN Disk Group
vSAN 구성을 위해서는 하드웨어 당 여러 디스크(최소 1개 이상의 SSD)가 장착되며, 각 디스크에는 크게 2가지의 역할(계층)이 있다.
- Cache Tier (캐시 계층) = 성능 용도(가속화). SSD 디스크 필요.
- Capacity Tier (용량 계층) = 데이터 저장 용도(용량). SSD 혹은 HDD 디스크 필요.
이러한 캐시 계층과 용량 계층을 묶어 하나의 디스크 그룹이 구성된다.
VMware의 권장사항은 멀티 디스크 그룹 (2개 이상)이다.
Maximum Configuration
+ 서버 당 디스크 그룹은 5개가 최대 구성
+ 디스크 그룹 내 디스크는 Cache Tier (SSD x1EA) + Capacity Tier (SSD or HDD x7EA)가 최대 구성
+ 즉, 디스크 그룹은 최대 5개의 SSD와 35개의 HDD (혹은 SSD)로 구성이 가능
+ vSAN은 최대 ESXi 64 Node까지 지원 가능하기 때문에 확장성은 매우 크다.
vSAN Type
01 Hybrid Type
구성 = Cache Tier (SSD) + Capacity Tier (HDD)
동작 방식 = Cache Tier (70% Read Cache + 30% Write Buffer)
02 All Flash Type
구성 = Cache Tier (SSD) + Capacity Tier (SSD)
동작 방식 = Cache Tier (100% Writer Buffer) / Read Cache는? Cache에서 수행 가능하지만 Capacity에서도 수행할 수 있다.
즉, Cache Tier에게 Read Cache로 인한 공간이 필수로 요구되지 않기 때문에 Writer Buffer에 대한 공간을 보다 많이 얻을 수 있다.
이러한 이유로 VMware에서는 AF Type을 권장한다.
성능 뿐 아니라, AF Type에서는 vSAN의 중복 제거, 압축 기능을 사용할 수 있다. (Hybrid는 성능 상 기능 사용 불가)
vSAN Network
VMKernel 어댑터를 통해 ESXi 관리, vMotion, HA Monitoring 등을 사용할 수 있듯이, vSAN도 별도의 커널어댑터가 필요하다.
vSAN은 네트워크가 탄탄해야 한다.
- 트래픽 흐름과 보안을 고려해 폐쇄망 구성 권장
- AF Type의 경우, 최소 10Gbps 이상의 vSAN 전용 네트워크 어댑터가 필요하다.
- NIOC가 가능한 분산 스위치 구성 권장
- 점보 프레임 (MTU 9000)이 권장된다. (사전 네트워크 레벨 작업 필수)
vSAN SPBM (Storage Policy Based Management) 정책
vSAN 환경에서 생성되는 가상시스템은 정책을 기반으로 생성된다.
Default는 FTT=1, RAID=1 정책이며, 이는 호스트 노드 수에 따라 적용 가능 여부가 결정된다.
예) ESXi 호스트 3Node 환경에서 FTT=1, RAID=5 정책 사용 불가
기본 환경에서는 RAID=1 구성이기 때문에 사실상 vSAN 데이터스토어 용량의 절반밖에 사용하지 못한다.
또한, 호스트 장애 혹은 유지보수 모드 / 추가 스냅샷 및 스왑 파일 발생에 대비한 추가 30% 여유 공간도 필요하다.
한마디로 기본 정책일 경우, 용량 활용률은 높다고 말하기 어렵다. >> 기본 정책에서 10TB일 경우, 3.5TB 사용 가능
이러한 이유로 VMware의 기본 및 권장은 용량 활용을 고려한 Thin Provisioning이 요구되지만,
내부 기술적인 입장에서는 업무 성격과 워크로드에 따라 Thin or Thick을 정책에서 수정하라고 한다.
Thin은 용량 활용률만 높을 뿐, 급격한 데이터 증가 시 운영 담당자 입장에서 매우 번거로울 수 있기 때문이다.
VM 단위로 정책은 언제든 변경할 수 있지만 주의할 점이 있다.
>> 만약 RAID-1에서 RAID-5로 정책을 변경할 경우, 정책은 공존하면서 변경된다. (RAID-1과 RAID-5의 용량 확보가 순단 동시 발생)
>> 따라서 정책 변경 시에는 용량이 충분한지 반드시 확인해야 한다.
요구사항 정리
01 vSAN 클러스터는 AF (All Flash) 타입을 권장한다.
02 AF 타입의 경우 'vSAN 네트워크'에서 10Gbps 이상을 사용해야 한다.
03 인프라 구성 시 각 네트워크 대역 분리가 필요하다. (MGMT 네트워크 / vMotion 네트워크 / vSAN 네트워크 등)
04 vSAN은 Multiple Diskgroup을 권장한다.
05 ESXi 설치 영역은 별도의 컨트롤러가 필요하다. (OS 컨트롤러 - RAID1, vSAN 컨트롤러 - Passthrough/Non-RAID)
06 클러스터를 구성하는 하드웨어 구성환경은 동일해야 한다. (디스크 종류, 수량)
07 vSAN 클러스터 구성 시 하드웨어 메모리 오버헤드가 발생한다. (약 10%, 정확히는 계산 필요 KB2113954)
08 점보프레임 구성 시 성능이 향상된다. (MTU 9000, 상단 네트워크 사전 구성 필수, 성능은 미미하게 향상된다고 함)
09 약 30% 여유공간 필요 + RAID1 구성 시 그 중에서도 50%만 사용 가능
10 클러스터 내 ESXI는 최소 3EA, 최대 64EA. (권장은 N+1로 최소 4EA)
일전에 교육에서 들은 내용으로는
아직까지 S/W 계층의 스토리지가 엔터프라이즈급의 성능을 따라갈 수는 없다고 한다.
vSAN은 특히나 트러블슈팅이 악명 높기 때문에 운영에 능숙하지 않으면 해당 솔루션을 사용하라고 권장하기는 쉽지 않다.
