-
엔터프라이즈 데이터 플랫폼 구축 - 3장-1(130쪽)hadoop 2021. 12. 29. 22:40
smp, smt - simultaneous multi threading, processing
numa(non uniform memory access) - 시스템 성능에 큰 영향을 미친다, 자신이 실행중인 numa 노드 메모리가 아닌 다른 numa에 접근 한다면 성능이 급격히 떨어진다.
x86 cpu에는 24개의 물리적 코어 장착 가능.
ram은 128gb가 일반적으로 사용된다. 디스크 사용을 줄이고 램 사용을 높이는 것이 주 목적.
데이터를 한 곳에 모두 저장, 관리 - 데이터 레이크!
이레이져 코딩
ext3 - 전통적 파일시스템, 데이터 변경 후 바로 저널 갱신. 견고하지만 성능 하락.
ext4 - 성능에 조금 더 집중. 지연 할당 가능하게 함으로서 성능 업
XFS - 경쟁자. ext에 비해 훨씬 빠른 대규모 파일시스템 구축 가능.
이레이저 코딩과 복제.
이레이저 코딩 - 여러 랙에 분산 저장, 랙 사이 네트워크 대역폭 중요
이레이저 코딩 복제(3n) 쓰기 성능 네트워크 구성에 따라 달라지며, ISA-L 코더를 사용하면 상당한 수준의 쓰기 성능 향상 가능
표준 자바 코더 이용 시 성능 저하 발생현재 복제본의 쓰기 속도 읽기 성능 네트워크 구성에 따라 달라지며, 상당한 수준의 읽기 처리량 증가 가능 현재 복제본의 쓰기 속도 스토리지 요구사항 1.5배 3배 지속성 3대의 데이터노드 또는 디스크 장애까지 허용 가능 2대의 데이터 노드 또는 디스크 장애까지 허용 가능 데이터노드 2대 장애 복구 시 성능 영향 ISA-L 코더 사용 시 읽기 처리량 25% 저하
자바 코더 사용 시 읽기 처리량 60% 이상 저하영향 X 'hadoop' 카테고리의 다른 글
엔터프라이즈 데이터 플랫폼 구축 - 1,2장 (0) 2021.12.29