programmer programmer

smp, smt - simultaneous multi threading, processing numa(non uniform memory access) - 시스템 성능에 큰 영향을 미친다, 자신이 실행중인 numa 노드 메모리가 아닌 다른 numa에 접근 한다면 성능이 급격히 떨어진다. x86 cpu에는 24개의 물리적 코어 장착 가능. ram은 128gb가 일반적으로 사용된다. 디스크 사용을 줄이고 램 사용을 높이는 것이 주 목적. 데이터를 한 곳에 모두 저장, 관리 - 데이터 레이크! 이레이져 코딩 ext3 - 전통적 파일시스템, 데이터 변경 후 바로 저널 갱신. 견고하지만 성능 하락. ext4 - 성능에 조금 더 집중. 지연 할당 가능하게 함으로서 성능 업 XFS - 경쟁자. ext에 비해 훨씬 빠른..

데이터 노드는 HDFS 블록과 블록의 ID만 알고 있다 - 파일이 어느 복제본에 속하는지는 모른다. 네임노드가 메타데이터 가지고 있다 - fsimage에서 확인했던대로. 얀은 직접 데이터를 다루며 연산을 수행하지는 않는다. 하이브는 LLAP(Live Long And Process)를 통해 처리 속도를 높혔다. HBase는 HDFS에서의 랜덤 엑세스를 순차적 엑세스로 바꿔서 처리 가능. 임팔라, 쿠두, 솔라, 우지같은 처음 보는 기술들도 많았다. 1장, 2장 완료