programmer programmer

더 이전부터 생각했으나글을 오늘 처음쓰니까 1일차로 하겠음 회사 생활을 3년정도 했고, 바로 옆에는 2년 선배가 있다보니우리 일을 하자! 라는 말이 예전부터 나왔었음 깊게 생각하지 않았을 땐, 쉬워보였는데진지하게 고민하기 시작하니 쉽지 않다..명확하게 정해진게 없으니 열심히 하기도 어렵고 회사일은 "열심히 해야지! 내년엔 이것도 하고 저것도 하고 다 해버려야지!"이런 생각이 드는데, 그 이유를 이제 알았다.할 일이 명확하게 눈에 보여서 계획 세우기 쉽고, 그에 대한 리턴도 대충 알아서 그런 것이었다. 하루 빨리 구체화를 하고 싶당.

위 두개 차이점을 아는가?난 모른다. 오늘 코드 볼게 있어서 이해가 안되는 부분 지피티랑 수다좀 떨었는데http.ListenAndServe, http.Server 차이를 알게 되어버렸다. 나는 http.ListenAndServe 이걸 통해서 서버 띄우곤 했는데 이것만 쓰면 graceful shutdown 을 구현하지 못한다근데 솔직히 graceful shutdown 이 중요한지 아직 모르겠음 go 루틴으로 http.ListenAndServe 를 써서 서버 띄우고channel 열어서 os.Interrupt 감지하고 있게 하고감지 되면 server.Shutdown 으로 종료 시키면 이것이 바로 graceful shutdown 임 안전하게 종료시키는거 중요한데아직 느껴본적이 없어서 와닿진 않음

golang 에서 비동기 처리에 goroutine 을 사용하곤 한다.다른 언어를 깊게 사용해 보진 않아서, 분명 더 쉽게 비동기 처리를 할 수 있는 언어도 있겠지만goroutine 은 상당히 간단하고 강력하다. 백엔드 서버에서도 사용하고 있고, 클러스터 지표 수집기에서도 잘 사용하고 있다.근데 문제가 발생하는데..! 클러스터 지표 수집기쪽에서 문제가 생겼는지 그라파나에서 그래프가 일직선으로 나타나기 시작했다. 처음엔 그라파나 문제인가 싶어서 보는데, 문제가 없었고 지표 수집기를 다시 실행해 보면서 로그를 확인해 보니 문제를 찾을 수 있었다. 데이터 노드 jmx 로 보낸 요청 응답이 오지 않아 그랬던 것이었다.(jmx 에 타임아웃이 설정되어 있지 않나? 아님 서버 자체가 죽어서 그랬던 것이었을 수도 있다...

리눅스 폴더 생성 명령어 리눅스에서는 mkdir 명령어를 사용해서 폴더를 생성한다. mkdir 은 make directory 를 줄인 말이다. mkdir [옵션] [폴더 이름] 위 방법 처럼 사용한다. 리눅스 폴더 생성 명령어 옵션 설명 선택 옵션 -p : 상위 디렉토리도 함께 생성 mkdir -p ./a/b/c a, b 폴더가 없어도 자동으로 a/b/c 모두 생성 -v : 디렉토리 생성 후 메세지 출력 -m : 디렉토리 생성시 권한 설정 기본 생성 폴더는 755 권한 mkdir -m 644 test2 644 옵션을 주니 test2 폴더 권한이 644로 생성된 모습

smp, smt - simultaneous multi threading, processing numa(non uniform memory access) - 시스템 성능에 큰 영향을 미친다, 자신이 실행중인 numa 노드 메모리가 아닌 다른 numa에 접근 한다면 성능이 급격히 떨어진다. x86 cpu에는 24개의 물리적 코어 장착 가능. ram은 128gb가 일반적으로 사용된다. 디스크 사용을 줄이고 램 사용을 높이는 것이 주 목적. 데이터를 한 곳에 모두 저장, 관리 - 데이터 레이크! 이레이져 코딩 ext3 - 전통적 파일시스템, 데이터 변경 후 바로 저널 갱신. 견고하지만 성능 하락. ext4 - 성능에 조금 더 집중. 지연 할당 가능하게 함으로서 성능 업 XFS - 경쟁자. ext에 비해 훨씬 빠른..

데이터 노드는 HDFS 블록과 블록의 ID만 알고 있다 - 파일이 어느 복제본에 속하는지는 모른다. 네임노드가 메타데이터 가지고 있다 - fsimage에서 확인했던대로. 얀은 직접 데이터를 다루며 연산을 수행하지는 않는다. 하이브는 LLAP(Live Long And Process)를 통해 처리 속도를 높혔다. HBase는 HDFS에서의 랜덤 엑세스를 순차적 엑세스로 바꿔서 처리 가능. 임팔라, 쿠두, 솔라, 우지같은 처음 보는 기술들도 많았다. 1장, 2장 완료

저번에 말했듯이 결측치에 대해서 처리를 했다. 일단 아래 사진에서 보면, 주당배당금, 시가배당률, 배당성향은 값이 비어있는 경우가 많아 아예 제외했고 연간실적의 2020.12 그리고 분기실적의 2020.12 값들도 많이 비어있어 제외했다. 그 후 연간실적과 분기실적에서 한 row가 통째로 비어있는 항목들도 제외시켰다. 그 결과 761개의 종목들 중 690개가 남았다. 그 뒤로는 저번과 동일하게 lasso, ridge regression을 진행했다. 그 결과는 아래와 같다. ridge regression은 뭐 거의.. 따로 놀고 있다. lasso regression도 성능이 좋다! 라고는 말할 수 없겠지만 어느정도 추세는 따라가고 있는것 같다. alpha값은 ridge는 0.1 lasso는 1로 설정해준 ..

한창 주식 관련 페이지를 만드려고 하다가 다른 일이 생겨서 한참 미뤄놨던 일.. 원래 간단한 필터 정도 구현하려 했는데 종목 정보를 가지고 점수를 내는.. 그런 일이 돼버렸다.. 그래서 가져온건 일단 https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0 시가총액 : 네이버 금융 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 코스피 전체 종목을 가져와서 https://finance.naver.com/item/main.nhn?code=005930 삼성전자 - 네이버 금융 : 네이버 금융 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 종목별 상세정보 페이지에 이 표가 있는 종목들만 추렸다..