기록하자

ELK란? ELK는 약어로 ElasticSearch, LogStash, Kibana의 조합을 말한다. 각각 서로 연동 되어 데이터 수집 및 분석을 진행합니다. ELK가 필요한 이유는 여러 대의 서버를 운영하면 각각 서버에 접속하여 로그를 확인하는 불편함이 가장 큰 이유인 것 같습니다. 로그를 한 곳으로 집중시키고 쿼리를 만들어 찾고자하는 데이터를 손쉽게 찾을 수 있으며 데이터로부터 인사이트를 얻을 수 있습니다. ELK 설명 LogStash Logstash는 수집할 로그를 선정한 후 ElasticSearch에 인덱싱 하여 전송하는 역할을 담당합니다. 또한 여러 소스의 데이터를 동시에 가져와서 변환 한 다음 ElasticSearch 서버에 보내는 일종의 데이터 처리 파이프라인입니다 ElasticSearch ..

개요 Spark를 사용할 때 메모리 구조를 잘 이해하는 것이 중요한데 그 이유는 아래와 같습니다. 1. 성능 최적화 : Spark의 메모리 구조를 이해하면, 데이터 셔플링, 캐싱, 연산에 필요한 메모리를 효율적 으로 할당할 수 있어 성능을 향상 시킬 수 있습니다. 2. 장애 예방 : 메모리 부족이나 시스템 과부하등 다양한 문제를 미리 인식하고 적절한 방법으로 해결할 수 있습 니다. 예를 들어, 'OutOfMemoryError' 같은 문제를 피하기 위해 메모리 설정을 조절할 수 있습니다. 3. 디버깅과 튜닝 : 애플리케이션에 문제가 발생했을 때, 메모리 구조를 잘 이해하고 있으면 문제의 원인을 더 빨리 찾고 해결할 수 있습니다. 예를 들어, 왜 데이터 셔플링이 느린지, 왜 특정 연산이 메모리를 많이 사용하..