공부기록_일래스틱서치

일래스틱서치: DB와 비슷한 역할, Rest API로 GET, POST, PUT, DELETE 메서드로 데이터를 CRUD한다 
유연하게 도큐먼트를 추가하면서 칼럼(프로퍼티)를 만들수있지만 이러한 방법을 사용하면 데이터 타입에 따라서 날짜형태인데 문자열로 저장될 경우, 숫자형인데 문자열로 저장될 경우엔 
데이터 시각화하는 키바나에서 제대로 동작하지 않을 수 있다.
그래서 매핑을 통해서 지정해주는 것이 좋다.
Json 형식으로 키 벨류 형식으로 저장이 되고
aggreation을 통해서 통계량을 구하는 것(sum, max, avg, min, stats)과 group by를 해줄 수 있다

키바나는 일래스틱서치로 저장된 것을 쉽게 클릭으로 시각화를 할 수 있다.
시각화한 결과물을 대시보드로 만들 수 있다.

 

---

 

일래스틱 서치를 우분투에 설치하려고 했는데 우분투 설치부터 막혔다 ;;

윈도우여서 VirtualBox를 설치해서 가상환경에 우분투를 설치하려는데 아무리 해도 우분투 설치를 끝낸 후 재부팅을 하는 과정에서 에러가 생겼다

end kernel panic - not syncing attempted to kill init

라며 죽어버렸다..

 

많은 방법을 시도해봤으나 되질 않아서 어쩔 수 없이 윈도우에 일래스틱을 설치했다.

 

https://team621.tistory.com/63 <- 이 블로그를 참고하였다👍👍

 

https://www.elastic.co/kr/downloads/elasticsearch

Download Elasticsearch

 

윈도우 다운을 받고 압축을 푼 뒤

bin/elasticsearch.bat 을 더블클릭해서 실행해줬다.

 

그 다음 localhost:9200 으로 get호출을 해봤을 때 json이 응답오면 성공이다

안된다면 conf/elasticsearch.yml 에서 xpack.security.enabled 를 false로 바꾼 후 재실행하면 정상 작동한다!

 

 

 

인덱스를 만들고 조회하고 삭제하는 거까진 잘 되었는데, 도큐먼트 만드는거에서 에러가 나서 해결법을 찾지 못하고 멈췄다.. 분명히 request body에 json 형식으로 잘 담았는데 .. 

일단 나중에 하려고 미뤄두고 다른 것들은 어떤식으로 하면 되는지 강의를 다 봤다

 

bulk는 데이터를 한번에 insert하는 것이다 

 

 

 

 

 

처음엔 크롬에서 url을 바꿔가며 했는데 GET요청으론 조회만 가능하고 POST, PUT, DELETE 메서드를 사용해야 해서 Postman을 이용해서 테스트해봤다.

 

일래스틱 서치의 감은 대충 잡혀서 키바나까지 보고, 카프카를 찾아봤다

카프카는 생소하고 너어어무 어렵게 느껴진다 ;;

데이터 스트림을 실시간으로 처리하고 저장하기 위한 것이란 건 알겠다

프로듀서에서 처리해야 하는 이벤트(토픽)을 전송하면 카프카 클러스터가 보관하고 있다가

컨슈머가 순차적으로 처리하는 역할을 한다고 한다. 

카프카 클러스터는 여러개의 브로커로 구성되고 브로커가 각각의 서버라고 보면 된다.. 

 

카프카를 이용하면 대용량의 데이터를 효과적으로 안전하게 저장하고 관리할 수 있어서 사용하는 것 같다 

분산 메시지 큐 시스템이라고 한다 

큐니까 FIFO

차곡차곡 쌓이는게 아니라 먼저 들어온 순서대로 나가는 것(순차처리)이다

 

 

 

 

 

 

 

많이 부족해서 .... 내일이 걱정이다 😭