카프카, 데이터 플랫폼의 최강자 - 저자 직강 세미나 후기

참석 이유

  • rabbitmq 와 kafka 의 특징 확인
  • kafka 가 왜 rabbitmq 를 누르고 최강자가 되었는가? 가 궁금 -> 사실 속도 라는건 알고 있었지만 …

kafka

  • 초당 300만 vs 1만
  • rabbitmq 로 속도를 빠르게 하려고 이런 저런 방식으로 사용하였으나 최대 8천건을 겨우 달성하였는데.. 어떻게 기본이 1만건? -> auto ack : 결국 consumer 속도 문제가 관건.
  • kafka 는 속도만 확실하게 빠름, 그 외 기능은 직접 구현 해야 함.

    rabbitmq 는 ampq 기반이라 여러가지 기능이 많음 - 우리에게 맞음 / rabbitmq 의 기능이 다 제대로 동작할까?? - 아니오

  • kafka 소개 및 문제 상황 해결, kafka 를 이용한 시스템 구성에 대한 이야기.

kafka stream / kafka ksql

  • kafka 를 이용한 데이터 분석
  • 제한이 있으나 잘쓰면 좋다 정도..
  • 중요한건 ‘제한’ 이 있다는 것을 인지하고, 원하는 사람에게도 인지시켜주어야 한다.

    사용할 일이 없을 것 같아서 문제가 잘 와 닫지 않았음.

느낀점.

  • kakao 에서 대량 인프라로 사용한다는데, 그렇게 관리를 한다면 좋겠더라.
  • 디캠프 좋더라.
  • 세미나에선 관심있는 부분이 훨씬 잘들린다. - kafka stream / ksql 은 아직 감이 잘 안옴.

참조

Written on May 27, 2018