프로그래밍 해볼까

컨슈머가 poll() 을 호출할 때마다 컨슈머 그룹은 카프카에서 저장되어 있는 읽지 않은 메시지를 가져옴 컨슈머 그룹의 컨슈머들은 가각의 파티션에 자신이 가져간 메시지의 위치 정보(offset) 을 기록 각 파티션에 대해 현재 위치를 업데이트 하는 동작을 commit 각 컨슈머 그룹별로 offset 정보를 저장하기 위한 저장소 별도로 사용 0.9 이전 버전은 zookeeper 에 저장 이후 버전은 카프카 내에 별도의 토픽을 만들어서 저장 → __consumer_offsets 컨슈머가 갑자기 다운 또는 새로운 컨슈머가 조인한다면 → 컨슈머 그룹 내에서 rebalance 발생 리벨런스 후 각각의 컨슈머는 이전에 처리했던 토픽의 파티션이 아닌 다른 새로운 파티션에 할당 → d컨슈머는 새로운 파티션에 대해 가장..

토픽의 파티션 수가 증가함에 따라 빠른 전송이 가능 하지만 무조건 파티션 수를 늘려주는 것이 좋을까? → 파티션 수의 변경은 신중하게 결정 장점 높은 처리량 : 파티션은 카프카에서 병렬 처리르 지원하도록 구성하는 방안 하드웨어 자원을 최대한 활용 가능 이슈 파일 핸들러 낭비 카프카에서는 모든 디렉토리의 파일들에 대해 파일 핸들을 열게됨 파티션의 수가 많을수록 파일 핸들 수 역시 많아 지게 되어 리소스 낭비 발생 장애 복구 시간 증가 프로듀서 메모리 증가 토픽의 적절한 파티션 수는? 하나의 파티션에 두개의 컨슈머 연결은 불가능 (하지만 1개의 컨슈머가 같은 토픽의 다른 2개의 파티션 연결은 가능) Java 코드에서 consumer.assign 으로 파티션설정시 array 로 설정하기 때문에 n개의 파티션으..

고려사항 디스크 처리량과 용량 메모리 네트워크 CPU 디스크 처리량 Producer 성능에는 브로커 디스크의 처리량(throuthput)이 가장 큰 영향을 줌 메시지 생성 시 서버의 로컬 스토리지에 저장되고, 메시지가 커밋되었다는 것을 최소한 한 브로커가 확인해줄 때까지 Producer 는 대기 따라서 디스크에 빨리 쓸수록 Producer 대기시간 감소 메모리 Consumer가 읽는 파티션의 메시지는 시스템 메모리의 페이지 캐시에 최적화되어 저장 따라서 브로커가 디스크로부터 메시지를 다시 읽어야 하는 것보다 더 빨리 처리될 수 있음 페이지 캐시로 사용되는 메모리가 많을수록 Consumer 성능 증가 서버에 다른 애플리케이션과 함께 실행하면 페이지 캐시를 공유하게 되어 Cosumer 성능 저하되므로 권장하..

kafka version 2.11 - 카프카 성능 테스트 정리 - Kafka 에서 제공하는 테스트용 스크립트 이용 - path : kafka/bin - kafka-producer-perf-test.sh - kafka-consumer-perf-test.sh - 위 스크립트를 옵션 없이 실행 시 아래와 같이 사용법 및 옵션 확인 가능 테스트용 토픽을 생성해서 테스트 진행 default 설정으로 사용시 최대 전송 가능한 record-size = 1MB (1048588 bytes) 1MB 이상 전송 시 카프카 설정 수정 후 재시작 server.properties → message.max.bytes producer.properties → max.request.size consumer.properties → max..

Install Releases · scouter-project/scouter Releases · scouter-project/scouter Scouter is an open source APM (Application Performance Management) tool. - scouter-project/scouter github.com scouter-all-2.10.0 다운로드 (2020.12.08 기준 최신버전 2.10.0) #linux & mac wget https://github.com/scouter-project/scouter/releases/download/v2.10.0/scouter-all-2.10.0.tar.gz unzip scouter-all-2.10.0.tar.gz #windows http..

Scouter? LG CNS에서 만들어 공개판 오픈소스 APM (Application Performance Monitoring) JVM을 사용하는 어플리케이션 및 OS 자원에 대한 실시간 모니터링 기능을 제공 scouter-project/scouter scouter-project/scouter Scouter is an open source APM (Application Performance Management) tool. - scouter-project/scouter github.com scouter-all-X.Y.Z.tar.gz ⇒ Server, Agent 모두 포함 # 2.7.0 https://github.com/scouter-project/scouter/releases/download/v2.7.0/..

port 확인 netstat -an | grep LISTEN netstat -atn |grep LISTEN netstat -an | grep :80TIMTE_WAIT 소켓 확인 netstat -napo | grep -i time_wait #cnt netstat -napo | grep -i -c time_wait TCP Keepalive #net.ipv4.tcp_keepalive_time : keepalive 소켓 유지 시간 (s) #net.ipv4.tcp_keepalive_probes : keepalive 패킷을 보낼 최대 전송 횟수 #net.ipv4.tcp_keepalive_intvl : keepalive 재전송 패킷을 보내는 주기 sysctl -a | grep -i keepalive LANG 확인 및..

typicode/json-server typicode/json-server Get a full fake REST API with zero coding in less than 30 seconds (seriously) - typicode/json-server github.com Get a full fake REST API with zero coding in less than 30 seconds (seriously) Created with scripts 에 추가 "jsonServer": "json-server --watch db.json --port 9000 --routes routes.json" db.json api response 값 정의 routes.json jsonServer 에서 uri depth 로..

Kibana는 무엇인가요? Kibana는 무엇인가요? Kibana는 Elastic Stack을 기반으로 구축된 무료 오픈 소스 프론트엔드 애플리케이션으로, Elasticsearch에서 색인된 데이터를 검색하고 시각화하는 기능을 제공합니다. Elastic Stack(이전에는 Elasticsearch, Lo www.elastic.co Kibana? Kibana는 Elastic Stack을 기반으로 구축된 무료 오픈 소스 프론트엔드 애플리케이션으로, Elasticsearch에서 색인된 데이터를 검색하고 시각화하는 기능을 제공합니다. Elastic Stack(이전에는 Elasticsearch, Logstash, Kibana의 머리글자를 따서 ELS Stack이라고 함)의 차트 작성 도구로 널리 알려진 Kiban..

https://www.keycloak.org/docs/latest/server_installation/ System Requirements Edit this sectionReport an issue These are the requirements to run the Keycloak authentication server: Can run on any operating system that runs Java Java 8 JDK zip or gzip and tar At least 512M of RAM At least 1G of diskspace A shared external database like PostgreSQL, MySQL, Oracle, etc. Keycloak requires an external..