개발17 JedisExhaustedPoolException 이슈 JedisExhaustedPoolException 이슈 발생redis.clients.jedis.exceptions.JedisExhaustedPoolExceptionCould not get a resource since the pool is exhausted트래픽이 몰리는 경우 jedis Pool exhausted 오류 발생하여, 해당 오류를 해결하기 위해 원인을 파악해 보았습니다.jesque 가 단순 enqueue인데 트래픽이 얼마나 몰리길래 pool이 부족한지 의문을 가졌고, redis LPUSH 시간복잡도가 어느 정도인지 확인해 보았습니다.https://redis.io/commands/lpush/ LPUSHPrepends one or more elements to a list. Creates the .. 2024. 9. 8. Kafka 설정 값 Producer 설정acksacks란 producer 가 카프카 토픽의 리더에게 메시지 전송 후 요청을 완료하기 전 ack 수를 말한다. (참고)acks=0 : 프로듀서는 서버로부터 어떠한 ack도 기다리지 않는다.서버가 데이터를 받았는지 보장하지 않고, 클라이언트는 전송 실패에 대한 결과를 알지 못해 재요청 설정도 적용되지 않음높은 처리량, 데이터 손실될 수가 있음.acks=1 : 리더는 데이터를 기록하지만, 모든 팔로워는 확인하지 않음.일부 데이터 손실이 발생할 수 있음.acks=all : 리더는 ISR의 팔로워로부터 데이터에 대한 ack를 기다림.하나의 팔로워가 있는 한 데이터는 손실되지 않음.데이터가 손실이 되어도 되는지 여부에 따라 알맞게 설정해야 한다.compression-type (메시지 압.. 2024. 9. 8. Transaction Transaction 이란?트랜잭션이란 논리적 작업 단위로서 하나의 단위로 처리되어야 하는 분리될 수 없는 연산 그룹을 말합니다. 쉽게 말해 데이터베이스의 상태를 변화시키기 위해 수행하는 작업 단위입니다.상태를 변화시킨다는 것은 아래의 SQL(질의어)을 이용해 데이터베이스에 접근하는 것을 의미합니다.SELECTINSERTDELETEUPDATE특징ACIDAtomicity 원자성 : 트랜잭션이 데이터베이스에 모두 반영되거나, 모두 반영되지 않아야 한다.Consistency 일관성 : 트랜잭션의 작업처리 결과가 항상 일관성이 있어야 한다.Isolation 독립성 : 두 개 이상의 트랜잭션이 동시에 실행되고 있을 경우에는 어느 하나의 트랜잭션도 다른 트랜잭션 연산에 끼어들 수 없다.Durability 지속성 :.. 2024. 9. 8. NoSQL NoSQL 이란?Not Only SQL의 단어 뜻으로 SQL만을 사용하지 않는 데이터베이스 관리 시스템을 지칭하는 말입니다.대부분 cluster에서 실행할 목적으로 만들어졌기 때문에 관계형 모델을 사용하지 않습니다. 그러나 모든 NoSQL 데이터베이스가 cluster에서 실행되도록 맞춰진 것은 아닙니다. NoSQL 모델 중 하나인 그래프 데이터베이스는 관계형 데이터베이스와 비슷한 분산 모델을 사용합니다.NoSQL은 오픈소스이며, 스키마 없이 동작하고, 구조에 대한 정의를 변경할 필요 없이 데이터베이스 레코드에 자유롭게 필드를 추가할 수 있습니다.기존에는 트랜잭션을 통한 안정적인 데이터 관리가 가장 중요한 이슈였기 때문에 RDBMS를 사용했지만, 데이터와 트래픽 양이 기하급수적으로 증가함에 따라 데이터를 .. 2024. 8. 25. 추천 시스템 추천이란추천이란 데이터를 통해서 사용자가 아직 소비하지 않은 아이템 중 선호할 만한 것을 예측하는 것을 말합니다. 추천 시스템은 기본적으로 콘텐츠 기반 필터링 방식과 협업 필터링 방식이 있습니다. 두 알고리즘의 차이는 어느 데이터를 사용하느냐에 따라서 구분됩니다.콘텐츠 기반 필터링 방식콘텐츠 기반 필터링 방식은 사용자 혹은 아이템에 대한 프로필 데이터를 가지고 사용자가 좋아했던 아이템과 비슷한 유형의 아이템을 추천하거나 비슷한 유형의 사람이 좋아하는 아이템을 추천하는 방식입니다.예를 들어, 아이템 기반 추천 방식은 슈퍼맨 영화에 대한 사전 분석을 통해 SF, 히어로 장르 등의 특징을 기록하고, 슈퍼맨을 본 사람에게 배트맨과같이 비슷한 종류의 영화를 추천해 줍니다.사용자 기반 추천 방식은 사용자에 대해서 .. 2024. 8. 25. 이전 1 2 3 다음