redis clients springboot springboot_connection_pool

Redis Connection Pool and Thread

레디스 개발자 교육 신청	레디스 정기점검/기술지원 Redis Technical Support	레디스 엔터프라이즈 서버 Redis Enterprise Server

Redis Connection Pool and Thread

Spring Boot에서 Redis Connection Pool 사용 방법과 Thread로 테스트 결과를 설명합니다.

• Spring Boot: 3.1.4
• Spring: 6.0.12
• Lettuce: 6.2.6
• commons-pool2: 2.11.1

Connection Pool 설정 - LettuceConnectionFactory

• Connection Pool을 사용하지 않을 경우: LettuceClientConfiguration를 사용합니다. LettuceClientConfiguration clientConfig = LettuceClientConfiguration.builder() .clientName(clientName) .build();
• Connection Pool을 사용할 경우: GenericObjectPoolConfig에 연결 수를 설정하고, LettucePoolingClientConfiguration를 사용해서 poolConfig(genericObjectPoolConfig)를 설정합니다. GenericObjectPoolConfig genericObjectPoolConfig = new GenericObjectPoolConfig(); genericObjectPoolConfig.setMaxTotal(10000); genericObjectPoolConfig.setMaxIdle(10000); genericObjectPoolConfig.setMinIdle(10); LettucePoolingClientConfiguration clientConfig = LettucePoolingClientConfiguration.builder() .clientName(clientName) .poolConfig(genericObjectPoolConfig) .build();
• connectionFactory.setShareNativeConnection(true/false) 설정: 기본값은 true입니다. LettuceConnectionFactory connectionFactory = new LettuceConnectionFactory(redisConfig, clientConfig); connectionFactory.setShareNativeConnection(true);
  • TRUE: Connection Pool을 설정해도 Redis와 연결은 1개만 맺습니다. Connection Pool을 적용하려면 false로 설정해야 합니다.
  • FALSE: Connection Pool을 사용하려면 false로 설정해야 합니다. 이 경우 스레드마다 스레드 시작 시 Redis 서버와 연결을 하나씩 맺습니다. 스레드가 100개이면 Redis 서버에 100개의 연결이 생깁니다.
  • Connection Pool을 설정하지 않은 상태에서 FALSE로 했을 경우: 명령 실행 시 연결이 필요하다고 판단되면 연결을 맺습니다. 연결 개수가 일정하지 않습니다.
    테스트해보면 연결 시에도 문제가 발생할 수 있고, 성능에도 좋지 않습니다. 권장하지 않습니다.

RedisConfig.java

package com.redisgate.redisthread; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.apache.commons.pool2.impl.GenericObjectPoolConfig; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.data.redis.connection.RedisStandaloneConfiguration; import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory; import org.springframework.data.redis.connection.lettuce.LettucePoolingClientConfiguration; @Configuration @Slf4j @RequiredArgsConstructor public class RedisConfig { @Value("${redis.host}") private String host; @Value("${redis.port}") private int port; @Value("${redis.password}") private String password; @Value("${redis.clientName}") private String clientName; @Bean public LettuceConnectionFactory redisConnectionFactory() { log.info("host: {}", host); log.info("port: {}", port); // Redis Config RedisStandaloneConfiguration redisConfig = new RedisStandaloneConfiguration(host, port); redisConfig.setPassword(password); // Client Config // Connection Pool을 사용하지 않을 경우 이 설정 사용 // LettuceClientConfiguration clientConfig = LettuceClientConfiguration.builder() // .clientName(clientName) // .build(); // Connection Pool을 사용할 경우 이 설정 사용 GenericObjectPoolConfig genericObjectPoolConfig = new GenericObjectPoolConfig(); genericObjectPoolConfig.setMaxTotal(10000); genericObjectPoolConfig.setMaxIdle(10000); genericObjectPoolConfig.setMinIdle(10); LettucePoolingClientConfiguration clientConfig = LettucePoolingClientConfiguration.builder() .clientName(clientName) .poolConfig(genericObjectPoolConfig) .build(); LettuceConnectionFactory connectionFactory = new LettuceConnectionFactory(redisConfig, clientConfig); connectionFactory.setShareNativeConnection(true); return connectionFactory; } }

Thread 설정

Thread 개수를 입력 받아 실행합니다. 각 thread 당 1000번 save(set 명령)을 실행합니다.

StringController.java

package com.redisgate.redisthread; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.*; import java.sql.Timestamp; @RestController @Slf4j @RequestMapping("/api/") public class StringController { @Autowired StringRepository stringRepository; @GetMapping("save/{size}") public void saveTest(@PathVariable("size") int size) { Thread[] thread = new Thread[size]; for (int i=0; i < size; i++) { thread[i] = new Thread(new Runnable() { @Override public void run() { save(); } }); } for (int i=0; i < size; i++) { thread[i].setName("Thread"+i); thread[i].start(); } } public void save() { int count = 1000; // save Thread thread = Thread.currentThread(); String threadName = thread.getName(); log.info("Redis Multi Thread 성능 테스트 - Save: {}", threadName); Timestamp startTime = new Timestamp(System.currentTimeMillis()); for (int i=0; i<count; i++) { stringRepository.save(threadName+"-"+i, "value-"+threadName+"-"+i); } Timestamp endTime = new Timestamp(System.currentTimeMillis()); log.info("{} 소요시간: {}회 -> {} ms (시작:{} ~ 종료: {})", threadName, count, endTime.getTime()-startTime.getTime(), startTime, endTime); // millis } }

Repository 설정

Save 메소드에서 set 명령을 실행합니다.

StringRepository.java

package com.redisgate.redisthread; import lombok.extern.slf4j.Slf4j; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.data.redis.core.ValueOperations; import org.springframework.stereotype.Repository; @Repository @Slf4j public class StringRepository { private ValueOperations redisString; public void save(String key, String value) { redisString.set(key, value); } }

Project 생성

start.spring.io
common-pool2는 dependencies에 없습니다.

Project: Gradle Language: Java Spring Boot 3.1.4 Group: com.redisgate Artifact: redis-thread Packaging: Jar Java: 17 Dependencies Spring Web Lombok Spring Data Redis(Access+Driver)

build.gradle

dependencies에 implementation 'org.apache.commons:commons-pool2' 추가했습니다.

plugins { id 'java' id 'org.springframework.boot' version '3.1.4' id 'io.spring.dependency-management' version '1.1.3' } java { sourceCompatibility = '17' } dependencies { implementation 'org.springframework.boot:spring-boot-starter-data-redis' implementation 'org.springframework.boot:spring-boot-starter-web' implementation 'org.apache.commons:commons-pool2' compileOnly 'org.projectlombok:lombok' annotationProcessor 'org.projectlombok:lombok' testImplementation 'org.springframework.boot:spring-boot-starter-test' }

성능 테스트 Performance Test

레디스 서버와 연결(connection)이 1개일 때와 여러 개(스레드 당 1개)일 때 성능 비교.

• 일반적으로 여러 스레드가 1개 연결을 사용하는 것보다는 스레드당 1개 연결을 사용하는 것이 성능이 더 좋을 거라는 생각.
  
• 1개 연결을 공유하게 하는 setShareNativeConnection()의 기본 값이 왜 true로 했을까에 대한 의문

결과: 스레드(1~100)까지는 Case 1,2의 성능이 거의 같다. (약간의 숫자 차이는 있지만 성능 테스트마다 숫자는 조금씩 다르게 나올 수 있으므로 가의 같은 것으로 본다.)
스레드(500, 1000)에서는 Case 2가 성능이 떨어진다. Case 2에서 스레드 5000은 스레드 시작 시 레디스 서버와 연결을 맺는데 연결 맺는 시간이 너무 오래 걸려서 테스트가 불가능했다.
결론: 연결 1개를 사용하는 것이 성능에 좋다.

Case 1: 연결 1개

setShareNativeConnection(true), true는 기본값이다.

Case 2: 연결 여러 개

setShareNativeConnection(false), setMaxTotal(10000);

• SET(us): Client 기준으로 SET 명령 1개당 걸린 시간(microsecond, μs), 레디스 서버 기준으로 약 3μs 정도 걸린다.
• 서버CPU: 20%를 넘지 못했다. 서버 CPU를 100% 다 사용하게 하려면 client(agent) 개수를 늘려야 한다.