redis clients lettuce lettuce_sentinel_failover

Lettuce Sentinel Failover and Load Balancing

레디스 개발자 교육 신청	레디스 정기점검/기술지원 Redis Technical Support	레디스 엔터프라이즈 서버 Redis Enterprise Server

Sentinel Failover and Load Balancing

Sentinel에 연결해서 Redis에 접속하는 방법을 설명한다.
조회 명령을 복제본에서 실행해서 부하 분산(load balancing)하는 방법을 설명한다.
Lettuce-6.1.7과 Redis-7.0.3에서 실행했다.

• Sentinel에 연결해서 Redis에 접속하는 방법을 설명한다.
• 조회 명령을 복제본에서 실행해서 부하 분산(load balancing)하는 방법을 설명한다.
• 입력, 조회 중 서버가 다운되었을 경우 장애 조치(failover) 테스트

Sentinel에 연결해서 Redis에 접속하는 방법

1) jar 파일 복사: lettuce-core-6.1.7.RELEASE.jar, dependencies/* -> C:\eclipse\workspace2/libs/ 2) Create Project Menu: File -> New -> Java Project Project name: Lettuce JRE: javaSE-1.8 Finish 3) 이미 만들어 놓은 lettuce lib 추가 할 때: Project name (우클릭) -> Properties -> Java Build Path -> Tab: Libraris -> Add Library -> User Library -> Next -> lettuce (선택) -> Finish -> Apply and Close 4) Class (Main.java, Util.java, Config.java) 만들기 Menu: File -> New -> Class -> Name: Main, public static void main (선택) -> Finish Menu: File -> New -> Class -> Name: Util -> Finish Menu: File -> New -> Class -> Name: Config -> Finish

Main.java

import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Date; import java.util.List; import java.util.Scanner; import io.lettuce.core.ReadFrom; import io.lettuce.core.RedisClient; import io.lettuce.core.RedisFuture; import io.lettuce.core.RedisURI; import io.lettuce.core.api.StatefulRedisConnection; import io.lettuce.core.codec.StringCodec; import io.lettuce.core.masterreplica.MasterReplica; import io.lettuce.core.masterreplica.StatefulRedisMasterReplicaConnection; public class Main { public static String workDir = ""; public static String sentinelConfigFileName = "sentinel.cfg"; public static ArrayList<String[]> sentinelList = new ArrayList<String[]>(); public static Util util = new Util(); public static RedisClient redisClient = null; public static StatefulRedisMasterReplicaConnection<String, String> connection = null; public static RedisClient redisClient7000 = null; public static RedisClient redisClient7001 = null; public static RedisClient redisClient7002 = null; public static StatefulRedisConnection<String, String> connection7000 = null; public static StatefulRedisConnection<String, String> connection7001 = null; public static StatefulRedisConnection<String, String> connection7002 = null; public static SimpleDateFormat format1 = new SimpleDateFormat ( "yyyy-MM-dd HH:mm:ss.SSS"); public static void main(String[] args) { sentinel(); } @SuppressWarnings({ "unused", "resource" }) public static void sentinel() { int loop = 1000; boolean failoverTest = true; Scanner scanner = new Scanner(System.in); System.out.println("Hello Sentinel-Lettuce World"); System.out.println("Redis-7.0.3, Lettuce-6.1.7"); Main.workDir = System.getProperty("user.dir")+"\\"; System.out.println("workdir: "+Main.workDir); // sentinel.cfg 파일에서 sentinel ip,port,mymaster,password를 읽어온다. Config config = new Config(); config.loadSentinelConfig(); // String redisConn = "redis://"+password+"@"+ip+":"+port+"/0?timeout=60s"; // String sentinelConn = "redis-sentinel://password@192.168.56.102:8000,192.168.56.102:8001/0?timeout=60s#mymaster"; // Sentinel Connection string을 만든다. String sentinelConn = "redis-sentinel://"; String mymaster = null; String ip = null; String password = null; for (int i=0; i < Main.sentinelList.size(); i++) { String conn[] = Main.sentinelList.get(i); if (i==0) { password = conn[4]; ip = conn[1]; // redis server connection mymaster = conn[3]; // mymaster sentinelConn += password+"@"+ip+":"+conn[2]; // password, ip:port } else { sentinelConn += ","+conn[1]+":"+conn[2]; // ip:port } } sentinelConn += "/0?timeout=60s#"+mymaster; System.out.println(sentinelConn); // Sentinel Connection redisClient = RedisClient.create(); RedisURI redusURI = RedisURI.create(sentinelConn); connection = MasterReplica.connect(redisClient, StringCodec.UTF8, redusURI); System.out.println("Connected to Redis"); // role, info 같은 명령은 마스터에서만 실행된다. List<Object> role = connection.sync().role(); System.out.println(role.toString()); String info = connection.sync().info("server"); System.out.println(info); // Redis Connection: 각 서버별로 실행할 명령은 각각 연결해야 한다. String conn7000 = "redis://"+password+"@"+ip+":7000/0?timeout=60s"; String conn7001 = "redis://"+password+"@"+ip+":7001/0?timeout=60s"; String conn7002 = "redis://"+password+"@"+ip+":7002/0?timeout=60s"; if (failoverTest == false) { try { redisClient7000 = RedisClient.create(conn7000); redisClient7001 = RedisClient.create(conn7001); redisClient7002 = RedisClient.create(conn7002); connection7000 = redisClient7000.connect(); connection7001 = redisClient7001.connect(); connection7002 = redisClient7002.connect(); } catch (Exception e) { System.out.println(e.getMessage()); return; } System.out.println("Redis Connection 7000, 7001, 7002 -> OK"); } System.out.println("loop:"+loop); while(true) { System.out.println("1: SET Sync 2: SET Async\n"+ "3:ANY 4:ANY_REPLICA\n"+ "5:MASTER=UPSTREAM 6:MASTER_PREFERRED=UPSTREAM_PREFERRED\n"+ "7:REPLICA 8:REPLICA_PREFERRED\n"+ "9:LOWEST_LATENCY"); System.out.println("선택(exit:99)> "); String input = scanner.nextLine(); int i = util.checkInt(input); switch (i) { case 1: connection.sync().flushdb(); syncSet(loop); break; case 2: connection.sync().flushdb(); asyncSet(loop); break; case 3: connection.setReadFrom(ReadFrom.ANY); break; case 4: connection.setReadFrom(ReadFrom.ANY_REPLICA); break; case 5: connection.setReadFrom(ReadFrom.MASTER); break; case 6: connection.setReadFrom(ReadFrom.MASTER_PREFERRED); break; case 7: connection.setReadFrom(ReadFrom.REPLICA); break; case 8: connection.setReadFrom(ReadFrom.REPLICA_PREFERRED); break; case 9: connection.setReadFrom(ReadFrom.LOWEST_LATENCY); break; case 99: break; default: System.out.println("잘못 선택했습니다. 다시 선택하세요. "); } if (i==99) break; if (i >= 3 && i <= 9) { if (failoverTest == false) { connection7000.sync().configResetstat(); connection7001.sync().configResetstat(); connection7002.sync().configResetstat(); System.out.println("Config Reset 7000, 7001, 7002 -> OK"); } if (true) syncGet(loop); if (false) asyncGet(loop); try { Thread.sleep(3000); // 3초 대기 } catch (InterruptedException e) { System.out.println(e.getMessage()); return; } if (failoverTest == false) { String ret = null; ret = connection7000.sync().info("commandstats"); System.out.println("info 7000 "+ret); ret = connection7001.sync().info("commandstats"); System.out.println("info 7001 "+ret); ret = connection7002.sync().info("commandstats"); System.out.println("info 7002 "+ret); } } } connection.close(); redisClient.shutdown(); System.out.println("Close"); } // Sync Set public static void syncSet(int loop) { long time1 = System.currentTimeMillis(); for (int i=1; i<=loop; i++) { String key = "key-"+String.format("%05d", i); String value = "value-"+String.format("%05d", i); Date time = new Date(); String timeFormat = "["+format1.format(time)+"] "; try { Thread.sleep(100); // 100ms 대기 String ret = connection.sync().set(key, value); System.out.println(timeFormat+key+" --> "+ret); } catch (Exception e) { System.out.println(timeFormat+key+" --> Fail"); i--; // 실패했을 경우 1을 빼서 데이터가 유실되지 않고 입력되게 한다. continue; } } System.out.println("Sync Set"); long time2 = System.currentTimeMillis(); String msg = util.elapse(time1, time2); System.out.println(msg); } // Async Set public static void asyncSet(int loop) { long time1 = System.currentTimeMillis(); for (int i=1; i<=loop; i++) { String key = "key-"+String.format("%05d", i); String value = "value-"+String.format("%05d", i); Date time = new Date(); String timeFormat = "["+format1.format(time)+"] "; try { connection.async().set(key, value); } catch (Exception e) { System.out.println(timeFormat+key+" --> Fail"); continue; } } System.out.println("Async Set"); long time2 = System.currentTimeMillis(); String msg = util.elapse(time1, time2); System.out.println(msg); } // Sync Get public static void syncGet(int loop) { long time1 = System.currentTimeMillis(); for (int i=1; i<=loop; i++) { Date time = new Date(); String timeFormat = "["+format1.format(time)+"] "; String key = "key-"+String.format("%05d", i); try { Thread.sleep(100); // 100ms 대기 String ret = connection.sync().get(key); System.out.println(timeFormat+key+" --> "+ret); } catch (Exception e) { System.out.println(timeFormat+key+" --> Fail"); i--; // 실패했을 경우 1을 빼서 데이터가 유실되지 않고 입력되게 한다. continue; } } System.out.println("Sync Get"); long time2 = System.currentTimeMillis(); String msg = util.elapse(time1, time2); System.out.println(msg); } // Async Get public static void asyncGet(int loop) { long time1 = System.currentTimeMillis(); if (true) { for (int i=1; i<=loop; i++) { try { RedisFuture<String> ret = connection.async().get("key-"+String.format("%05d", i)); ret.thenAccept(r -> { System.out.println("GET -> "+r.toString()); }); } catch (Exception e) { System.out.println(e.getMessage()); return; } } System.out.println("Async Get"); } long time2 = System.currentTimeMillis(); String msg = util.elapse(time1, time2); System.out.println(msg); } }

Util.java

import java.text.DecimalFormat; import java.util.ArrayList; public class Util { public DecimalFormat decFmt = new DecimalFormat("###,###"); public Util () { } public int checkInt(String val) { try { int i = Integer.parseInt(val); return i; } catch (NumberFormatException e) { return Integer.MIN_VALUE; } } public long checkLong(String val) { try { long l = Long.parseLong(val); return l; } catch (NumberFormatException e) { return Long.MIN_VALUE; } } public double checkDouble(String val) { try { double d = Double.parseDouble(val); return d; } catch (NumberFormatException e) { return Double.MIN_VALUE; } } // space(공란)이 여러개 있어도 처리하고 "str1 str2"도 한 단어로 처리한다. // https://code-examples.net/ko/q/335d89 public String[] split(String str) { str += " "; // To detect last token when not quoted... ArrayList<String> strings = new ArrayList<String>(); boolean inQuote = false; StringBuilder sb = new StringBuilder(); for (int i = 0; i < str.length(); i++) { char c = str.charAt(i); if (c == '"' || c == ' ' && !inQuote) { if (c == '"') inQuote = !inQuote; if (!inQuote && sb.length() > 0) { strings.add(sb.toString()); sb.delete(0, sb.length()); } } else sb.append(c); } return strings.toArray(new String[strings.size()]); } public String elapse(long start, long end) { String elapse = ""; int elapseTime = (int) (end-start); if (elapseTime >= 1000) { elapse = this.decFmt.format(elapseTime/1000.0)+"sec"; } else { elapse = this.decFmt.format(elapseTime)+"ms"; } return "[소요시간:"+elapse+"]"; } }

Config.java

import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.IOException; public class Config { Util util = new Util(); public Config() { } public void loadSentinelConfig() { String fileName = Main.workDir+Main.sentinelConfigFileName; File file = new File(fileName); int idx = 1; try (BufferedReader reader = new BufferedReader(new FileReader(file))) { String line; while ((line = reader.readLine()) != null) { // Tab(9), Carriage return(13), Space(32), , #(35), if (line.charAt(0)==9 || line.charAt(0)==13 || line.charAt(0)==32 || line.charAt(0)==35 ) continue; // space, tab이 여러 개 있으면 name.length=1, 바로 new-line이면 length=0 String name[] = util.split(line); if (name.length <= 1) continue; // 유효한 문자가 없으면 바로 다음 라인을 읽는다. System.out.println(idx+":"+line); idx++; Main.sentinelList.add(name); } } catch (FileNotFoundException e) { System.out.println(e.getMessage()); } catch (IOException e) { System.out.println(e.getMessage()); } } }

부하 분산(load balancing)하는 방법

조회 명령을 복제본에서 실행해서 부하 분산(load balancing)하는 방법

조회 명령을 복제본에서 실행해서 부하 분산(load balancing)하는 방법을 설명한다.
다음은 Lettuce에서 제공하는 조회 명령을 분산 실행하는 방법이다.
ReadFrom에서 선택할 수 있다.

• ANY: 마스터, 복제본 가리지 않고 골고루 조회 명령을 실행한다.
  code: new ReadFromImpl.ReadFromAnyNode(); // @since 5.2
• ANY_REPLICA: 복제본에서 조회 명령을 실행한다.
  복제본이 없을 경우 명령을 실행할 수 없다.
  code: new ReadFromImpl.ReadFromAnyReplica(); // @since 6.0.1
• MASTER = UPSTREAM: 마스터에서만 조회 명령을 실행한다.
  code: new ReadFromImpl.ReadFromUpstream(); // @since 6.0
• MASTER_PREFERRED = UPSTREAM_PREFERRED: 기본적으로 마스터에서 실행하고 마스터가 사용할 수 없을 경우 복제본에서 실행한다.
  code: new ReadFromImpl.ReadFromUpstreamPreferred(); // @since 6.0
• REPLICA = SLAVE: 복제본에서만 조회 명령을 실행한다.
  복제본이 없을 경우 명령을 실행할 수 없다.
  code: new ReadFromImpl.ReadFromReplica(); // @since 5.2
• REPLICA_PREFERRED = SLAVE_PREFERRED: 기본적으로 복제본에서 실행하고 복제본을 사용할 수 없을 경우 마스터에서 실행한다.
  code: new ReadFromImpl.ReadFromReplicaPreferred(); // @since 5.2
• LOWEST_LATENCY = NEAREST: 대기 시간이 가장 짧은 노드에서 읽도록 설정한다.
  new ReadFromImpl.ReadFromLowestCommandLatency(); // @since 6.1.7

ANY

마스터, 복제본 가리지 않고 골고루 조회 명령을 실행한다.
부한 분산이 잘되고(마스터에서 조회 명령이 실행되는 것이 단점이지만), 복제본이 모두 다운되었을 때도 조회 명령이 마스터에서 실행된다. -> 추천 설정 sync get [소요시간:96sec] loop: 10000 7000: get:calls=3317,usec=8603,usec_per_call=2.59 7001: get:calls=3352,usec=8828,usec_per_call=2.63 7002: get:calls=3331,usec=8825,usec_per_call=2.65 sync get [소요시간:10sec] loop: 1000 7000: get:calls=347,usec=912,usec_per_call=2.63 7001: get:calls=328,usec=841,usec_per_call=2.56 7002: get:calls=325,usec=829,usec_per_call=2.55 async get [소요시간:640ms] loop: 10000 7000: get:calls=3301,usec=2993,usec_per_call=0.91 7001: get:calls=3369,usec=2772,usec_per_call=0.82 7002: get:calls=3330,usec=2476,usec_per_call=0.74

ANY_REPLICA

복제본에서만 실행된다, 복제본에 골고루 분배되지만 복제본이 모두 다운되었을 경우는 명령이 실패한다. sync get [소요시간:10sec] loop: 1000 7000: get:calls=0 7001: get:calls=530,usec=1401,usec_per_call=2.64 7002: get:calls=470,usec=1261,usec_per_call=2.68 async get [소요시간:600ms] loop: 10000 7000: get:calls=0 7001: get:calls=4958,usec=3592,usec_per_call=0.72 7002: get:calls=5042,usec=3670,usec_per_call=0.73

MASTER = UPSTREAM

마스터에서만 조회 명령을 실행한다. sync get [소요시간:11sec] loop: 1000 7000: get:calls=calls=1000,usec=2483,usec_per_call=2.48 7001: get:calls=0 7002: get:calls=0 async get [소요시간:458ms] loop: 10000 7000: get:calls=10000,usec=5937,usec_per_call=0.59 7001: get:calls=0 7002: get:calls=0

MASTER_PREFERRED = UPSTREAM_PREFERRED

기본적으로 마스터에서 실행하고 마스터가 사용할 수 없을 경우 복제본에서 실행한다. sync get [소요시간:10sec] loop: 1000 7000: get:calls=1000,usec=2511,usec_per_call=2.51 7001: get:calls=0 7002: get:calls=0 async get [소요시간:22ms] loop: 1000 7000: get:calls=1000,usec=766,usec_per_call=0.77 7001: get:calls=0 7002: get:calls=0

REPLICA = SLAVE

복제본 중 한 곳에 집중된다. 테스트에서 두번째 복제본에서만 다 실행됐다. sync get [소요시간:10sec] loop: 1000 7000: get:calls=0 7001: get:calls=0 7002: get:calls=calls=1000,usec=2486,usec_per_call=2.49 async get [소요시간:507ms] -> 7000: get:calls=0 7001: get:calls=0 7002: get:calls=10000,usec=5933,usec_per_call=0.59

REPLICA_PREFERRED = SLAVE_PREFERRED

복제본이 모두 다운되었을 경우 마스터에서 조회한다.
복제본 중 한 곳에 집중된다. 테스트에서 첫번째 복제본에서만 다 실행됐다. sync get [소요시간:11sec] loop: 1000 7000: get:calls=0 7001: get:calls=1000,usec=2501,usec_per_call=2.50 7002: get:calls=0 async get [소요시간:502ms] 7000: get:calls=0 7001: get:calls=10000,usec=6040,usec_per_call=0.60 7002: get:calls=0

LOWEST_LATENCY = NEAREST

대기 시간이 가장 짧은 노드에서 읽도록 설정한다.
복제본 중 한 곳에 집중되는 경향이 있다. sync get [소요시간:10sec] loop: 1000 7000: get:calls=0 7001: get:calls=1000,usec=2522,usec_per_call=2.52 7002: get:calls=0 async get [소요시간:23ms] loop: 1000 7000: get:calls=0 7001: get:calls=1000,usec=653,usec_per_call=0.65 7002: get:calls=0

입력, 조회 중 서버가 다운되었을 경우 장애 조치(failover) 테스트

입력, 조회 중 서버가 다운되었을 경우 장애 조치(failover) 테스트

입력 명령(SET) 반복 실행 중 마스터 다운 테스트

kill -9 pid로 7000번 마스터 서버를 다운시킨다.
Reconnecting 두 번 반복하고 약 10초 후 새 서버에 명령이 실행된다. [2022-07-25 08:46:06.950] key-00158 --> OK 7월 25, 2022 8:46:07 오전 io.lettuce.core.protocol.ConnectionWatchdog run 정보: Reconnecting, last destination was /192.168.56.102:7000 7월 25, 2022 8:46:09 오전 io.lettuce.core.protocol.ConnectionWatchdog lambda$run$4 경고: Cannot reconnect to [192.168.56.102/<unresolved>:7000]: Connection refused: no further information: /192.168.56.102:7000 7월 25, 2022 8:46:13 오전 io.lettuce.core.protocol.ConnectionWatchdog run 정보: Reconnecting, last destination was 192.168.56.102/<unresolved>:7000 7월 25, 2022 8:46:15 오전 io.lettuce.core.protocol.ConnectionWatchdog lambda$run$4 경고: Cannot reconnect to [192.168.56.102/<unresolved>:7000]: Connection refused: no further information: /192.168.56.102:7000 [2022-07-25 08:46:07.070] key-00159 --> Fail [2022-07-25 08:46:17.458] key-00159 --> OK Source code try { Thread.sleep(100); // 100ms 대기 String ret = connection.sync().set(key, value); System.out.println(timeFormat+key+" --> "+ret); } catch (Exception e) { System.out.println(timeFormat+key+" --> Fail"); i--; // 실패했을 경우 1을 빼서 데이터가 유실되지 않고 입력되게 한다. continue; }

조회(ANY_REPLICA) 중 복제본 1,2 차례로 다운

조회 시작 7001 down [2022-07-24 21:35:49.473] key-00047 --> value-00047 7월 24, 2022 9:35:49 오후 io.lettuce.core.protocol.ConnectionWatchdog run 정보: Reconnecting, last destination was /192.168.56.102:7001 [2022-07-24 21:35:49.594] key-00048 --> value-00048 ... [2022-07-24 21:35:51.534] key-00064 --> value-00064 7월 24, 2022 9:35:51 오후 io.lettuce.core.protocol.ConnectionWatchdog lambda$run$4 경고: Cannot reconnect to [192.168.56.102/<unresolved>:7001]: Connection refused: no further information: /192.168.56.102:7001 [2022-07-24 21:35:51.657] key-00065 --> value-00065 ... [2022-07-24 21:35:55.957] key-00100 --> value-00100 7월 24, 2022 9:35:56 오후 io.lettuce.core.protocol.ConnectionWatchdog run 정보: Reconnecting, last destination was 192.168.56.102/<unresolved>:7001 [2022-07-24 21:35:56.079] key-00101 --> value-00101 ... [2022-07-24 21:35:58.030] key-00117 --> value-00117 7월 24, 2022 9:35:58 오후 io.lettuce.core.protocol.ConnectionWatchdog lambda$run$4 경고: Cannot reconnect to [192.168.56.102/<unresolved>:7001]: Connection refused: no further information: /192.168.56.102:7001 [2022-07-24 21:35:58.152] key-00118 --> value-00118 ... 조회 진행 7002 down Fail -> 조회하지 못함. Master만 있을 경우 (7001, 7002 down된 상태) Fail -> 조회하지 못함. Source code try { Thread.sleep(100); // 100ms 대기 String ret = connection.sync().get(key); System.out.println(timeFormat+key+" --> "+ret); } catch (Exception e) { System.out.println(timeFormat+key+" --> Fail"); // Fail이 print되지 않는다. i--; // 실패했을 경우 1을 빼서 데이터가 유실되지 않고 입력되게 한다. continue; }

조회(ANY) 7000번 마스터만 살아있는 상태에서 조회 시작

조회 시작 후 7001번, 7002번 차례로 시작 7000 get:calls=643 7001 시작 get:calls=362 7002 시작 get:calls=286 비교적 골고루 잘 실행됨.

조회(ANY) 7000, 7001, 7002 모두 살아있음.

조회 시작 후 7001번, 7002번 차례로 다운 7001 다운 [2022-07-24 21:54:50.866] key-00341 --> value-00341 7월 24, 2022 9:54:50 오후 io.lettuce.core.protocol.ConnectionWatchdog run 정보: Reconnecting, last destination was /192.168.56.102:7001 [2022-07-24 21:54:50.990] key-00342 --> value-00342 ... [2022-07-24 21:54:52.942] key-00358 --> value-00358 7월 24, 2022 9:54:53 오후 io.lettuce.core.protocol.ConnectionWatchdog lambda$run$4 경고: Cannot reconnect to [192.168.56.102/<unresolved>:7001]: Connection refused: no further information: /192.168.56.102:7001 [2022-07-24 21:54:53.063] key-00359 --> value-00359 ... [2022-07-24 21:54:57.320] key-00394 --> value-00394 7월 24, 2022 9:54:57 오후 io.lettuce.core.protocol.ConnectionWatchdog run 정보: Reconnecting, last destination was 192.168.56.102/<unresolved>:7001 [2022-07-24 21:54:57.441] key-00395 --> value-00395 ... [2022-07-24 21:54:59.501] key-00412 --> value-00412 7월 24, 2022 9:54:59 오후 io.lettuce.core.protocol.ConnectionWatchdog lambda$run$4 경고: Cannot reconnect to [192.168.56.102/<unresolved>:7001]: Connection refused: no further information: /192.168.56.102:7001 [2022-07-24 21:54:59.627] key-00413 --> value-00413 ... 7002 다운 [2022-07-24 21:55:11.522] key-00511 --> value-00511 7월 24, 2022 9:55:11 오후 io.lettuce.core.protocol.ConnectionWatchdog run 정보: Reconnecting, last destination was /192.168.56.102:7002 [2022-07-24 21:55:11.644] key-00512 --> value-00512 ... [2022-07-24 21:55:13.677] key-00529 --> value-00529 7월 24, 2022 9:55:13 오후 io.lettuce.core.protocol.ConnectionWatchdog lambda$run$4 경고: Cannot reconnect to [192.168.56.102/<unresolved>:7002]: Connection refused: no further information: /192.168.56.102:7002 [2022-07-24 21:55:13.797] key-00530 --> value-00530 ... [2022-07-24 21:55:18.137] key-00566 --> value-00566 7월 24, 2022 9:55:18 오후 io.lettuce.core.protocol.ConnectionWatchdog run 정보: Reconnecting, last destination was 192.168.56.102/<unresolved>:7002 [2022-07-24 21:55:18.260] key-00567 --> value-00567 ... [2022-07-24 21:55:20.309] key-00584 --> value-00584 7월 24, 2022 9:55:20 오후 io.lettuce.core.protocol.ConnectionWatchdog lambda$run$4 경고: Cannot reconnect to [192.168.56.102/<unresolved>:7002]: Connection refused: no further information: /192.168.56.102:7002 [2022-07-24 21:55:20.431] key-00585 --> value-00585 7000 master에서 모두 실행