RDB Functions

RDB Loading function과 Save function 비교

타입 저장/로드 function: rdbSaveType(), rdbLoadType()

int이지만 1바이트 unsigned char로 저장한다. Data type와 rdb에서 구분자로 사용되는 OPcode를 저장한다.

• int rdbSaveType(rio *rdb, unsigned char type) --- int rdbLoadType(rio *rdb)
• rdbWriteRaw(rdb,&type,1) --- rioRead(rdb,&type,1); return unsigned char type

데이터 타입은 아래와 같다.
RDB_TYPE_STRING 0
RDB_TYPE_LIST 1
RDB_TYPE_SET 2
RDB_TYPE_ZSET 3
RDB_TYPE_HASH 4
RDB_TYPE_ZSET_2 5 /* ZSET version 2 with doubles stored in binary. */
RDB_TYPE_MODULE 6
RDB_TYPE_MODULE_2 7 /* Module value with annotations for parsing without the generating module being loaded. */

Object types for encoded objects.
RDB_TYPE_HASH_ZIPMAP 9
RDB_TYPE_LIST_ZIPLIST 10
RDB_TYPE_SET_INTSET 11
RDB_TYPE_ZSET_ZIPLIST 12
RDB_TYPE_HASH_ZIPLIST 13
RDB_TYPE_LIST_QUICKLIST 14
RDB_TYPE_STREAM_LISTPACKS 15

Special RDB opcodes (saved/loaded with rdbSaveType/rdbLoadType).
RDB_OPCODE_MODULE_AUX 247 /* Module auxiliary data. */
RDB_OPCODE_IDLE 248 /* LRU idle time. */
RDB_OPCODE_FREQ 249 /* LFU frequency. */
RDB_OPCODE_AUX 250 /* RDB aux field. */
RDB_OPCODE_RESIZEDB 251 /* Hash table resize hint. */
RDB_OPCODE_EXPIRETIME_MS 252 /* Expire time in milliseconds. */
RDB_OPCODE_EXPIRETIME 253 /* Old expire time in seconds. */
RDB_OPCODE_SELECTDB 254 /* DB number of the following keys. */
RDB_OPCODE_EOF 255 /* End of the RDB file. */

밀리초 저장/로드 function: rdbSaveMillisecondTime(), rdbLoadMillisecondTime()

밀리초를 저장/로드한다. Long long을 사용해서 8바이트를 사용한다. Expire time, Update mstime(Enterprise ver)에서 사용한다.

• int rdbSaveMillisecondTime(rio *rdb, long long t) --- long long rdbLoadMillisecondTime(rio *rdb, int rdbver)
• rdbWriteRaw(rdb,&t64,8) --- rdbLoadRaw(rdb,&t64,8)

길이 저장/로드 function: rdbSaveLen(), rdbLoadLen()

데이터의 길이(string), 개수(SET같은 타입의 경우)를 저장한다. 차지하는 바이트수는 값에 따라 다르다.
1byte: 구분자 2bits, 길이 6bits(0~63)
2bytes: 구분자 2bits, 길이 14bits(64~16,383)
5bytes: 구분자 1byte, 길이 4bytes(int)
9bytes: 구분자 1byte, 길이 8bytes(long)

• int rdbSaveLen(rio *rdb, uint64_t len) --- uint64_t rdbLoadLen(rio *rdb, int *isencoded)
• rdbWriteRaw(rdb,buf,1/2/(1/4)/(1/8)) --- rdbLoadLenByRef(rdb,isencoded,&len)
                                                                            rioRead(rdb,buf,1+(1/4/8))

값(value)의 데이터 타입 저장/로드 function: rdbSaveObjectType(), rdbLoadObjectType()

val->type 또는 encoding을 위에서 설명한 rdbSaveType(), rdbLoadType()를 사용해서 저장/로드한다.

• int rdbSaveObjectType(rio *rdb, robj *o) --- int rdbLoadObjectType(rio *rdb)
• rdbSaveType(rdb,RDB_TYPE_*) --- int type = rdbLoadType(rdb); return type

값(value)을 저장/로드 function: rdbSaveObject(), rdbLoadObject()

robj를 저장/로드한다.

• ssize_t rdbSaveObject(rio *rdb, robj *o) OBJ_STRING rdbSaveStringObject(rdb,o) OBJ_LIST rdbSaveLen(rdb,ql->len) while(node) if(압축 가능) rdbSaveLzfBlob(rdb,data,compress_len,node->sz) else rdbSaveRawString(rdb,node->zl,node->sz) node = node->next; OBJ_SET rdbSaveLen(rdb,dictSize(set)) while(dictNext()) rdbSaveRawString(rdb,(unsigned char*)ele,sdslen(ele)) OBJ_ZSET rdbSaveLen(rdb,zsl->length) /* from the greatest to the smallest: insert O(1) */ zskiplistNode *zn = zsl->tail; while (zn != NULL) rdbSaveRawString(rdb,(unsigned char*)zn->ele,sdslen(zn->ele)); /* value */ rdbSaveBinaryDoubleValue(rdb,zn->score); /* score */ zn = zn->backward; OBJ_HASH rdbSaveLen(rdb,dictSize((dict*)o->ptr)); while((de = dictNext(di)) != NULL) rdbSaveRawString(rdb,(unsigned char*)field,sdslen(field)); rdbSaveRawString(rdb,(unsigned char*)value,sdslen(value)); OBJ_STREAM rdbSaveLen(rdb,raxSize(rax)); while (raxNext(&ri)) rdbSaveRawString(rdb,ri.key,ri.key_len); rdbSaveRawString(rdb,lp,lp_bytes); /* list pack */ 입력이 더 많음. OBJ_MODULE rdbSaveLen(rdb,mt->id); rdbSaveLen(rdb,RDB_MODULE_OPCODE_EOF);
• robj *rdbLoadObject(int rdbtype, rio *rdb) RDB_TYPE_STRING robj *o = rdbLoadEncodedStringObject(rdb); o = tryObjectEncoding(o); RDB_TYPE_LIST uint16_t len = rdbLoadLen(rdb,NULL); o = createQuicklistObject(); while(len--) { robj *ele = rdbLoadEncodedStringObject(rdb); robj *dec = getDecodedObject(ele); quicklistPushTail(o->ptr, dec->ptr, sdslen(dec->ptr)); } RDB_TYPE_SET uint16_t len = rdbLoadLen(rdb,NULL); for (i = 0; i < len; i++) { sdsele = rdbGenericLoadStringObject(rdb,RDB_LOAD_SDS,NULL); if (o->encoding == OBJ_ENCODING_INTSET) o->ptr = intsetAdd(o->ptr,llval,NULL); if (o->encoding == OBJ_ENCODING_HT) dictAdd((dict*)o->ptr,sdsele,NULL); } RDB_TYPE_ZSET uint16_t zsetlen = rdbLoadLen(rdb,NULL); while(zsetlen--) { sdsele = rdbGenericLoadStringObject(rdb,RDB_LOAD_SDS,NULL); rdbLoadBinaryDoubleValue(rdb,&score); znode = zslInsert(zs->zsl,score,sdsele); dictAdd(zs->dict,sdsele,&znode->score); RDB_TYPE_HASH uint16_t len = rdbLoadLen(rdb,NULL); while(len--) sds field = rdbGenericLoadStringObject(rdb,RDB_LOAD_SDS,NULL); sds value = rdbGenericLoadStringObject(rdb,RDB_LOAD_SDS,NULL); dictAdd((dict*)o->ptr, field, value); ETC 기타 여러가지 있다.

문자열(string)을 압축해서 저장/로드 function: rdbSaveLzfStringObject(), rdbLoadLzfStringObject()

LZF로 압축/해제한다.

• ssize_t rdbSaveLzfStringObject(rio *rdb, unsigned char *s, size_t len) ssize_t rdbSaveLzfBlob(rio *rdb, void *data, size_t compress_len, size_t original_len) rdbWriteRaw(rdb,&byte,1) 압축 타입 저장 rdbSaveLen(rdb,compress_len) 압축 길이 저장 rdbSaveLen(rdb,original_len) 원래 길이 저장 rdbWriteRaw(rdb,data,compress_len) 압축된 데이터 저장
• void *rdbLoadLzfStringObject(rio *rdb, int flags, size_t *lenptr) uint64_t clen = rdbLoadLen(rdb,NULL) 압축 길이 읽기 uint64_t len = rdbLoadLen(rdb,NULL) 원래 길이 읽기 rioRead(rdb,c,clen) 압축된 데이터 읽기 lzf_decompress(c,clen,val,len) 압축 해제 return createObject(OBJ_STRING,val);

문자열(string)을 저장/로드 function: rdbSaveStringObject(), rdbLoadStringObject()

• ssize_t rdbSaveStringObject(rio *rdb, robj *obj) if (obj->encoding == OBJ_ENCODING_INT) { return rdbSaveLongLongAsStringObject(rdb,(long)obj->ptr); else serverAssertWithInfo(NULL,obj,sdsEncodedObject(obj)); return rdbSaveRawString(rdb,obj->ptr,sdslen(obj->ptr)); ssize_t rdbSaveLongLongAsStringObject(rio *rdb, long long value) rdbEncodeInteger() if (int) rdbWriteRaw() 길이와 데이터를 한번에 저장한다. else rdbSaveLen() rdbWriteRaw() ssize_t rdbSaveRawString(rio *rdb, unsigned char *s, size_t len) if (len <= 11) rdbTryIntegerEncoding(); rdbWriteRaw(); return; if (len > 21) rdbSaveLzfStringObject(); return; rdbSaveLen(); 일반 스트링 길이 저장 rdbWriteRaw(); 일반 스트링 데이터 저장
• robj *rdbLoadStringObject(rio *rdb) void *rdbGenericLoadStringObject(rio *rdb, int flags, size_t *lenptr) len = rdbLoadLen(rdb,&isencoded); int -> return rdbLoadIntegerObject() lzf(압축) -> retrun rdbLoadLzfStringObject() rioRead()

Float/Double를 저장/로드 function

• Save int rdbSaveDoubleValue(rio *rdb, double val) return rdbWriteRaw(rdb,buf,len); int rdbSaveBinaryDoubleValue(rio *rdb, double val) rdbWriteRaw() int rdbSaveBinaryFloatValue(rio *rdb, float val) rdbWriteRaw()
• Load int rdbLoadDoubleValue(rio *rdb, double *val) rioRead(rdb,&len,1); rioRead(rdb,buf,len); int rdbLoadBinaryDoubleValue(rio *rdb, double *val) rioRead() int rdbLoadBinaryFloatValue(rio *rdb, float *val) rioRead()