众所周知，memcached并没有像redis那样提供了类似 keys * 的命令来获取所有key，也没有数据持久化，因此memcached想要dump所有的key，需要使用额外的命令组合或工具来实现，但有时命令和工具……也不一定会满足需求。下面是我最近对找到的几种方法进行的分析。

一、命令组合方式

我在git上发现如下工具： https://github.com/gnomeby/memcached-itool

使用该工具的dumpkeys可以将memcached的key进行dump，查看其实现方式发现也是使用了 stats items、stats cachedump 等命令组合实现的，下面介绍下这种方式的实现及原理。

1. 原理实现

首先需要明白memcached的内存管理方式：Slab Allocator

• memcached内存分为多个chunk组，即多个slab；
• 每个组的chunk有不同的大小规格，如slab 1中chunk大小均为96B，slab 2中chunk大小均为120B，以此类推；
• key根据其大小分别分配到不同的slab组的chunk中存储；

具体的内存分配机制不再展开描述，有兴趣的可以参考如下链接： https://www.cnblogs.com/zhoujinyi/p/5554083.html

2. 具体操作

1）stats items、stats slabs命令获取各slabs id以及slab的具体信息

stats items  STAT items:1:number 39       # slab中的key数量 STAT items:1:age 693911 STAT items:1:evicted 0 STAT items:1:evicted_nonzero 0 STAT items:1:evicted_time 0 STAT items:1:outofmemory 0 STAT items:1:tailrepairs 0 STAT items:1:reclaimed 7 STAT items:1:expired_unfetched 4 STAT items:1:evicted_unfetched 0 STAT items:1:crawler_reclaimed 0 STAT items:1:crawler_items_checked 0 STAT items:1:lrutail_reflocked 0 ... 

stats slabs  STAT 1:chunk_size 96        # slab中的chunk大小规格 STAT 1:chunks_per_page 10922 STAT 1:total_pages 1 STAT 1:total_chunks 10922 STAT 1:used_chunks 39 STAT 1:free_chunks 10883 STAT 1:free_chunks_end 0 STAT 1:mem_requested 3656 STAT 1:get_hits 3666 STAT 1:cmd_set 569 STAT 1:delete_hits 1 STAT 1:incr_hits 0 STAT 1:decr_hits 0 STAT 1:cas_hits 0 STAT 1:cas_badval 0 STAT 1:touch_hits 0 ... 

• STAT后的数字即slab的标识id

2）stats cachedump {slab_id} {limit_num} 获取slab下的key信息

stats cachedump 1 5 ITEM seller_shop_im_phone_122 [1 b; 1513935640 s]       # key名称 ITEM seller_shop_im_phone_11542 [1 b; 1513935346 s] ITEM user_third_userid_35543020 [2 b; 1516523664 s] ITEM seller_shop_im_phone_12331 [1 b; 1513933986 s] ITEM user_third_userid_70086126 [4 b; 1516517439 s] END 

• slab_id 即各slab组的标识id
• limit_num 即key的数量，0表示所有key

3. 问题缺陷

cachedump每次返回的数据只有2M；

而且在memcached源码中是写死的数值。

这个问题很严重。

网上并没有找到相关源码，于是我在官网下载了memcached-1.5.3的源码并查找，发现确实如此：

########## # 源码位置：memcached-1.5.3/items.c ########## char *item_cachedump(const unsigned int slabs_clsid, const unsigned int limit, unsigned int *bytes) {     unsigned int memlimit = 2 * 1024 * 1024;   /* 2MB max response size */     char *buffer;     unsigned int bufcurr;     item *it;     unsigned int len;     unsigned int shown = 0;     char key_temp[KEY_MAX_LENGTH + 1];     char temp[512];     unsigned int id = slabs_clsid;     id |= COLD_LRU;      pthread_mutex_lock(&lru_locks[id]);     it = heads[id];      buffer = malloc((size_t)memlimit);     if (buffer == 0) {         return NULL;     }     bufcurr = 0;      while (it != NULL && (limit == 0 || shown < limit)) {         assert(it->nkey <= KEY_MAX_LENGTH);         if (it->nbytes == 0 && it->nkey == 0) {             it = it->next;             continue;         }         /* Copy the key since it may not be null-terminated in the struct */         strncpy(key_temp, ITEM_key(it), it->nkey);         key_temp[it->nkey] = 0x00; /* terminate */         len = snprintf(temp, sizeof(temp), "ITEM %s [%d b; %llu s]\r\n",                        key_temp, it->nbytes - 2,                        it->exptime == 0 ? 0 :                        (unsigned long long)it->exptime + process_started);         if (bufcurr + len + 6 > memlimit)  /* 6 is END\r\n\0 */             break;         memcpy(buffer + bufcurr, temp, len);         bufcurr += len;         shown++;         it = it->next;     }      memcpy(buffer + bufcurr, "END\r\n", 6);     bufcurr += 5;      *bytes = bufcurr;     pthread_mutex_unlock(&lru_locks[id]);     return buffer; } 

可以看到：

• 函数第一句定义了 memlimit 参数来限制大小为2M；
• 之后通过 malloc((size_t)memlimit) 申请了名为buffer的2M空间；
• 循环获取slab中的item直到达到2M上限；
• 最后copy到buffer中并return；

由此可以明白，上述命令组合的方式虽然可以批量获取key，但每个slab最大只能dump 2M，数据量超过2M则无法获得所有的key。

当然，可以尝试将源码中的memlimit参数调大后重新编译，但是这样也没法从根本上解决问题，因为不可能每次数据量超过后都重新编译一次，而如果直接设置一个很大的值的话————cachedump会不会直接把memcached搞挂掉我也保不准啊！毕竟源码中可是直接 malloc((size_t)memlimit) 一次申请了整个内存的！

感兴趣的大兄弟可以试一下，然后告诉我结果。