关于Memcached客户端CPU过高问题的排查

公司网站使用了Memcached来做分布式缓存，最近有人反映Memcached客户端占用CPU过高，怀疑是第三方客户端性能不佳，进而怀疑是文本协议的问题，要求部门自己开发Memcached的客户端，使其支持二进制协议。因为重新开发客户端工作量比较大，同时在日常开发中，没有听说过Memcached客户端遇到瓶颈。因此对此问题进行了排查。结果发现主要是由于客户端反序列化，类设计不合理造成的。把排查过程分享下，希望对其他人有所帮助。 

首先想到是：Memcached服务器端内存占满，在清理内存中，造成客户端socket连接不上，不断发生异常。随上服务器查看了Memcached的内存占用率，连接数等，发现利用率均很低。暂时先排除服务器端问题。 

其次想到可能是第三方在使用socket连接池时，造成资源没有关闭，或者死锁。随对第三方客户端代码粗略读了一遍，并搜索相关文档。未发现异常代码。暂时先排除第三方客户端问题。 

最后想到会不会是开发人员在代码编写中出现了问题。随对反映问题的两个产品进行了排查。发现了以下代码。

static Serializer ser = new Serializer(typeof(List<UserModule>)); 
//using JsonExSerializer;  
public static List<UserModule> GetAllUserModule(int userId)  
{  
    string cache = CacheManager.Current.Get<string>(GetCacheKey(userId));  
    if (!string.IsNullOrEmpty(cache))  
    {  
        return ser.Deserialize(cache) as List<UserModule>;  
    }  
    else 
    {  
        return null;  
    }  
}  
 
public static List<UserModule> SetAllUserModule(int userId, List<UserModule> modules)  
{  
    if (modules != null)  
    {  
        string cache = ser.Serialize(modules);  
        CacheManager.Current.Add(GetCacheKey(userId), cache);  
    }  
    else 
    {  
        CacheManager.Current.Remove(GetCacheKey(userId));  
    }  
    return modules;  
} 

代码片段2：  

/// <summary>  
/// 聊天室房间  
/// </summary>  
[Serializable]  
public class Room  
{  
    //房间有观看人员数据  
    List<Viewer> _viewers = null;  
    List<string> _blackips = null;  
    List<Viewer> _blackviewers = null;  
    List<Notice> _notice = null;  
    List<Speaker > _speakers = null;  
    List<Content> _content = null;  
 
 
    /// <summary>  
    /// 添加新聊天者  
    /// </summary>  
    /// <returns>返回新添加的聊天人员</returns>  
    public Viewer AddViewer()  
    {  
        Viewer vi = new Viewer();  
        //MaxViewerID += 1;  
          
        //int id = MaxViewerID;   
        int id = GetViewerID();   
        vi.Name = GetViewerName("游客" + id);  
        //vi.IP = System.Web.HttpContext.Current.Request.UserHostAddress;  
        vi.IP = "127.0.0.1";  
        vi.ViewID = id;  
        Viewers.Add(vi);  
        return vi;   
    }  
 
/// <summary>  
    /// 添加聊天内容  
    /// </summary>  
    /// <param name="content">聊天的内容</param>  
    /// <param name="viewid">发言人的id</param>  
    /// <returns>返回新添加的对象</returns>  
    public Content AddContent(string content, int viewid)  
    {  
        MaxContentID += 1;  
        Content con = new Content(DateTime.Now, content, viewid, MaxContentID);  
        Contents.Add(con);  
        return con;  
    }  
    ......  
} 

调用代码为：

Room room = LiveSys.Get(key);  
lock (room)  
{  
    if (room.MaxContentID == 0)  
    {  
        //ChatContentOp cpo = new ChatContentOp();  
        //room.MaxContentID = cpo.GetMaxContentID();  
 
        room.MaxContentID = 300;  
    }  
    int viewerID = 123124123;  
    room.AddContent(chatContent, viewerID);  
    //判断内容是否大于100条。如果大于100条，删除最近的100条以外的数据。  
    System.IO.File.AppendAllText(@"d:\haha.txt", "最大数值：" + 
room.LimitContentCount + "###############聊天记录数：" + room.Contents.Count + "\r\n");  
    if (room.Contents.Count > room.LimitContentCount)  
    {  
        room.Contents.RemoveRange(0, room.Contents.Count - room.LimitContentCount);  
    }  
}  
LiveSys.Set(key, room); 

代码1存在的问题是：

Cache存储的参数类型为object，没有必要先进行一次序列化，然后再进行存储。而序列化是很消耗CPU的。

代码2问题：

代码2实现的是一个在线聊天室，聊天室本身含有访客，发言等内容。在发言时，对聊天室内容进行判断，只显示最近30条。新进来访客直接加到访客别表中。表面上是没什么问题的。但是细想之下有两个问题：

1 聊天室类设计的比较复杂，每次从Memcached服务端取得数据后，都要进行类型转换。

2 没有访客清理机制。随着访客的不断进入，对象的体积会不断增大。

对存疑部分编写了代码进行测试。测试结果果然如推测所想。测试结果如下：

直播1000人次（当天一共有1000人访问，数据来源于运营检测），留言内容为30条时，Room体积大概为：57K  

直播1000人次（当天一共有8000人访问，数据来源于运营检测），留言内容为30条时，Room体积大概为：350k

根据图表可以看到以下情况：处理时间、CPU利用率和数据量大小，序列化，类复杂性都有关系。

序列化问题（类型转换）对性能影响最为明显（可在场景”json1k”、场景直播中看到）。在Json1k中，存储对象和前几个场景是相同的，处理时间也相差不大，较大区别是CPU利用率由5%左右增长到40%左右（反序列化时尤为明显）。在场景直播系统中，不存在序列化问题，但是其对象属性中存在”访客”， ”繁衍”等多个复杂对象，造成其在处理时需要处理过多的类型转换，同时其体积不断增大。

存储对象的大小和处理时间存在一定关系，例如场景”500k”，其处理时间增长，但是其CPU利用率并未提高，其时间增长是由于对象传输造成。

本地缓存在内存中进行寻址和类型转换，涉及不到Socket连接，网络传输，序列化操作，所以其处理相当快。

就测试结果看：

本地缓存性能大约是分布式缓存性能的100倍左右。而出问题的聊天室除了CPU增高以外，其性能更比分布式缓存再降低40倍（直播1000人次）到200倍（直播8000人次）。综合来看，聊天室的分布式缓存比本地缓存降了4000倍，甚至更多。

但是，还没有完。 

对于第二个问题，更改类设计，清楚无效访客，即可解决。 

但是第一个问题，为什么用户在存储之前，先进行json序列化呢？嗯，这是一个问题。

遂问之。

答曰，有些类直接使用第三方客户端存储时，直接存储报错，所以先序列化为json类型，取值时再反序列化回来。

嗯，还有这事？

开发人员说了相关代码。 

interface IUser  
{  
    String UserId{ get; set;}  
    String UserName{ get; set;}  
}  
 
[Serializable]  
class UserInfo : IUser  
{  
    String UserId{ get; set;}  
    String UserName{ get; set;}  
}  
[Serializable]  
class Game  
{  
    IUser User{ get; set;}  
    String UserName{ get; set;}  
} 

他说：Game对象在直接使用MemcachedClient时，是不能被二进制序列化的，因为其User属性类型为IUser，为一个接口。因此想了一个解决方法，即先将Game对象进行 json序列化将其变为字符串，然后将字符串存储到Memcached。 

原来是这样。

接着又查看了MemcachedClient源代码，其需要将对象进行二进制序列化，然后进行存储。接口属性不能被序列化，遂又对序列化问题进行了测试（见附件）。测试结果显示上述代码直接进行二进制序列化是可以的，同时直接使用第三方客户端也是可以可行的。 

问题出在哪？难道是没有加[Serializable]。

一查果然：一个Serializable引发的血案。。。

记得有人说过，慎用分布式，能不用尽量不用。

一方面在性能上确实下降很多，分布式存储主要性能消耗在以下几个方面：协议解析，Socket连接，数据传输，序列化/类型转换。

一方面在使用场景和类设计上要求也更加严格。个人认为Memcached是不太适合存储特别大的文件的。虽然有人说网上已经有用来存储视频的。

还有几个问题希望知道的朋友回答下：

1 有没有.Net方面的Memcached客户端支持二进制协议和一致性的？

2 测试中发现，当Memcached设置缓存过小时（例如64M），当其内存使用已经到62M时，再进行存储，新存储的内容再取出来就是空值，不知道是什么原因。

原文标题：Memcached客户端CPU过高问题的排查

链接：http://www.cnblogs.com/hellofox2000/archive/2010/08/17/1801329.html

【编辑推荐】

1. 分布式缓存系统Memcached入门指导
2. .NET分布式缓存之Memcached执行速度检测
3. 从Memcached看MySQL和关系数据库的未来
4. 分布式缓存系统Memcached简介与实践
5. Google App Engine的Java持久性与数据存储