豆瓣网开源数据库BeansDB发布 采用分布式键值存储

原创
作者：red7 2009-12-31 09:51:59

数据库

其他数据库

分布式 BeansDB是一个针对大数据量、高可用性的分布式存储系统，其最具特色的是使用Key – Value（键 -值）存储模式。

【51CTO快报】2009年12月31日消息，国内著名SNS网站豆瓣网于昨日在Google Code上发布了其自主开发的数据库存储系统BeansDB。

BeansDB是一个针对大数据量、高可用性的分布式存储系统，其最具特色的是使用Key – Value（键 – 值）存储模式；BeansDB采用HashTree和简化的版本号来快速同步保证最终一致性；并采用类似memcached的去中心化结构，在客户端实现数据路由。

据悉，豆瓣网是以New BSD许可证发布的BeansDB，目前只提供了Python版本的客户端，其它语言的客户端可以由memcached的客户端稍加改造得到。BeansDB的Key Value存储系统之前在亚马逊公司开发的Dynamo数据库中被广泛使用，一些BeansDB的测试者称BeansDB更像是Dynamo的一个简化版。

关于豆瓣网技术架构方面的更多报道请参考51CTO.com视频专题：《大型网站架构技术专家谈》

BeansDB特性一览：

◆高可用：通过多个可读写的用于备份实现高可用

◆最终一致性：通过哈希树实现快速完整数据同步（短时间内数据可能不一致）

◆容易扩展：可以在不中断服务的情况下进行容量扩展

◆高性能：异步IO和高性能的KeyValue数据TokyoCabinet

◆可配置的可用性和一致性：通过N,W,R进行配置

◆简单协议：Memcache兼容协议，大量可用客户端

客户端

目前只提供了Python版本的客户端，在python目录中，该目录中各文件的左右如下：

◆dbclient.py BeansDB的客户端，由memcached的客户端简单封装而成

◆status.py 查看BeansDB的状态，各个节点的数据分布，以及同步状态

◆sync.py 同步各节点

◆httpd.py HTTP方式访问BeansDB的内容(目前只有GET方式)

◆store.pyx, dbserver.py test.py setup.py

◆Python 版本的BeansDB，核心部分是C实现

BeansDB的一些性能测试

下面两幅图片是BeansDB在Google Code上性能测试截图，BeansDB的表现相当不错。

在小数据集上，它跟memcached一样快：

 BeansDB实际部署情况下的性能（客户端测量）：

【编辑推荐】

1. 对SQL说不！NoSQL的数据库技术革命
2. 分布式可扩展非关系数据库聚焦
3. 云计算推波助澜 非关系数据库蓄势待发
4. 探寻关系数据库和ORM的最佳替代者