54 CHEN

[科学院手记]人人网新鲜事分享现场转播

讲座已经开始,现在是人人网牛人张洁介绍。

-—

现在是新鲜事后台架构牛人铁安在讲解新鲜事要完成的功能:

将一个用户产生的内容实时发送给与他相关的一群人。

尽可能地帮助用户保存内容。

现在面临的挑战

分发压力:5000W*100 全天分发的总量在五十亿左右。每秒分发的次数是六万次每秒。

现在有1.3t的内存占用。

-—

老版本的新鲜事结构

-—

新的系统结构

分发之后,内容本体丢进cache和db,dispatch服务通知到相关的人,分发后来的结构保存一人一条到TC

-–

MENU

技术细节部分

分发部分的策略优化:瞬间分发海量数据,光良首页的例子(一百万的粉丝同时产生)。产品策略优化。

内存压缩技术:新鲜事内存结构(FlyWeight),字符串压缩存储(QuickLZ)

新鲜事存储方案

-—

内存压缩技术:flyweight的设计

只要对象存在,所有的指针都能找到正确的内容。

boost::flyweight在高并发情况下有效率问题,自己实现了相同的功能。

各种压缩办法的性能比较:

QuickLZ的压缩比不是最高的,但解压缩是最快的;代码简单;支持追加方式的压缩;有成熟的商业应用。

boost::multi_index介绍 用来做多视图显示的东东 提供三种不同的索引方式

一段例子代码 c++代码。。。略鸟

-——

新鲜事存储方案

TC+Direct IO + SSD

key-value DB的一个表。

研究的三个开源项目:

Hypertable

tokyo tyrant

MemcacheDB (哈哈,测试了两个张宴兄弟的东东,感叹一下下,张宴兄弟在nginx和tt的文档贡献真是不浅)

TC的测试结果

读取很少的数据的情况下读和写都很快,在几个G之内的数据文件,数据量增加到一定程度写入会持续下降。100G一秒只能写入六七百次。所以单纯使用TC是不现实的。

新的方案

所有的写合并;通过LOG保证Down机后数据恢复;使用TC保存索引;使用异步IO读写文件;使用DirectIO怎么OS的Cache策略;使用SSD解决大量的并发读取。

SSD随机读和顺序读速度接近。五六万每次的速度。

-——

全场结束,答疑

-——

原创文章如转载,请注明:转载自五四陈科学院[http://www.54chen.com]

Posted by 54chen linux, 架构研究, 生活备份

« 当幸福来敲门