分享到:

分布式存储概念

日期:2016-11-08 21:31:00     阅读:157     文章来源:源美设计     标签:深圳网站建设,深圳网站制作,企业网站建设

大规模分布式存储系统的定义如下:

“分布式存储系统是大量普通PC服务器通过Internet互联,对外作为一个整体提供存储服务。”

分布式存储系统具有如下几个特性:

●可扩展。分布式存储系统可以扩展到几百台甚至几千台的集群规模,而且,随着集群规模的增长,系统整体性能表现为线性增长。

●低成本。分布式存储系统的自动容错、自动负载均衡机制使其可以构建在普通PC机之上。另外,线性扩展能力也使得增加、减少机器非常方便,可以实现自动运维。

●高性能。无论是针对整个集群还是单台服务器,都要求分布式存储系统具备高性能。

●易用。分布式存储系统需要能够提供易用的对外接口,另外,也要求具备完善的监控、运维工具,并能够方便地与其他系统集成,例如,从Hadoop云计算系统导入数据。

分布式存储系统的挑战主要在于数据、状态信息的持久化,要求在自动迁移、自动容错、并发读写的过程中保证数据的一致性。分布式存储涉及的技术主要来自两个领域:分布式系统以及数据库,如下所示:

●数据分布:如何将数据分布到多台服务器才能够保证数据分布均匀?数据分布到多台服务器后如何实现跨服务器读写操作?

●一致性:如何将数据的多个副本复制到多台服务器,即使在异常情况下,也能够保证不同副本之间的数据一致性?

●容错:如何检测到服务器故障?如何自动将出现故障的服务器上的数据和服务迁移到集群中其他服务器?

●负载均衡:新增服务器和集群正常运行过程中如何实现自动负载均衡?数据迁移的过程中如何保证不影响已有服务?

●事务与并发控制:如何实现分布式事务?如何实现多版本并发控制?

●易用性:如何设计对外接口使得系统容易使用?如何设计监控系统并将系统的内部状态以方便的形式暴露给运维人员?

●压缩/解压缩:如何根据数据的特点设计合理的压缩/解压缩算法?如何平衡压缩算法节省的存储空间和消耗的CPU计算资源?

分布式存储系统挑战大,研发周期长,涉及的知识面广。一般来讲,工程师如果能够深入理解分布式存储系统,理解其他互联网后台架构不会再有任何困难。



文章引用:http://www.szymweb.com/new/159.html

本站文章为深圳网站建设·源美设计原创策划,如有版权纠纷或者违规问题,请联系我们删除,谢谢!

上一篇: 日企精细化管理作风,刘强东受益良多

下一篇: 利用Python进行数据分析

返回列表
最新案例
OUR ADVANTAGE WORKS

售后响应及时

全国7×24小时客服热线

数据备份

更安全、更高效、更稳定

价格公道精准

项目经理精准报价不弄虚作假

合作无风险

重合同讲信誉,无效全额退款