管刚
- 作品数:3 被引量:9H指数:1
- 供职机构:深圳市腾讯计算机系统有限公司更多>>
- 发文基金:国际科技合作与交流专项项目国家自然科学基金国家高技术研究发展计划更多>>
- 相关领域:自动化与计算机技术更多>>
- HDFS集群中功率预测控制策略的设计与分析
- 2013年
- 近几年来,研究人员越来越重视集群中的功率消耗控制问题。众多研究人员都致力于功率消耗的降低与节约,然而能耗管理比单纯的能耗节约显得更加重要。将功率看成是可以管理和调度的资源之一,用户做出一个能耗预算,而管理者则在用户的能耗预算下,帮助其用合理的调度算法和功率限制策略完成用户提交的任务。设计与实现了两种应用于HDFS(Hadoop distributed file system),有效控制与预测功率的算法和策略,结合给每个节点设置功率预算的方法,实现功率的非均衡的动态分配,以控制整个集群功率消耗,从而限制能耗。此外,通过逐步线性回归得到的功率模型来优化功率管理策略,并对两种功率预测控制策略进行了分析比较。
- 徐艺境栾钟治钱德沛管刚谢明
- 关键词:MAPREDUCE
- 云文件系统中纠删码技术的研究与实现被引量:9
- 2013年
- 云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。
- 程振东栾钟治孟由李亮淑和荣杨婷婷钱德沛管刚陈伟
- 关键词:云计算冗余
- 项集挖掘方法及装置
- 本发明公开了一种项集挖掘方法及装置,属于数据挖掘技术领域。所述方法包括:获取自定义的最低效用阈值、价格表和折扣表;价格表中包含各个数据项对应的成本价和售价;折扣表中包含各个数据项对应的折扣类型和折扣参数;对于数据库中的各...
- 林浚玮管刚刘婷婷甘文生
- 文献传递