您的位置： 专家智库 > >

袁威

作品数：1 被引量：7H指数：1
供职机构：江苏大学计算机科学与通信工程学院更多>>
相关领域：自动化与计算机技术更多>>

合作作者

文献类型

  • 1篇中文期刊文章

领域

  • 1篇自动化与计算...

主题

  • 1篇分布式
  • 1篇分布式文件
  • 1篇分布式文件系...
  • 1篇NUTCH
  • 1篇HADOOP

机构

  • 1篇江苏大学

作者

  • 1篇薛安荣
  • 1篇周小梅
  • 1篇袁威

传媒

  • 1篇无线通信技术

年份

  • 1篇2014
共 1 条 记 录，以下是 1-1
全选 清除 导出
排序方式：
基于Nutch的分布式爬虫的优化研究被引量：7
2014年
网络爬虫是互联网运行服务的重要组成部分,并为整个互联网、企业内部网和大型门户网站提供搜索和索引。为解决现有爬虫方法在效率方面的问题,本文介绍了Nutch分布式爬虫工作流程及机制,通过分析Hadoop下的Nutch网络爬虫,在Nutch分布式爬虫的参数方面、Hadoop的I/O模型和Nutch分布式爬虫小文件问题三个方面做了相关优化。实验结果表明,优化后的网络爬虫能更有效的爬取网络资源,能在较大程度上提升网络爬虫效率。
袁威薛安荣周小梅
关键词：NUTCHHADOOP分布式文件系统
全选 清除 导出
共1页<1>
聚类工具0