西西软件园多重安全检测下载网站、值得信赖的软件下载站!
西西首页 电脑软件 安卓软件 电脑游戏 安卓游戏 排行榜 专题合集

网络爬虫工具(NWebCrawler)

v1.0.1绿色版
  • 网络爬虫工具(NWebCrawler)v1.0.1绿色版
  • 软件大小:116KB
  • 更新时间:2015-06-23 17:23
  • 软件语言:中文
  • 软件厂商:
  • 软件类别:国产软件 / 免费软件 / 浏览辅助
  • 软件等级:4级
  • 应用平台:WinAll
  • 官方网站:http://www.cr173.com
  • 应用备案:
好评:50%
坏评:50%

软件介绍

网络爬虫是一款一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫,该又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,欢迎需要的下载!

软件介绍:

NwebCrawler是用C#写的一款多线程网络爬虫程序,它的实现原理是先输入一个或多个种子URL到队列中,然后从队列中提取URL(先进先出原则),分析此网页寻找相应标签并获得其href属性值,爬取有用的链接网页并存入网页库中,其中用爬取历史来记录爬过的网页,这样避免了重复爬取。提取URL存入队列中,进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。

功能介绍:

可配置:线程数,等待时间,连接超时,允许MIME类型和优先级,下载文件夹。

统计信息:URL数量,总下载文件,总下载字节数,CPU利用率和可用内存。

Preferential crawler:用户可以设置优先级的MIME类型。

Robust: 10+ URL normalization rules, crawler trap avoiding rules.

欢迎下载!

软件截图

网络爬虫工具(NWebCrawler) v1.0.1绿色版

其他版本下载

发表评论

昵称:
表情: 高兴 可 汗 我不要 害羞 好 下下下 送花 屎 亲亲
TOP
软件下载