描述:由C#编写的多线程异步抓取网页的网络爬虫控制台程序 功能:目前只能提取网络链接,所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时不能抓取,请见谅。 但需要注意,网页的数目是非常庞大的,如下代码理论上大概可以把整个互联网网页链接都抓下来。 但事实上,由于处理器功能和网络条件(主要是网速)限制,一般的家用电脑最多能胜任12个线程左右的抓取任务,抓取速度有限。可以抓取,但需要时间和耐心。 当然,这个程序把所有链接抓下来是可能的,因为链接占系统空间并不多,而且有记录文件的帮助,已抓取网页的数量可以堆积下去, 甚至可以把所有的互联网网络链接都存取下来,当然,最好是分批次。建议设置maxNum为500-1000左右,慢慢累积下去。 另外因为是控制台程序,有时候显示字符过多会系统会暂停显示,这时候只要点击控制台按下回车键就可以了。程序假死的时候,可以按回车键(Enter)试试。 /// 使用本程序,请确保已创建相应的记录文件,出于简化代码的考虑,本程序做的并不健壮,请见谅。 /// 默认的文件创建在E盘根目录“已抓取网址.txt”和“待抓取网址.txt”这两个文本文件中,使用者需要自行创建这两个文件,注意后缀名不要搞错。 这两个文件里面的链接基本都是有效链接,可以单独处理使用。 本爬虫程序的速度如下: 10线程最快大概500个链接每分钟 6-8线程最快大概400-500个链接每分钟 2-4线程最快大概200-400个链接每分钟 单线程最快大概70-100个链接每分钟 之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。
2021-11-30 17:20:28 60KB C# 多线程 网络爬虫 网页抓取
1
C#编写的操作系统作业--模拟进程调度 采用优先级算法
2021-11-30 12:32:59 41KB C# 操作系统 作业 模拟
1
这是一个很好的学生成绩管理系统,保证值这个分,你下了决不会后悔。
2021-11-29 16:46:07 389KB C语言学生成绩管理系统
1
本软件用c++编写,纯属本人原手写原创,请勿抄袭! 1、本软件分为用户界面和管理员界面,默认普通用户及密码为: liao 123 wudi 123 zhu 123 shan 123 cao 123 在普通用户界面中用户可实行打字功能和查看排名功能。 2、管理员账户为admin,密码为623,在管理员账户中可以实现以下功能: a、打字练习; b、增加或删减普通用户个数; c、查看打字成绩排名; d、增加词库单词。 3、然后点击system中的 黄山打字通.exe 就可运行,请按提示进行操作。
2021-11-29 16:17:59 105KB c++ c++课程设计 打字软件 打字通
1
用C#写的一个简单http服务端,支持图片和html
2021-11-29 09:22:10 981KB C# HttpListener webService http服务端
1
类QQ聊天软件 实现功能 点对点的文本通信 点对点的图片传输 点对点的文件传输 群聊与私聊功能的实现 在线好友的查询 有好的人机交互界面 聊天记录查询 分时贵了点 可是是好东西 物有所值 内带实验报告 和 课题实践报告
2021-11-28 21:44:26 2.57MB 类QQ聊天软件 绝对能运行 C#写的
1
自己编写的一款音速启动,实现分组,读取文件图标,获取天气,打开我的电脑、控制面板等。贴边隐藏,分组加密,换肤等超值功能
2021-11-28 14:42:50 1.75MB c# 贴边隐藏 获取天气 读取图标
1
这个适合于广大.net开发的爱好者,特别是初学者
2021-11-27 16:41:41 28KB C# WEB服务器
1
中学生信息奥赛的入门,信息学奥赛(C++)编写的例子程序
2021-11-27 15:51:40 123.04MB c++
1
用C#写的题库出卷系统 能够自动生成一份试卷
2021-11-27 15:27:52 9.7MB c# 出题系统
1