使用C# + Jumony开发网络爬虫 现在开发网络爬虫大部分都用python,发现用C#来写爬虫太少,我自己尝试用C#写了一个定向爬虫,在这里我向大家介绍它,目前已经把它开源到github上了,想要深入了解的朋友直戳下面的链接: [https://github.com/zuiyuewentian/Reptile.git] 首先介绍下该爬虫的设计模型: 1.定义相关的网站入口,爬取内容页,爬取规则 2.使用多线程,从不同的网站入口开始爬取网站的URL链接 3.获取URL链接加入到待爬取链接的集合中 4.从待爬取的U…