该程序通过分析youtobe红人信息的源码标签，获取网页信息，然后定向筛选；分页处理，连接跳转处理，访问异常处理

本爬虫代码爬取了大众点评三级页面的数据，包括分类、商户和评论信息，主要利用requests和BeautifulSoup，可以用来学习和参考一下。

在pycharm IDE下 python3.0以上环境下运行，在User_defined_function.py文件中有具体函数的定义，可自行选择使用，在main.py文件中默认跑的为爬取用户与图书间关系的函数，函数可实现在简书网站上爬取用户个人主页网址，昵称，关注数，粉丝数，以及个人简介，和用户喜欢文章的网址，内容，标题，并将数据保存为excel表格存储在当前目录下

利用Python爬虫抓取网页上的图片，当遇到不合法的URL时，会自动处理异常，不会导致程序崩溃。直到下载完整个页面的图片，程序才会退出

获取新浪网的新闻，包括标题、编辑、时间、来源、内容、评论数，并且保存到本地。注：代码需要在Anaconda环境中使用，因为代码中用到了一些Anaconda内嵌的工具包

Python3爬虫抓取百度图片中的图片，可根据需求输入关键字、图片数量

简单Python爬虫：获取URL链接；正则处理；保存TXT

一个多线程的Python爬虫，使用threading，queue模块实现线程同步

23个Python爬虫开源项目代码：爬取微信、淘宝、豆瓣、知乎、微博等