JavLibraryCrawler
该项目允许您从 javLibrary 中抓取所有电影。 它抓取以下项目:
标题
指定
图书馆网站的网址
类别清单
发布日期
期间
演员
封面图片网址
封面图片哈希值
它还会在本地下载封面图片并生成相应的图,您可以在设置中配置图片。
可以在找到图像设置教程。
##安装
安装 pip。
安装scrapy。
安装依赖:
pip install -r requirements.txt
##Run 这个项目包含两种爬虫:
评分最高的电影(best_rated_spider)
所有电影(actor_spider)
要启动爬虫,请运行:仅抓取评分最高的电影(500 部电影):
scrapy crawl best_rated_spider
或者抓取库中的所有电影(> 150000部电影,所有封面图片的部分约为16 GB)。
scrapy cr
2021-08-14 20:37:37
12KB
Python
1