Skip to content

atiger77/ScrapyProject

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

56 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Scrapy-Project

《目录》

  1. 糗事百科 QiuBai

  2. 天气预报 WeatherReport

  3. 第一路演 dyly

  4. 克拉女神 kelagirl

  5. 代理IP IpProxy

  6. 肉丝写真图 rosiok

  7. 煎蛋美女图 JianDan

  8. 豆瓣高分书单 DouBan

coding

QiuBai

抓取糗事百科的作者和糗事内容,最后都放到EXCEL中保存。

WeatherReport

魔都的天气变换太快,爬一下天气预报把每天和第二天的天气在下班前用邮件发出来。

dyly

第一路演新闻抓取,从AJAX中获取对应news_id回调爬取函数。

kelagirl

克拉女神专辑图片爬取。

[DONE] 完成专辑图片爬取功能;

IpProxy

爬取免费代理ip地址,验证后存库。

[DONE] 收集整体免费代理网站地址;

[DONE] 完成代理ip爬取;

[DONE] 完成代理ip验证;

[TODO] 完成代理ip存库工作;

rosiok

爬取rosiok上的写真图片,借鉴别人代码;

[DONE] 爬取写真图片;

JianDan

爬取JianDan上的写真图片。

[DONE] 爬取煎蛋网妹子图片,使用CrawlSpider进行深层爬取;

DouBan

爬取豆瓣高分书单信息。 [TODO] 爬取豆瓣信息;

Releases

No releases published

Packages

No packages published

Languages