Scrapy, a fast high-level web crawling & scraping framework for Python.

Python ProxyPool for web spider

A scalable web crawler framework for Java.

Python脚本。模拟登录知乎， 爬虫，操作excel，微信公众号，远程开机

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

A Powerful Spider(Web Crawler) System in Python.

👾 Fast and simple video download library and CLI tool written in Go

A visual no-code/code-free web crawler/spider易采集：一个可视化浏览器自动化测试/数据采集/爬虫软件，可以无代码图形化的设计和执行爬虫任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。

Automatically crawls proxy nodes on the public internet, de-duplicates and tests for usability and then provides a list of nodes

newspaper3k is a news, full-text, and article metadata extraction in Python 3. Advanced docs:

AV 电影管理系统， avmoo , javbus , javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架

基于搜狗微信搜索的微信公众号爬虫接口

Elegant Scraper and Crawler Framework for Golang

Redis-based components for Scrapy.

Incredibly fast crawler designed for OSINT.

实战🐍多种网站、电商数据爬虫🕷。包含🕸：淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信爬虫展示项目:

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音、快手、TikTok、Bilibili数据爬取工具，支持API调用，在线批量解析及下载。

Proxy [Finder | Checker | Server]. HTTP(S) & SOCKS 🎭