394 Open source projects that are alternatives of or similar to Python Script

API of DouYin for Humans used to Crawl Popular Videos and Musics

百度贴吧生日爬虫，可抓取贴吧内吧友生日，并且在对应日期自动发送祝福

一个完整的nodeJs 串行爬虫 抓取3万多个页面。

PTT 表特版爬蟲圖片下載器

抓取网易云音乐热门评论

利用墨墨背单词的分享功能拿每日20个的单词上限奖励（多线程

知乎用户公开个人信息爬虫, 能够爬取用户关注关系，基于Python、使用代理、多线程

some small project and some articles

最简单的91porn爬虫php版本

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音|TikTok数据爬取工具，支持API调用，在线批量解析及下载。

疫情数据爬虫，2019新型冠状病毒数据仓库，轨迹数据，同乘数据，报道

Golang module to detect bots and crawlers via the user agent

A Facebook crawler

Generate an object for testing if a request is sent, request is Mikeal's request.

爬取CSDN上的博客文章

Grabs all of the audio files from all of the Blinkist books

带你了解一下Golang的市场行情

bet365 bot: bet365的比赛实时比分数据、实时赔率

all kinds of scrapy demo

A web crawler for Go

A collection of awesome web crawler,spider in different languages

该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。

知乎爬虫程序，定时跟踪问题数据，定时推送热门话题

Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data

🎬 基于Pyqt5的简单电影搜索工具

A spider on Dcard. Strong and speedy.

一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

🕷️ A simple crawler (spider) writen in php just for fun, with zero dependencies

汤不热 python 多线程爬虫

文章采集工具 Article collection tool

Geziyor, a fast web crawling & scraping framework for Go. Supports JS rendering.

This taobao spider has been archived

Python的基础练习代码与各种爬虫代码

A spiders' program for weixin which made by Express & cheerio

yspider -- 轻量级爬虫系统

⚡ Light weight Golang spider framework | 轻量的 Golang 爬虫框架

Html网页正文提取

Iota is a web scraper which can find all of the images and links/suburls on a webpage

capture pictures from website like sina, lofter, huaban and so on

Dynamic configurable crawl (动态可配置化爬虫)

今日热榜，一个获取各大热门网站热门头条的聚合网站，使用Go语言编写，多协程异步快速抓取信息，预览:https://mo.fish

裁判文书网爬虫

Python爬虫代理IP池(proxy pool)

犇犇爬虫

✨ 知乎日报 - 爬虫、数据分析、Node.js、Vue.js ...

scala结合actor编写的分布式网络爬虫

Download images from Google, Bing, Baidu. 谷歌、百度、必应图片下载.

scrapy spider for scraping imdb {movie_id: [recommended, ...]}

跨平台的京东全能工具包 仅供学习使用，技术交流群：108934299

零基础学习python爬虫

[https://www.sofineday.com], golang项目开发脚手架,集成最佳实践(gin+gorm+go-redis+mongo+cors+jwt+json日志库zap(支持日志收集到kafka或mongo)+消息队列kafka+微信支付宝支付gopay+api加密+api反向代理+go modules依赖管理+headless爬虫chromedp+makefile+二进制压缩+livereload热加载)

QQ空间爬虫，可导出并显示日志、相册、留言板、说说、照片、视频等数据。

A simple distributed crawler for zhihu && data analysis

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

🥄 A package for building specific Proxy Pool for different Sites.

ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个

🌟⏳🌟 各种网站的签到（停止维护）

🕷招聘网站爬虫合集，不定期更新分支

A python3 package for writing spider more easily.

爬虫Demo，基于Python实现