使用python3爬取bttwo全站bt文件,并利用mongodb来存储二进制文件和去重
使用之前请安装lxml,requests,BeautifulSoup以及mongodb
pip3 install lxml requests beautifulsoup4
修改bttwo.py文件里的下载路径，运行
python3 bttwo.py
- 使用代理并不能有效解决爬取速度过快而导致的爬取出错的问题
- 尝试不用
sleep函数解决爬取中断问题 - 尝试多线程
-
Notifications
You must be signed in to change notification settings - Fork 0
bttwo全站bt爬取
License
silence/bttwo
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
bttwo全站bt爬取
Topics
Resources
License
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published