Python3Webcrawler
哔哩哔哩作者：-相依- UPDATE 2023-02-15
精心挑选了几个爬虫，给大家在学Scrapy框架之前打基础。
该项目仅限学习交流，请勿用于商业用途，如有侵权，请联系删除。
| 运行环境 | 项目使用版本 |
|---|---|
| python | 3.7.9 |
| NodeJS | 14.6.0 |
| 程序依赖 | 安装指令 | 项目使用版本 |
|---|---|---|
| lxml | pip install lxml | 4.6.2 |
| aiohttp | pip install aiohttp | 3.7.4 |
| requests | pip install requests | 2.25.1 |
| PyExecJS | pip install PyExecJS | 1.5.1 |
| sqlalchemy | pip install sqlalchemy | 1.3.23 |
| beautifulsoup4 | pip install beautifulsoup4 | 4.9.3 |
| mysqlconnector | pip install mysql-connector-python | 8.0.23 |
| qrcode | pip install qrcode | 7.3 |
| opencv-python | pip install opencv-python | 4.5.3.56 |
| m3u8 | pip install m3u8 | 0.9.0 |
| mitmproxy | pip install mitmproxy | 5.3.0 |
| selenium | pip install selenium | 3.141.0 |
| pycryptodome | pip install pycryptodome | 3.10.1 |