Northxw/Pinduoduo

拼多多商品信息爬虫

  通过拼多多商品API获取商品信息。

项目目录

│  .gitignore
│  README.md
│  requirements.txt
│  scrapy.cfg
│
└─pinduoduo
    │  email.py
    │  items.py
    │  main.py
    │  middlewares.py
    │  pipelines.py
    │  settings.py
    │  view.py
    │  __init__.py
    │
    ├─images
    ├─spiders
    │      pdd.py
    │
    ├─utils
    │      anti_content.js
    │
    └─view
            db.png
            FZSTK.TTF
            pdd.png
            show.jpg
            ...

环境依赖

  注意：上述安装均在Windows环境下进行时，可能会出现依赖不足而导致安装错误的情况，请自行谷歌解决。

解释说明

  首先，拼多多商品信息接口很容易在谷歌浏览器中找到，但是接口请求中有三个未知参数。其中 filp 和 list_id 参数在网页源码中携带，正则匹配获取即可。而 anti_content 加密参数在每次请求时都需要携带，具体解密过程我不叙述（怕侵权），谷歌有很多。

  其次，本项目的可视化部分略带针对性，如果需要匹配到其他商品，需要自行修改代码。

  最后，不要设置随机UA中间件（亲测坑），拼多多对请求的请求头检查比较严格，可自行在网页中粘贴 User-Agent 即可。

......

headers = {
        'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                  "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
    }
    
......

yield Request(url=self.search_url + urlencode(data),
                          headers=self.headers,
                          callback=self.parse_goods_info,
                          errback=self.error_back,
                          dont_filter=True)

  已实现的中间件：ProxyMiddleWare(未启用，暂时未发现IP反爬)，已实现的管道：ImagePipeline、TextPipeline、ExcelPipeline、MysqlTwisted。

数据分析

  （本次商品的数据分析仅针对搜索参数iPad）

词云

更新记录

• 2019/4/21 项目整体架构完成
• 2019/4/22 项目部署

项目部署

  已完成scapyd 本地部署。

运行

  命令行切换至项目根目录下，运行命令：

>>> scrapy crawl pdd

  命令行切换至项目中main.py所在目录下，运行命令：

>>> python main.py

  或者 scrapyd-client 打包部署到本地服务器，然后运行命令：

>>> curl http://localhost:6800/schedule.json -d project=pinduoduo -d spider=pdd

公告

  本代码仅作学习交流，切勿用于商业用途，否则后果自负。若涉及拼多多侵权，请邮箱联系，会尽快处理。