Scrapy-CVE-CNVD
基于scrapy框架，获取每日最新的CVE和CNVD漏洞，主要目的用于安全研究，获取最新安全咨询，无任何漏洞利用细节，严禁用于非法活动。
为了保证信息的易读性，CVE漏洞详细信息主要参照CNNVD官网信息，可能导致部分CVE无法被收录。更多信息可以通过关注CVE官方的Twitter获取。
Start
Docker-compose部署
修改crontabfile配置邮箱等信息
PATH=/opt/someApp/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
# 个人的账号信息
[email protected]
EMAIL_PASS=xxxxxxxxxxxxxx
[email protected]
# 10分钟执行一次
*/10 * * * * cd /root/vuls && ./run.sh >> /var/log/cron.log
构建（网络问题多重试几次）
cd Scrapy-CVE-CNVD
docker-compose build
运行（首次运行需等待一段时间）
docker-compose up -d
本地部署
下载项目
git clone https://github.com/ttonys/Scrapy-CVE-CNVD
安装依赖(python3环境)
pip install -r requirements.txt
redis安装----docker
docker pull redis
docker run -itd --name redis-test -p 6379:6379 redis
redis安装----本机
参照网上教程
修改配置，Scrapy-CVE-CNVD/OnePiece/pipelines.py文件36-38行，使用自己注册163邮箱，以及所获取的授权码（非个人密码）
fromaddr = '[email protected]'
password = 'xxxxxxxxxxxxxx'
toaddrs = '[email protected]'
修改配置，Scrapy-CVE-CNVD/OnePiece/settings.py文件，配置个人的redis服务器ip、端口和密码
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
REDIS_PARAMS = {
'password': '123456',
}
修改配置，Scrapy-CVE-CNVD/run.sh中，将路径修改为自己本机的路径，参照如下：
#!/bin/bash
cd /root/Scrapy-CVE-CNVD
/usr/local/bin/scrapy crawl all-redis
测试，将Scrapy-CVE-CNVD路径下文件改为755权限（chmod -R 755 Scrapy-CVE-CNVD），运行./run.sh，查看是否收到邮件通知
添加定时任务，注意使用绝对路径，按照本机实际路径填写，参考如下（每天下午2点半执行）：
30 14 * * * /root/Scrapy-CVE-CNVD/run.sh
Source
国家信息安全漏洞共享平台
https://www.cnvd.org.cn/
国家信息安全漏洞库
http://www.cnnvd.org.cn/
today-cve
https://cassandra.cerias.purdue.edu/CVE_changes/today.html
cve官网
https://cve.mitre.org/
Demo
数据保存
邮件内容
