Housedb 1.2
房产信息网站大数据爬虫。部分数据来源于链家网站（http://www.lianjia.com )，请勿用于商业用途，仅供交流和个人娱乐。
特性
- 定期更新房源数据
- 提供房源价格变动通知服务
数据预览
数据统计
- 各个区域的房源数量情况
- 各个区域的均价情况
- 不同楼龄的房源数量情况
- 关注数最高的房源情况
房源价格变更
安装说明
运行环境：JDK1.7+、Mysql、Elastic Stack(用于出报表，可选)
编译环境：JDK1.7+、Maven3
-
步骤一：新建库命名为housedb并导入基础表结构和数据，执行 db/housedb.sql文件即可
-
步骤二：配置 application.properties 文件
1.Mysql数据源配置，redis配置请忽略
2.设置每天定时任务执行的小时区间
3.设置SMTP账号和接收通知的邮箱地址
4.dev如果设置为true，则为"开发者模式"，忽略定制任务执行小时区间的限制
5.如果没有代理服务器，则把 needproxy 设置为 false
-
步骤三：启动服务
java -jar housedb-20180410003739.jar
-
步骤四：定时任务启动爬虫
默认启动服务后，5分钟爬虫启动。爬虫会先生成当天的执行任务，记录在process 表中，然后逐一执行抓取房源索引，并记录在houseindex表，接着抓取房源明细，记录在house表。 爬虫初次抓，数据量大约为1w ~ 2w之前，这些都是目前在线房源数，初次不会做邮件通知。通知会在第二天爬虫做房源信息检查的时候，发现有新房源或者是房源价格调整，则会发起通知。