招聘网站爬虫合集
项目当前结构(不定时更新分支)
-
lagou
项目内容:拉钩网招聘信息爬虫
创建时间:2017-07-11
主要模块:requests
json
BeautifulSoup
urllib.parse
xlwt
hashlib
datetime
random
-
zhilian
项目内容:智联招聘网招聘信息爬虫
创建时间:2017-07-13
主要模块:requests
BeautifulSoup
re
urllib.parse
pymysql
datetime
-
51job
项目内容:前程无忧网址招聘信息爬虫
创建时间:2017-07-15
主要模块:requests
Beautifulsoup
re
urllib.parse
pymysql
datetime
-
scrapy-51job
项目内容:前程无忧scrapy版爬虫,及一些数据分析
创建时间:2017-7-18
主要模块:scrapy
pymongo
pandas
jieba
wordcloud
词云图示例: