gnemoug/sina_reptile gnemoug/sina_reptile

  • Stars
    star
    472
  • Rank 93,034 (Top 2 %)
  • Language
    Python
  • Created about 12 years ago
  • Updated over 11 years ago
Twitter logo Share LinkedIn logo Share Facebook logo Share
gnemoug/sina_reptile
github

gnemoug

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博,使用python编写，多进程爬取，将数据存储在了mongodb中 
这是一个关于sina微博的爬虫，采用python开发，并修改了其sdk中的bug，采用mongodb存储，实现了多进程爬取任务。

功能是:获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博,使用python编写，多进程爬取，将数据存储在了
mongodb中

More Repositories

1

distribute_crawler

使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现
Python
3,245
star
2

ComPerformance

一个使用django开发的学生综合成绩管理平台
JavaScript
387
star
3

linux_ipc

关于linux ipc进程间通信自己的收录的一些代码
C
30
star
4

data_structure

关于各种数据结构和算法的一些收录
C
21
star
5

assessment

这是一个使用bottle，mongodb和jinja2开发的一个同学互评系统，通过它进行了对于使用bottle进行web开发的探索，包括：bottle做web开发的物理设计和bottle做web开发的高级的特性的使用
Python
20
star
6

managerestaurant

这是自己uml课程设计时做的一个餐馆订餐管理系统，使用java,hibernate,mysql,GWT开发,采用分层设计
Java
17
star
7

python_littleprograms

自己收录的和自己写的一些python小代码，每个小工程都实现了一些小功能
Python
9
star
8

idcard

django中验证身份证号码是否正确的field实现
Python
5
star
9

douban-album

豆瓣相册android客户端
Java
3
star
10

notes_bottle

原来自己读bottle源码时给bottle加的一些注释
2
star
11

linux_quiz

linux题目收集
Python
2
star
12

gnemoug.github.com

我的个人博客
JavaScript
2
star
13

sql_quiz

数据库题目收集
2
star
14

notes_captcha

django-simple-captcha注释版本
JavaScript
1
star