ShichaoMa/structure_spider ShichaoMa/structure_spider

  • Stars
    star
    29
  • Rank 855,367 (Top 17 %)
  • Language
    Python
  • Created about 7 years ago
  • Updated almost 2 years ago
Twitter logo Share LinkedIn logo Share Facebook logo Share
ShichaoMa/structure_spider
github

ShichaoMa

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

组合多请求，抓取结构化数据，基于scrapy组件

More Repositories

1

apistellar

web框架apistar增强版，轻松构建企业级web项目
Python
82
star
2

toolkit

some useful tools functions
Python
77
star
3

proxy_factory

基于redis的简单代理工厂
Python
62
star
4

translate_html

超简单超好用的外语转中文翻译程序，适合翻译网页
Python
58
star
5

webWalker

分类下子项目信息抓取
Python
53
star
6

custom_redis

python实现简单redis，实现redis基本功能以及可插拔数据结构
Python
47
star
7

async-downloader

异步协程下载器
Python
33
star
8

baihe_msg_auto_send

自动登陆百合发送消息
Python
20
star
9

blog

apistellar示例项目
JavaScript
15
star
10

log_to_kafka

将日志发送到kafka中，做日志分布式管理
Python
12
star
11

exec_cmd

执行远程shell 命令或者使用sftp多主机之间传递文件
Python
9
star
12

downloader_cluster

一个简单的支持多线程，断点续传及分布式的下载器
Python
8
star
13

pytest-apistellar

apistellar测试插件，基于pytest
Python
6
star
14

coroutine

python协程实现，支持python2和python3
Python
5
star
15

dictionary_walker

一个可以遍历目录的程序，适合遍历超多的文件。可断点续遍。
Python
4
star
16

pyaop

Python
3
star
17

MultiThreadClosing

多线程程序各线程关闭友好的基类实现
Python
3
star
18

captcha_rec

Python
1
star
19

old-spider

JavaScript
1
star
20

amazon_captcha_middleware

scrapy 的amazon验证码中间件
1
star
21

program_wrapper

提供一个程序，将其包装为子进程，捕获其标准输出和标准错误到指定的log文件
Python
1
star