Discover @JFanZhao Open Source projects

@JFanZhao

JFanZhao

Stars
252
Global Rank 100,504 (Top 4 %)
Followers 16
Following 1
Registered about 11 years ago
Most used languages

Java
100.0 %

spider

使用java+httpclient+httpcleaner，多线程、分布式爬去电商网站商品信息，数据存储在hbase上，并使用solr对商品建立索引，使用redis队列存储一个共享的url仓库；使用zookeeper对爬虫节点生命周期进行监视等。

feature_extraction

文本特征提取算法，卡方校验（chi-square）和信息增益算法提取文本特征算法实现

UserBehaviorAnalysis