fengruotj/hadoopAction

Stars
1
Language
Java
Created over 7 years ago
Updated almost 6 years ago

fengruotj/hadoopAction

fengruotj

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

hadoop 深入学习 HDFS-API以及MapReduce相关操作，同步Bolg更新

auth

这是从慕课网中学习的Java权限管理系统

BigDataAnalysisWeb

Big data performance test analysis platform (including WebUI display)。 BigDataAnalysisWeb Analyze storm, spark, and flink throughput changes in the form of charts.

jucAction

Java JUC 学习项目包括各种并发多线程的高级使用。java自带多线程并发锁高级应用

RDMAFileTransfer

RDMA Large File Transfer：A Large-scale File and Folder Transfer Framework. By using two components, RDMA Channel and RDMA Verbs.

busstation

公交线路GIS系统，包括公交换乘算法（最短路径算法）

travelSearchEngine

基于ElasticSearch+HBase的旅游信息的搜索引擎。使用将索引放到ElasticSearch中，数据部分放到HBase中。

RdmaChannel

RDMA Channel: A Channel-Oriented RDMA Java Communication Library. More high-level abstract Channel API on top of RDMA verbs.

kafkaParallelIO

Java NIO java TransferTo方法优化：并行读取磁盘IO。Kafka并行传输直接内存池，利用DirectMemoryChannel并行或者串行的读取数据。

HdfsCachePool

Hadoop Distributed File System (HDFS) has slow serial read speed of the log stream file, it cannot meet the requirements of the stream processing system and can not fully exert the processing capability of the stream processing system, thus restricting the stream processing system. Improve performance. On the basis of HDFS, this software adopts parallel data transmission methods to fully utilize network bandwidth and effectively improve the throughput of distributed file system and meet the demand of stream processing system for data source throughput. At the same time, with respect to the highly ordered nature of the log stream, the software controls the timing of the data to ensure the timing of the log file and provides high-speed and orderly data input for the stream processing system.

RDMABenchMark

RDMA BenchMark 包括带宽和延迟测试与传统网络相比较

JbexProject

智慧校园的项目 3S

JbexGis

基于MapGis开发的“感知校园”的社交应用是利用 Gis 技术实现的移动端应用和利用JavaWeb技术实现的Web端后台管理应用。

stormTest-1.0.2

针对strom 吞吐量和延迟做的BenchMark集群测试

kryoAction

Kryo是一个快速高效的Java序列化框架，旨在提供快速、高效和易用的API。无论文件、数据库或网络数据Kryo都可以随时完成序列化。Kryo还可以执行自动深拷贝（克隆）、浅拷贝（克隆）。本项目包括Kryo于Java序列化机制进行性能对比以及KryoUtils工具类的使用

Ares

Ares, a high performance and fault tolerant DSPS. Ares considers both system performance and fault tolerant capability during task allocation. In the design of Ares, we formalize the problem of Fault Tolerant Scheduler (FTS) for finding an optimal task allocation which maximizes the system utility. We treat the FTS problem as a game and propose Nirvana, an algorithm based on best-response dynamics scheduling strategy.

hbaseProject

keyGroupingBalancing

Storm fieldsGroupingBalancing 基于Storm的fieldsGrouping负载均衡项目内置PredictHotKeyUtil

flinkTest

Flink BenchMark 针对strom 吞吐量和延迟做的BenchMark集群测试

JavaConcurrentCode

Java 并发编程的艺术源码。深入理解Java并发编程

solrAction

Solr是基于Lucence的全文搜索服务器.Solr提供了比Lucence更为丰富的查询语言.同时实现了可配置、可扩展、并对索引搜索性能进行优化。本项目是一共Solr的学习项目，包括对Solr进行添加索引、删除索引、查询文档等JavaAPI的使用。Solr IK分词器的使用和一些查询高亮显示。

sparkScalaAction

SparkAction Spark(Scala版本)包括SparkCore、SparkSQL、SparkStreaming的一些操作

JavaDesignPattern

Java 设计模式包括单例模式、模板方法模式、工厂模式、责任链模式、策略模式、代理模式、观察者模式和适配器模式。

DStream

DStream is a popularity-aware differentiated distributed stream processing system, which identifies the popularity of keys in the stream data and uses a differentiated partitioning scheme. DStream greatly outperforms Storm on skew distributed data in terms of throughput and processing latency.

storm

Storm 反压机制性能测试

JavaBasciLearing

Java基础知识学习：包括JVM虚拟机、对象模型等Java基础知识代码案例。（此项目与本人的博客用到的代码同步更新）

ThinkInJavaLearning

Thinking in java 4th code(java编程思想第四版源代码) Java基础知识

activemqAction

ActiveMQ是由Apache出品的，一款最流行的，能力强劲的开源消息总线。它是一个消息中间件，本项目是一个ActiveMQ的学习项目。包括ActiveMQ的API的使用以及生产者消费者模型 ActiveMQ的负载均衡 Publish-Subscribe消息订阅发布模型点对点通信模型

JavaCommunicate

Java通信协议Study 包括Scoket通信、NIO通信、Netty通信

seckill

zookeeperAction

Apache Zookeeper是一个分布式协调服务，就是为用户的分布式应用程序提供协调服务.本项目Apache Zookeeper的学习项目。ZookeerperAction Zookeeper简单实现RMI高可用性包括RIM服务。并且包括用Zookeeper实现分布式锁以及分布式系统动态上线下线。

javaStrengthen

Java 高级特性增强。包括多线程增强、Java并发包、Java JMS技术、Java JVM技术、Java动态代理以及反射。

Algorithm

算法分析：提升算法能力（动态规划、递归等）

elasticSearchAction

ElasticSearchAction 学习项目.ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。其中包括对elasticSearchAction javaAPI的基本操作以及查询操作, 以及包括Smartcn中文分词器的操作

apache-storm-1.1.1

Storm-1.1.1 源码调试版本 Init

dubboAction

Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务框架，以及SOA的服务治理方案。简单的说duboo就是一个服务框架。本项目是一个Dubbo的学习Action项目，包括Dubbo构建一个服务治理、负载均衡、集群容错等特性

popularity_awaredifferentiatedscheduling

基于Storm的popularity_awaredifferentiatedscheduling不同调度器,由于Storm keygrouping分组策略会造成集群内部极度负载不均衡性.所以popularity_awaredifferentiatedscheduling调度器会将出现频率很高的热词进行重新随机分发给不同机器进行处理,减少集群内部负载不均衡性，极大的提高系统性能。