• Stars
    star
    347
  • Rank 122,141 (Top 3 %)
  • Language
    C
  • License
    MIT License
  • Created almost 7 years ago
  • Updated about 3 years ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

AVL implementation which is as fast/compact as linux's rbtree

简介

AVL 树需要被平反昭雪,这个 avl 实现和 linux 的 rbtree 一样高效

编译

gcc -O3 -Wall test_avl.c -o test_avl
gcc -O3 -Wall test_map.cpp -o test_map -lstdc++

静态内存测评

静态内存性能比较(预先分配节点),avlnode 和 linux 的 rbtree 一样,潜入结构体模式,不需要任何内存分配:

节点数量 算法 搜索 插入 删除 插入旋转 删除旋转 树高
10,000,000 avlmini 1234 2141 515 7053316 7053496 27
10,000,000 linux rbtree 1266 2187 496 5887217 6815235 33
1,000,000 avlmini 109 188 48 704626 704619 23
1,000,000 linux rbtree 125 187 39 588194 681424 27

Linux kernel 的 rbtree 应该不会有大的什么性能问题吧?拿它作为一个标杆比对下应该能说明一些问题,为了排除内存分配的干扰,节点全部预分配,使用静态内存对二者进行评测。

可以看出高度优化的 avl 和 rbtree 确实表现差不多,有时候切换任务这个会快点,有时候那个会快一些。

所谓说 avl 树每次重平衡需要回溯回根节点的纯粹胡扯,根据 avl 的性质不难做出两个推论:

插入更新时:如当前节点的高度没有改变,则上面所有父节点的高度和平衡也不会改变。 删除更新时:如当前节点的高度没有改变,且平衡值在 [-1, 1] 区间则所有父节点的高度和平衡都不会改变。

根据这两个特点,AVL可以不需要像教科书那样,每次插入删除都回溯到根节点,基本上往上走几级也就搞定了,这和 rbtree 的搜索范围类似,所以不要拿 rbtree 比没有优化过的 avl 。

所谓说 rbtree 统计性能更好的,说的是旋转次数普遍比 avl树少吧,这是的确,但是 rbtree 调整平衡的手段除了旋转还有着色啊,大量的判断兄弟节点,父节点,祖节点,噼里啪啦换颜色,这些都被吃了?再说 rbtree 的层高确实比 avl 更高,这些因素加在一起,最终两者的结果仍然差不多。

动态内存测评

动态内存性能比较,为了和 stl 的 map 比较,avlmini 和 linux rbtree 在插入节点时都进行了内存分配,这样对 std::map 这种需要 overhead 的容器比较起来才比较公平,同时排除字符串影响 key/value 都用 int,这样测试比较纯粹:

节点数量 算法 搜索 插入 删除
10,000,000 avlmini 1266 2852 547
10,000,000 linux rbtree 1547 2745 500
10,000,000 std::map 2241 3008 578
1,000,000 avlmini 109 266 44
1,000,000 linux rbtree 110 234 38
1,000,000 std::map 203 265 47

测试编译器:gcc 5.2.0 (mingw) 自带STL (vs 2017 和 gcc 5.4.0 结果类似)。

我们的 avlmini 性能超同样 rbtree 实现的 std::map 不少,可见 avl 被误会很深。

结论

AVL 不比 linux rbtree 差,比 std::map 好很多,类似的结论见:

AVL-HASH

树表混合结构的 key/value 容器,使用封闭寻址哈希表+AVL树保存索引,彻底解决哈希冲突,原理及性能见:

https://zhuanlan.zhihu.com/p/31758048

标准测试

标准测试主要测试默认 hash 函数,验证键值基本均匀的情况下,不必传统容器慢:

gcc -O3 -Wall test_map.cpp -o test_map -lstdc++ -lm

下面是三个不同环境/编译器的性能对比:

编译器 容器 搜索 插入 删除
GCC 5.2.0 (mingw) avl-hash 194 310 871
GCC 5.2.0 (mingw) std::unordered_map 255 713 1794
VS2017 (x86) avl-hash 185 336 845
VS2017 (x86) std::unordered_map 176 849 1281
GCC 5.4.0 (linux 64) avl-hash 204 590 1320
GCC 5.4.0 (linux 64) std::unordered_map 338 747 3385

冲突测试:

当冲突发生时,和标准容器的性能比较,用下面命令编译,VC 请自己修改,主要要定义一个宏:

gcc -O3 -Wall -DSAME_HASH test_map.cpp -o test_map_collision -lstdc++ -lm

测试结果:

可以看出搜索对比,横轴表示冲突节点数量,纵轴表示测试耗时,可以看出随着碰撞的增加,树表混合结构的查询时间基本只是从 0毫秒增加到了 1-2毫秒,而 unordered_map 的搜索时间却是抛物线上升到1.4秒了。

可以看出当冲突发生的时候,std::unordered_map 基本就跪了

通过上面的工作,我们得到了这个最不坏的哈希表,我们用它做一个类似 redis / mq 的服务,存储百万级别的键值不用太过在意数据哈希值分布不均匀所带来的问题了,也不用担心碰撞攻击会让其性能跌落到深渊。

我们没法完全依赖哈希函数,当哈希函数靠不住时,还得靠哈希表本身,这叫打铁还需自身硬嘛,最终测试基本符合我们的初衷和预期。

More Repositories

1

kcp

⚡ KCP - A Fast and Reliable ARQ Protocol
C
15,270
star
2

awesome-cheatsheets

超级速查表 - 编程语言、框架和开发工具的速查表,单个文件包含一切你需要知道的东西 ⚡
Shell
11,094
star
3

ECDICT

Free English to Chinese Dictionary Database
Python
5,922
star
4

preserve-cd

Game Preservation Project
3,654
star
5

z.lua

⚡ A new cd command that helps you navigate faster by learning your habits.
Lua
2,979
star
6

mini3d

3D Software Renderer in 700 Lines !!
C
2,173
star
7

asyncrun.vim

🚀 Run Async Shell Commands in Vim 8.0 / NeoVim and Output to the Quickfix Window !!
Vim Script
1,852
star
8

RenderHelp

⚡ 可编程渲染管线实现,帮助初学者学习渲染
C++
1,333
star
9

vim-quickui

The missing UI extensions for Vim 9 (and NeoVim) !! 😎
Vim Script
1,094
star
10

vim

Personal Vim Profile
Vim Script
911
star
11

asynctasks.vim

🚀 Modern Task System for Project Building, Testing and Deploying !!
Vim Script
910
star
12

vim-init

轻量级 Vim 配置框架,全中文注释
Vim Script
907
star
13

emake

你见过的最简单的 GCC/CLANG 项目构建工具,定义式构建,比命令式更简单
Python
802
star
14

PyStand

🚀 Python Standalone Deploy Environment !!
C++
736
star
15

FastMemcpy

Speed-up over 50% in average vs traditional memcpy in gcc 4.9 or vc2012
C
585
star
16

preserve-iso

绝版软件保护工程
580
star
17

quickmenu.vim

A nice customizable popup menu for vim
Vim Script
275
star
18

vim-auto-popmenu

😎 Display the Completion Menu Automantically (next AutoComplPop) !!
Vim Script
271
star
19

gutentags_plus

The right way to use gtags with gutentags
Vim Script
266
star
20

vim-terminal-help

Small changes make vim/nvim's internal terminal great again !!
Vim Script
243
star
21

translator

命令行聚合翻译工具,支持谷歌,必应,有道,百度,词霸,360
Python
227
star
22

ECDICT-ultimate

Ultimate ECDICT Database
219
star
23

GONGLUE

单机游戏攻略秘籍(1580+ 篇)
Python
180
star
24

vim-preview

The missing preview window for vim
Vim Script
167
star
25

pixellib

High Quality 2D Graphics Library
C
157
star
26

KanaQuiz

Hiragana/Katakana Speed Reading Quiz in Command Line !! 😎
Python
147
star
27

images

Static Page
C++
144
star
28

BasicBitmap

Simple and high-performance and platform independent Bitmap class (34% faster than GDI/GDI+, 40% faster than DDraw)
C++
131
star
29

AsyncNet

AsyncNet
C
117
star
30

gobang

Gobang game with artificial intelligence in 900 Lines !!
Python
115
star
31

vim-rt-format

😎 Prettify Current Line on Enter !!
Vim Script
113
star
32

vim-keysound

🍷 Play typewriter sound in Vim when you are typing a letter
Vim Script
112
star
33

Intel2GAS

Convert MSVC Style Inline Assembly to GCC Style Inline Assembly
Python
103
star
34

CloudClip

Your own clipboard in the cloud, copy and paste text with gist between systems !!
Python
79
star
35

googauth

The Python Command-line Reimplementaion of Google Authenticator
Python
74
star
36

LIBLR

Parser Generator for LR(1) and LALR
Python
68
star
37

markpress

Write WordPress in Markdown in Your Favorite Text Editor !! 😎 😎
Python
67
star
38

vim-dict

没办法,被逼的,重新整理一个词典补全的数据库
Vim Script
56
star
39

terminal

Open Terminal Window to execute command in Windows / Cygwin / Ubuntu / OS X
Python
51
star
40

LeaderF-snippet

Intuitive Way to Use Snippet
Vim Script
46
star
41

nanolib

Cross-Platform Networking Library
C
44
star
42

vim-gpt-commit

🚀 Generate git commit message using ChatGPT in Vim (and NeoVim) !!
Python
43
star
43

czmod

🚀 Native Module Written in C to Boost z.lua !!
C
42
star
44

collection

没地方放的代码,懒得开新项目了,放这里吧。
Python
40
star
45

atom-shell-commands

Execute user defined shell commands (looking for new maintainers)
JavaScript
36
star
46

vim-navigator

🚀 Navigate Your Commands Easily !!
Vim Script
32
star
47

lemma.en

English Lemma Database - Compiled by Referencing British National Corpus
29
star
48

ml

Machine Learning From Scratch
C
28
star
49

memslab

Slab Memory Allocator in Application Layer
C
28
star
50

asyncrun.extra

Extra runners for asyncrun to run your command in Tmux/Gnome-terminal panel, xterm, Floaterm and more.
Vim Script
27
star
51

vim-color-patch

🌈 Load colorscheme patch script automatically !!
Vim Script
25
star
52

zvi

🚀 Smallest Vi-clone Text Editor for Windows CLI and SSH session (only 62KB) !!
23
star
53

vim-color-export

🌈 A tool to backport NeoVim colorschemes to Vim !!
Vim Script
20
star
54

QuickNet

UDP Networking Library
C
19
star
55

asmpure

Asmpure is a library written in C for compiling assembly code at run-time
C
16
star
56

docker

Docker Images
Python
16
star
57

VmBasic

基于虚拟机的仿 QuickBasic 语言
C++
15
star
58

vim-cppman

Read Cppman/Man pages right inside your vim.
Vim Script
15
star
59

language

Language Collection
Python
12
star
60

tcz_cd

Autojump for Total Commander !!
Python
11
star
61

LanguageMark

Native Language Benchmark in Numerous Algorithms
C
9
star
62

abandonware

Abandonware Collection
9
star
63

rogue-clone

A fork of rogue-clone with bug fixes and improvements.
C
8
star
64

vim-proposal

Collection of Proposals for Vim
TypeScript
7
star
65

gosub

Golang Sub-routines for Network Development
Go
7
star
66

winxp-editors

🍷 Text Editors Preservation Project for Windows XP+
Batchfile
7
star
67

cannon

Cross Platform Network Framework
C
6
star
68

shell-scripts

常用的命令行脚本合集,让你每天的命令行生活更加高效
Shell
6
star
69

crtzero

Zero Dependent on CRT (libc)
C
6
star
70

pyp2p

Python P2P Framework
Python
6
star
71

SimdVector

Cross Platform SIMD Vector Math In A Single Header File (SimdVector.h)
C++
5
star
72

support

Win32 Command Line Tools for Development
Python
5
star
73

treasure

Single-file MIT Licensed C/C++ Portable Libraries
C
4
star
74

asyncredis

Async Redis Client for Python
Python
3
star
75

skywind

Personal Blog
HTML
3
star
76

directx9-samples

samples
C++
3
star
77

gfx

Just Another Toy yet !!
C++
3
star
78

script

Script I am using
Python
3
star
79

colors-from-neovim.vim

🌈 Backported NeoVim Colors for Vim
Vim Script
3
star
80

ones

One single file MIT licensed C/C++ Libraries
2
star
81

asclib

Basic Java Network Lib
Java
2
star
82

transmod

Automatically exported from code.google.com/p/transmod
C
2
star
83

toys

My PyQt Desktop Toys
Python
2
star
84

rust

Rust Learning Repository
1
star
85

vile

Vile the vi-clone text editor
C
1
star
86

xvi

A portable multi-file text editor and the smallest full-function vi clone
C
1
star
87

emacs

Personal Emacs Profile
Emacs Lisp
1
star
88

cmake-scratch

Cmake Templates
CMake
1
star