• Stars
    star
    295
  • Rank 140,943 (Top 3 %)
  • Language
    Python
  • Created 12 months ago
  • Updated 3 months ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

大模型多维度中文对齐评测基准 (ACL 2024)

AlignBench: 多维度中文对齐评测基准

Read this in English

AlignBench 是第一个多维度全面评估中文大模型对齐水平的评测基准。此仓库包含了 AlignBench 的介绍信息、数据和代码。

🔥 近期更新

[2023.12.12] AlignBench 网站 已经正式上线,欢迎大家访问!可以通过网站中的 提交 功能使用 CritiqueLLM 在 AlignBench 上进行评测(5分钟左右即可拿到结果)

📍 基本信息

对于经过指令微调(instruction tuning)的大语言模型(LLMs),与人类意图的对齐程度已成为其实际应用的关键因素。然而,现有的评测基准已经不能准确反映模型在真实场景中的表现和与人类意图的对齐程度,如何对中文大语言模型的对齐水平进行有效评估已经成为了一个重大的挑战。在实际的应用场景中,我们需要采用多样化、开放式、具有挑战性且自动化的评估方法来专门评估模型的对齐水平。

因此,我们构建了 AlignBench,这是一个用于评估中文大语言模型对齐性能的全面、多维度的评测基准。AlignBench 构建了人类参与的数据构建流程,来保证评测数据的动态更新。AlignBench 采用多维度、规则校准的模型评价方法(LLM-as-Judge),并且结合思维链(Chain-of-Thought)生成对模型回复的多维度分析和最终的综合评分,增强了评测的高可靠性和可解释性。

此外,为了便于中文领域研究人员方便快捷地衡量模型的对齐程度,我们开发了一个专用的评测模型——CritiqueLLM,它能够恢复 GPT-4 95% 的评估能力,并在未来将通过易于访问的 API 向研究人员提供。

Overall

AlignBench 的整体框架如上图所示,包括数据构建流程、体系化的分类以及多维度、规则校准的 LLM-as-Judge 评估方法。

想了解 AlignBench 的更多详细信息,请参阅论文:AlignBench

想了解 CritiqueLLM 的更多详细信息,请参阅论文:CritiqueLLM


📦 数据集信息

为了进行系统化的评估,我们根据真实用户指令构建了一个全面的大语言模型(LLMs)能力分类体系。我们分析并总结了用户问题,将其归纳为 8 个主要类别,分别是基本能力、中文理解、综合问答、写作能力、逻辑推理、数学能力、角色扮演和专业知识。AlignBench 的分类体系和数据分布如下表所示。

Category 中文名 #Samples
Fundamental Language Ability 基本任务 68
Advanced Chinese Understanding 中文理解 58
Open-ended Questions 综合问答 38
Writing Ability 文本写作 75
Logical Reasoning 逻辑推理 92
Mathematics 数学计算 112
Task-oriented Role Play 角色扮演 116
Professional Knowledge 专业能力 124

为了反映模型在实际应用中的真实表现,AlignBench 中的数据主要来自 ChatGLM 在线服务中真实用户的问题(少部分为研究人员构造的挑战性问题)。AlignBench 总共包含 683 个高质量评测数据。AlignBench 中的每个样本都包含一个任务性的用户指令、一个高质量的参考答案,以及在我们的分类体系中对应的类别。数据保存在data/data_release.jsonl中,每一行都以json格式包含一个样本。

数据格式如下所示。

  • question_id (integer):问题的唯一标识符。
  • category (string):问题所属的主要类别。
  • subcategory (string):用于进一步分类的次要类别。
  • question (string):实际用户查询。
  • reference (string):这提供了对问题的参考或标准答案。

以下是数学能力类别的一个例子。

{
    "question_id": 1,
    "category": "数学计算",
    "subcategory": "初等数学",
    "question": "有一串彩珠,按“2红3绿4黄”的顺序依次排列。第600颗是什么颜色?",
    "reference": "一组\"2红3绿4黄\"共有9颗珠子。600除以9的商是66,余数是6。因此,第600颗珠子是在第67组的第6颗,即\"2红3绿4黄\"中的第6颗,也就是黄色。所以,第600颗珠子是黄色。"
}

⚙️ 多维度评价方法

为了有效评估响应的质量,AlignBench 目前采用 GPT-4-0613 来分析并随后对响应进行评分。在评估过程中,输入包括用户问题、模型的回复和高质量的参考答案,输出是对模型回复的多维度的分析和最终评分,评分范围从1到10。为了确保可靠性和可解释性,我们实施了以下方法。整个评价流程的示例图如下所示。

Case

  • 单点打分: 对于每个模型的回答,评估方法将给出一个从 1 到 10 的最终评分。

  • 思维链(Chain-of-Thought): 由于评分任务涉及到复杂的推理过程,我们采用了思维链方法来增强评价的可靠性和可解释性。具体来说,我们会引导评价模型在给出最终评分之前,从多个维度生成对模型回答的分析解释。

  • 规则校准: 对于每个问题,我们提供一个高质量的参考答案。为了指导评价模型将模型回答与参考答案进行比较,并生成更加可控的分数,我们提供了详细的评分规则,阐述了分数区间(目前将 1 - 10 五等分)与模型回答的质量之间的关系。这些规则包含在 prompt 中。
  • 多维度分析: 由于不同的任务具有不同的性质和特征,对所有任务应用相同的评估流程是不合理的。因此,我们采用多维度的评分方法来全面评估模型回答。具体来说,我们根据不同的问题类型设置了不同的评估维度,并指导评价模型从指定的多个维度分析模型答案并提供单个维度的分数。这些维度及其定义记录在config中。

🚀 如何在 AlignBench 上评测模型

整个评估过程包含三个步骤:获取待评测模型的生成结果、调用评价模型获取分析和打分,最终计算结果。相应的脚本保存在scripts中,可以修改其中参数之后调用。

  1. 步骤一 获取待评测模型的生成结果

    首先,您需要获得待评测模型的 API 来生成结果,如果是开源模型,您需要自己部署成可以调用获得回复的 API。(此部分不包含在此仓库中)。

    其次,在inference/api_models中实现您自己的 API 调用类,do_nothing类可以作为一个示例。(此类主要用于调用 API,注意 API 类名应与文件名相同)

    第三,修改参数并运行以下脚本以获得待评测模型的生成结果。

    MODEL=do_nothing # TODO 修改模型名称(与您的API调用类相同)
    
    python get_answers.py \
        --model do_nothing \
        --workers 2 \
        --question-file data/data_release.jsonl \
        --save-dir data/model_answer

    待评测模型的回复将被保存在data/model_answer中,以备下一步的评测。

  2. 步骤二 调用评价模型获取分析和打分

    目前我们使用 gpt-4-0613 作为评测模型,之后为了方便中文社区,我们计划以 API 的形式开放 CritiqueLLM 作为 gpt-4 的替代评测模型给研究人员使用。

    首先,在config/multi-dimension.json中填写您的 GPT-4 API 密钥。

    然后,修改并运行以下脚本以获得评价模型的评测结果。

    MODEL=do_nothing # TODO 修改模型名称(与您的API调用类相同)
    
    python judge.py \
        --config-path config/multi-dimension.json \
        --model-name $MODEL \
        --parallel 2 \

    评测结果将保存在data/judgment

  3. 步骤三 最终计算结果

    运行以下脚本以获取保存在data/judgment中的所有模型的最终结果。

    python show_result.py \
        --input-dir data/judgment \
        --ques-file data/data_release.jsonl \
        --save-file data/results/results.xlsx

    计算结果打印出来,同时将以xlsx格式存储在data/results中。


📂 排行榜

我们在 AlignBench 上分别使用gpt-4-0613CritiqueLLM 作为打分模型对 17 个支持汉语的大语言模型(LLMs)进行了系统评测,结果显示和CritiqueLLMgpt-4-0613 具有很高的一致性。

gpt-4-0613 的评测结果:

model Overall Reasoning 中文推理 Language 中文语言
Avg. Math. Logi. Avg. Fund. Chi. Open. Writ. Role. Pro.
模型 总分 推理
总分
数学
计算
逻辑
推理
语言
总分
基本
任务
中文
理解
综合
问答
文本
写作
角色
扮演
专业
能力
gpt-4-1106-preview 8.01 7.73 7.8 7.66 8.29 7.99 7.33 8.61 8.67 8.47 8.65
gpt-4-0613 7.53 7.47 7.56 7.37 7.59 7.81 6.93 7.42 7.93 7.51 7.94
chatglm-turbo(智谱清言) 6.24 5 4.74 5.26 7.49 6.82 7.17 8.16 7.77 7.76 7.24
erniebot-3.0(文心一言) 6.14 5.15 5.03 5.27 7.13 6.62 7.6 7.26 7.56 6.83 6.9
gpt-3.5-turbo-0613 6.08 5.35 5.68 5.02 6.82 6.71 5.81 7.29 7.03 7.28 6.77
chatglm-pro(智谱清言) 5.83 4.65 4.54 4.75 7.01 6.51 6.76 7.47 7.07 7.34 6.89
spark_desk_v2(讯飞星火) 5.74 4.73 4.71 4.74 6.76 5.84 6.97 7.29 7.18 6.92 6.34
qwen-14b-chat 5.72 4.81 4.91 4.71 6.63 6.9 6.36 6.74 6.64 6.59 6.56
baichuan2-13b-chat 5.25 3.92 3.76 4.07 6.59 6.22 6.05 7.11 6.97 6.75 6.43
chatglm3-6b 4.97 3.85 3.55 4.14 6.1 5.75 5.29 6.71 6.83 6.28 5.73
baichuan2-7b-chat 4.97 3.66 3.56 3.75 6.28 5.81 5.5 7.13 6.84 6.53 5.84
internlm-20b 4.96 3.66 3.39 3.92 6.26 5.96 5.5 7.18 6.19 6.49 6.22
qwen-7b-chat 4.91 3.73 3.62 3.83 6.09 6.4 5.74 6.26 6.31 6.19 5.66
chatglm2-6b 4.48 3.39 3.16 3.61 5.58 4.91 4.52 6.66 6.25 6.08 5.08
internlm-chat-7b 3.65 2.56 2.45 2.66 4.75 4.34 4.09 5.82 4.89 5.32 4.06
Chinese-llama-2-7b-chat 3.57 2.68 2.29 3.07 4.46 4.31 4.26 4.5 4.63 4.91 4.13
llama-2-13b-Chinese-chat 3.35 2.47 2.21 2.73 4.23 4.13 3.31 4.79 3.93 4.53 4.71

CritiqueLLM 的评测结果:

model Overall Reasoning 中文推理 Language 中文语言
Avg. Math. Logi. Avg. Fund. Chi. Open. Writ. Role. Pro.
模型 总分 推理
总分
数学
计算
逻辑
推理
语言
总分
基本
任务
中文
理解
综合
问答
文本
写作
角色
扮演
专业
能力
gpt-4-1106-preview 7.58 7.11 7.39 6.83 8.05 7.69 7.07 8.66 8.23 8.08 8.55
gpt-4-0613 6.83 6.41 6.49 6.33 7.26 7.16 6.76 7.26 7.31 7.48 7.56
chatglm-turbo(智谱清言) 6.36 4.99 4.88 5.09 7.73 7.5 7.03 8.45 8.05 7.67 7.7
erniebot-3.0(文心一言) 5.91 4.75 4.34 5.15 7.07 6.46 7.21 7.29 7.73 7.03 6.72
chatglm-pro(智谱清言) 5.73 4.49 4.55 4.43 6.96 6.47 6.81 7.26 7.25 7.29 6.7
gpt-3.5-turbo-0613 5.68 4.85 4.90 4.79 6.52 6.01 5.6 6.97 7.27 6.98 6.29
spark_desk_v2(讯飞星火) 5.51 4.58 4.53 4.62 6.44 5.76 6.29 6.37 7.25 7.03 5.96
qwen-14b-chat 5.41 4.52 4.54 4.50 6.31 6.46 5.84 6.71 6.47 6.38 5.98
baichuan2-13b-chat 5.26 3.96 3.83 4.08 6.56 5.74 6.19 7.03 7.21 6.72 6.49
baichuan2-7b-chat 5.05 3.68 3.23 4.13 6.42 5.72 5.71 7.08 7.41 6.86 5.73
chatglm3-6b 5.01 3.70 3.44 3.95 6.33 6.13 5.72 6.92 7.11 6.31 5.77
internlm-20b 4.97 3.67 3.46 3.87 6.27 5.65 5.52 6.71 6.77 6.35 6.61
qwen-7b-chat 4.74 3.66 3.51 3.80 5.83 6.01 5.52 5.89 6.28 6.16 5.12
chatglm2-6b 4.57 3.32 3.28 3.35 5.83 5.24 5.12 6.68 6.83 5.95 5.15
Chinese-llama-2-7b-chat 3.44 2.42 2.13 2.70 4.46 4.59 4.29 4.39 4.64 4.91 3.94
internlm-chat-7b 3.24 2.10 2.34 1.85 4.39 3.43 3.76 5.37 4.63 5.01 4.15
llama-2-13b-Chinese-chat 3.14 2.35 2.12 2.58 3.93 4.31 2.9 4.34 3.52 4.04 4.47

👏 引用

@misc{liu2023alignbench,
      title={AlignBench: Benchmarking Chinese Alignment of Large Language Models}, 
      author={Xiao Liu and Xuanyu Lei and Shengyuan Wang and Yue Huang and Zhuoer Feng and Bosi Wen and Jiale Cheng and Pei Ke and Yifan Xu and Weng Lam Tam and Xiaohan Zhang and Lichao Sun and Hongning Wang and Jing Zhang and Minlie Huang and Yuxiao Dong and Jie Tang},
      year={2023},
      eprint={2311.18743},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

More Repositories

1

ChatGLM-6B

ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型
Python
40,459
star
2

ChatGLM2-6B

ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型
Python
15,702
star
3

ChatGLM3

ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型
Python
13,366
star
4

CodeGeeX

CodeGeeX: An Open Multilingual Code Generation Model (KDD 2023)
Python
8,150
star
5

CogVideo

text and image to video generation: CogVideoX (2024) and CogVideo (ICLR 2023)
Python
7,976
star
6

GLM-130B

GLM-130B: An Open Bilingual Pre-Trained Model (ICLR 2023)
Python
7,653
star
7

CodeGeeX2

CodeGeeX2: A More Powerful Multilingual Code Generation Model
Python
7,622
star
8

CogVLM

a state-of-the-art-level open visual language model | 多模态预训练模型
Python
5,913
star
9

GLM-4

GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型
Python
4,826
star
10

VisualGLM-6B

Chinese and English multimodal conversational language model | 多模态中英双语对话语言模型
Python
4,076
star
11

GLM

GLM (General Language Model)
Python
3,168
star
12

AgentBench

A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)
Python
2,144
star
13

CogVLM2

GPT4V-level open-source multi-modal model based on Llama3-8B
Python
2,018
star
14

P-tuning-v2

An optimized deep prompt tuning strategy comparable to fine-tuning across scales and tasks
Python
1,968
star
15

CogDL

CogDL: A Comprehensive Library for Graph Deep Learning (WWW 2023)
Python
1,720
star
16

CogView

Text-to-Image generation. The repo for NeurIPS 2021 paper "CogView: Mastering Text-to-Image Generation via Transformers".
Python
1,691
star
17

WebGLM

WebGLM: An Efficient Web-enhanced Question Answering System (KDD 2023)
Python
1,557
star
18

AgentTuning

AgentTuning: Enabling Generalized Agent Abilities for LLMs
Python
1,339
star
19

CodeGeeX4

CodeGeeX4-ALL-9B, a versatile model for all AI software development scenarios, including code completion, code interpreter, web search, function calling, repository-level Q&A and much more.
Python
1,271
star
20

ImageReward

[NeurIPS 2023] ImageReward: Learning and Evaluating Human Preferences for Text-to-image Generation
Python
1,117
star
21

LongWriter

LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs
Python
1,076
star
22

SwissArmyTransformer

SwissArmyTransformer is a flexible and powerful library to develop your own Transformer variants.
Python
966
star
23

CogView2

official code repo for paper "CogView2: Faster and Better Text-to-Image Generation via Hierarchical Transformers"
Python
944
star
24

P-tuning

A novel method to tune language models. Codes and datasets for paper ``GPT understands, too''.
Python
915
star
25

LongBench

[ACL 2024] LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding
Python
629
star
26

AutoWebGLM

An LLM-based Web Navigating Agent (KDD'24)
Python
584
star
27

GATNE

Source code and dataset for KDD 2019 paper "Representation Learning for Attributed Multiplex Heterogeneous Network"
Python
522
star
28

GraphMAE

GraphMAE: Self-Supervised Masked Graph Autoencoders in KDD'22
Python
462
star
29

CogQA

Source code and dataset for ACL 2019 paper "Cognitive Graph for Multi-Hop Reading Comprehension at Scale"
Python
456
star
30

Inf-DiT

Official implementation of Inf-DiT: Upsampling Any-Resolution Image with Memory-Efficient Diffusion Transformer
Python
366
star
31

GCC

GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training @ KDD 2020
Python
322
star
32

MathGLM

Official Pytorch Implementation for MathGLM
Python
316
star
33

HGB

Revisiting, benchmarking, and refining Heterogeneous Graph Neural Networks.
Python
301
star
34

ComiRec

Source code and dataset for KDD 2020 paper "Controllable Multi-Interest Framework for Recommendation"
Python
278
star
35

LongCite

LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA
Python
272
star
36

RelayDiffusion

The official implementation of "Relay Diffusion: Unifying diffusion process across resolutions for image synthesis" [ICLR 2024 Spotlight]
Python
262
star
37

KOBE

Towards Knowledge-Based Personalized Product Description Generation in E-commerce @ KDD 2019
Python
237
star
38

NLP4Rec-Papers

Paper list of NLP for recommender systems
225
star
39

ProNE

Source code and dataset for IJCAI 2019 paper "ProNE: Fast and Scalable Network Representation Learning"
Python
225
star
40

Chinese-Transformer-XL

Python
218
star
41

GRAND

Source code and dataset of the NeurIPS 2020 paper "Graph Random Neural Network for Semi-Supervised Learning on Graphs"
Python
203
star
42

LongAlign

[EMNLP 2024] LongAlign: A Recipe for Long Context Alignment of LLMs
Python
199
star
43

icetk

A unified tokenization tool for Images, Chinese and English.
Python
150
star
44

CogCoM

Jupyter Notebook
146
star
45

ReST-MCTS

ReST-MCTS*: LLM Self-Training via Process Reward Guided Tree Search (NeurIPS 2024)
Python
146
star
46

KBRD

Towards Knowledge-Based Recommender Dialog System @ EMNLP 2019
Python
134
star
47

GraphMAE2

GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner in WWW'23
Python
133
star
48

iPrompt

Code, Data and Demo for Paper: Controllable Generation from Pre-trained Language Models via Inverse Prompting
Python
121
star
49

ProteinLM

Protein Language Model
Python
111
star
50

MCNS

Source code and dataset for KDD 2020 paper "Understanding Negative Sampling in Graph Representation Learning"
Python
111
star
51

VisualAgentBench

Towards Large Multimodal Models as Visual Foundation Agents
Python
94
star
52

CogView3

text to image to generation: CogView3-Plus and CogView3(ECCV 2024)
Python
93
star
53

grb

Graph Robustness Benchmark: A scalable, unified, modular, and reproducible benchmark for evaluating the adversarial robustness of Graph Machine Learning.
Python
91
star
54

GraphSGAN

Implementation of "GraphSGAN", a GAN-based semi-supervised learning algorithm for graph data.
Python
85
star
55

kgTransformer

kgTransformer: pre-training for reasoning over complex KG queries (KDD 22)
Python
82
star
56

ScenarioMeta

Source code and dataset for KDD 2019 paper "Sequential Scenario-Specific Meta Learner for Online Recommendation"
Python
80
star
57

OAG-BERT

A heterogeneous entity-augmented academic language model based on Open Academic Graph (OAG)
76
star
58

ChatGLM-Math

Python
75
star
59

CogKR

Source code and dataset for paper "Cognitive Knowledge Graph Reasoning for One-shot Relational Learning"
Python
71
star
60

SelfKG

Codes for WWW2022 accepted paper: SelfKG: Self-Supervised Entity Alignment in Knowledge Graphs
Python
67
star
61

FewNLU

Python
65
star
62

SciGLM

SciGLM: Training Scientific Language Models with Self-Reflective Instruction Annotation and Tuning (NeurIPS D&B Track 2024)
Python
62
star
63

Multilingual-GLM

The multilingual variant of GLM, a general language model trained with autoregressive blank infilling objective
Python
62
star
64

XDAI

Python
61
star
65

CogAgent

59
star
66

OAG

Source code and dataset for KDD 2019 paper "OAG: Toward Linking Large-scale Heterogeneous Entity Graphs"
Python
59
star
67

NaturalCodeBench

Python
54
star
68

LVBench

LVBench: An Extreme Long Video Understanding Benchmark
Python
52
star
69

AutoRE

Python
45
star
70

Graph-Reading-Group

Daily reading group on graphs at KEG
44
star
71

SCR

SCR: Training Graph Neural Networks with Consistency Regularization
Python
37
star
72

WhoIsWho

KDD'23 Web-Scale Academic Name Disambiguation: the WhoIsWho Benchmark, Leaderboard, and Toolkit
Python
34
star
73

FastLDM

Inference speed-up for stable-diffusion (ldm) with TensorRT.
Python
34
star
74

GraphCAD

TKDE'22-GraphCAD: https://arxiv.org/pdf/2108.07516.pdf
Python
30
star
75

GRAND-plus

Code and dataset for paper "GRAND+: Scalable Graph Random Neural Networks"
Python
30
star
76

KDD-Industrial-Papers

A list of recent industrial papers in KDD'16–'18
28
star
77

ApeGNN

ApeGNN: Node-Wise Adaptive Aggregation in GNNs for Recommendation (WWW'23)
Python
23
star
78

GLM-iprompt

Apply Iprompt on GLM with innovative new methods. Currently support Chinese QA, English QA and Chinese poem generation.
Python
21
star
79

GIAAD

Graph Injection Adversarial Attack & Defense Dataset , extracted from KDD CUP 2020 ML2 Track
Python
21
star
80

Tsinghua-ML-Course

Course Materials for ML Course at Tsinghua
HTML
21
star
81

HOSMEL

A task relevant entity linking toolkit
Python
20
star
82

Self-Contrast

Extensive Self-Contrast Enables Feedback-Free Language Model Alignment
Python
19
star
83

RecDCL

RecDCL: Dual Contrastive Learning for Recommendation (WWW'24, Oral)
Python
19
star
84

tdgia

code for paper TDGIA:Effective Injection Attacks on Graph Neural Networks (KDD 2021, research track)
Python
18
star
85

BatchSampler

The source code for BatchSampler that accepted in KDD'23
Python
18
star
86

MRT

MRT: Tracing the Evolution of Scientific Publications (TKDE 2021)
16
star
87

LargeScale

Python
15
star
88

eTrust

Source code and dataset for TKDE 2019 paper “Trust Relationship Prediction in Alibaba E-Commerce Platform”
C++
15
star
89

MSAGPT

MSAGPT
Python
15
star
90

whoiswho-top-solutions

Python
14
star
91

paper-source-trace

Python
14
star
92

Efficient-Head-Finetuning

Source code for EMNLP2022 long paper: Parameter-Efficient Tuning Makes a Good Classification Head
Python
13
star
93

IGB

Source code and dataset for IJCAI 2022 paper "Rethinking the Setting of Semi-supervised Learning on Graphs"
Python
10
star
94

BattleAgentBench

Python
9
star
95

GraphAlign

GraphAlign: Pretraining One Graph Neural Network on Multiple Graphs via Feature Alignment
Python
8
star
96

APAR

APAR: LLMs Can Do Auto-Parallel Auto-Regressive Decoding
Python
8
star
97

scholar-profiling

Jupyter Notebook
7
star
98

citation-prediction

Python
7
star
99

OpenWebAgent

A convenient framework for developing LLM- and LMM-based web agents.
JavaScript
6
star
100

OAG-AQA

Python
6
star