1
1
---
2
- title : " TPC-H 基准测试:Databend Cloud vs. Snowflake"
2
+ title : " TPC-H 基准测试:Databend Cloud 对比 Snowflake"
3
3
sidebar_label : " TPC-H SF100 基准测试"
4
4
---
5
5
6
6
## 快速概览
7
7
8
8
### TPC-H
9
9
10
- TPC-H 基准测试是评估决策支持系统的标准,专注于复杂查询和数据维护。在此分析中 ,我们使用 TPC-H SF100(SF1 = 600 万行)数据集,涵盖 100GB 数据和约 6 亿行,对 22 个查询进行 Databend Cloud 与 Snowflake 的比较 。
10
+ TPC-H 基准测试是评估决策支持系统的标准,专注于复杂查询和数据维护。在本分析中 ,我们使用 TPC-H SF100(SF1 = 600 万行)数据集,涵盖 100GB 数据和约 6 亿行数据,对比了 Databend Cloud 与 Snowflake 在 22 个查询中的表现 。
11
11
12
12
:::info 免责声明
13
13
TPC Benchmark™ 和 TPC-H™ 是事务处理性能委员会([ TPC] ( http://www.tpc.org ) )的商标。我们的基准测试虽然受 TPC-H 启发,但不可直接与官方 TPC-H 结果相比较。
14
14
:::
15
15
16
16
### Snowflake 和 Databend Cloud
17
17
18
- - ** [ Snowflake] ( https://www.snowflake.com ) ** : Snowflake 以其先进功能著称,如存储与计算分离、按需可扩展计算、数据共享和克隆能力。
18
+ - ** [ Snowflake] ( https://www.snowflake.com ) ** : Snowflake 以其先进功能著称,如存储与计算分离、按需可扩展计算、数据共享和克隆能力。
19
19
20
- - ** [ Databend Cloud] ( https://www.databend.com ) ** :Databend Cloud 提供与 Snowflake [ 类似功能] ( https://github.com/datafuselabs/databend/issues/13059 ) ,作为一个云原生数仓,同样实现存储与计算分离,并按需提供可扩展计算。它源自开源项目 [ Databend] ( https://github.com/datafuselabs/databend ) ,定位为现代、成本效益高的 Snowflake 替代品,尤其适用于大规模分析。
20
+ - ** [ Databend Cloud] ( https://www.databend.com ) ** : Databend Cloud 提供与 Snowflake [ 类似功能] ( https://github.com/datafuselabs/databend/issues/13059 ) ,作为一个云原生数仓,同样实现了存储与计算的分离,并提供按需可扩展计算。
21
+ 它源自开源的 [ Databend 项目] ( https://github.com/datafuselabs/databend ) ,定位为现代、成本效益高的 Snowflake 替代品,尤其适用于大规模分析。
21
22
22
- ## 性能与成本比较
23
+ ## 性能与成本对比
23
24
24
- - ** 数据加载成本** : Databend 在数据加载方面比 Snowflake 节省 ** 67% 的成本** 。
25
- - ** 查询执行成本** : Databend 的查询执行成本比 Snowflake 大约 ** 低 60%** 。
25
+ - ** 数据加载成本** : Databend 在数据加载方面比 Snowflake 节省了 ** 67% 的成本** 。
26
+ - ** 查询执行成本** : Databend 的查询执行成本比 Snowflake 大约 ** 便宜 60%** 。
26
27
27
28
:::info 注意
28
29
29
- 在此基准测试中,未进行特殊调优。Snowflake 和 Databend Cloud 均使用默认设置 。
30
+ 在此基准测试中,未进行特殊调优。Snowflake 和 Databend Cloud 均使用其默认设置 。
30
31
请记住,** 不要仅凭我们的说法 — 鼓励您自行运行并验证这些结果。**
31
32
:::
32
33
33
34
### 数据加载基准
34
35
35
- ![ image ] ( https://github.com/datafuselabs/wizard/assets/172204/0e51510d-5aa6-4891-8510-c2741e7ddae0 )
36
+ ![ Alt text ] ( @site/static/img/documents/tpch1.png )
36
37
37
38
| 表 | Snowflake(695s, 成本 $0.77) | Databend Cloud(446s, 成本 $0.25) | 行数 |
38
- | ------------------ | ----------------------------- | ---------------------------------- | ------------- |
39
+ | ---------------- | --------------------------- | -------------------------------- | ----------- |
39
40
| customer | 18.137 | 13.436 | 15,000,000 |
40
41
| lineitem | 477.740 | 305.812 | 600,037,902 |
41
42
| nation | 1.347 | 0.708 | 25 |
@@ -50,41 +51,41 @@ TPC Benchmark™ 和 TPC-H™ 是事务处理性能委员会([TPC](http://www.
50
51
51
52
### 查询基准:冷启动
52
53
53
- ![ image ] ( https://github.com/datafuselabs/wizard/assets/172204/d796acf0-0a66-4b1d-8754-cd2cd1de04c7 )
54
-
55
- | 查询 | Snowflake(总时间 207s, 成本 $0.23) | Databend Cloud(总时间 166s, 成本 $0.09) |
56
- | ------------------ | ----------------------------------- | ---------------------------------------- |
57
- | TPC-H 1 | 11.703 | 8.036 |
58
- | TPC-H 2 | 4.524 | 3.786 |
59
- | TPC-H 3 | 8.908 | 6.040 |
60
- | TPC-H 4 | 8.108 | 4.462 |
61
- | TPC-H 5 | 9.202 | 7.014 |
62
- | TPC-H 6 | 1.237 | 3.234 |
63
- | TPC-H 7 | 9.082 | 7.345 |
64
- | TPC-H 8 | 10.886 | 8.976 |
65
- | TPC-H 9 | 18.152 | 13.340 |
66
- | TPC-H 10 | 13.525 | 12.891 |
67
- | TPC-H 11 | 2.582 | 2.183 |
68
- | TPC-H 12 | 10.099 | 8.839 |
69
- | TPC-H 13 | 13.458 | 7.206 |
70
- | TPC-H 14 | 8.001 | 4.612 |
71
- | TPC-H 15 | 8.737 | 4.621 |
72
- | TPC-H 16 | 4.864 | 1.645 |
73
- | TPC-H 17 | 5.363 | 14.315 |
74
- | TPC-H 18 | 19.971 | 12.058 |
75
- | TPC-H 19 | 9.893 | 12.579 |
76
- | TPC-H 20 | 8.538 | 8.836 |
77
- | TPC-H 21 | 16.439 | 12.270 |
78
- | TPC-H 22 | 3.744 | 1.926 |
79
- | ** 总时间** | ** 207s** | ** 166s** |
80
- | ** 总成本** | ** $0.23** | ** $0.09** |
54
+ ![ Alt text ] ( @site/static/img/documents/tpch2.png )
55
+
56
+ | 查询 | Snowflake(总时间 207s, 成本 $0.23) | Databend Cloud(总时间 166s, 成本 $0.09) |
57
+ | -------------- | --------------------------------- | -------------------------------------- |
58
+ | TPC-H 1 | 11.703 | 8.036 |
59
+ | TPC-H 2 | 4.524 | 3.786 |
60
+ | TPC-H 3 | 8.908 | 6.040 |
61
+ | TPC-H 4 | 8.108 | 4.462 |
62
+ | TPC-H 5 | 9.202 | 7.014 |
63
+ | TPC-H 6 | 1.237 | 3.234 |
64
+ | TPC-H 7 | 9.082 | 7.345 |
65
+ | TPC-H 8 | 10.886 | 8.976 |
66
+ | TPC-H 9 | 18.152 | 13.340 |
67
+ | TPC-H 10 | 13.525 | 12.891 |
68
+ | TPC-H 11 | 2.582 | 2.183 |
69
+ | TPC-H 12 | 10.099 | 8.839 |
70
+ | TPC-H 13 | 13.458 | 7.206 |
71
+ | TPC-H 14 | 8.001 | 4.612 |
72
+ | TPC-H 15 | 8.737 | 4.621 |
73
+ | TPC-H 16 | 4.864 | 1.645 |
74
+ | TPC-H 17 | 5.363 | 14.315 |
75
+ | TPC-H 18 | 19.971 | 12.058 |
76
+ | TPC-H 19 | 9.893 | 12.579 |
77
+ | TPC-H 20 | 8.538 | 8.836 |
78
+ | TPC-H 21 | 16.439 | 12.270 |
79
+ | TPC-H 22 | 3.744 | 1.926 |
80
+ | ** 总时间** | ** 207s** | ** 166s** |
81
+ | ** 总成本** | ** $0.23** | ** $0.09** |
81
82
82
83
### 查询基准:热启动
83
84
84
- ![ image ] ( https://github.com/datafuselabs/wizard/assets/172204/9a5533e1-b432-4c69-8e10-6a2d289793e7 )
85
+ ![ Alt text ] ( @site/static/img/documents/tpch3.png )
85
86
86
87
| 查询 | Snowflake (总计 138s, 成本 $0.15) | Databend Cloud (总计 124s, 成本 $0.07) |
87
- | ---------------- | ------------------------------------ | ----------------------------------------- |
88
+ | -------------- | ---------------------------------- | --------------------------------------- |
88
89
| TPC-H 1 | 8.934 | 7.568 |
89
90
| TPC-H 2 | 3.018 | 3.125 |
90
91
| TPC-H 3 | 6.089 | 5.234 |
@@ -119,7 +120,7 @@ TPC Benchmark™ 和 TPC-H™ 是事务处理性能委员会([TPC](http://www.
119
120
Snowflake 和 Databend Cloud 在相似条件下进行了测试:
120
121
121
122
| 参数 | Snowflake | Databend Cloud |
122
- | ---------------- | --------------------------------------------------------------------- | ------------------------------------------- |
123
+ | -------------- | ------------------------------------------------------------------- | ----------------------------------------- |
123
124
| 计算集群大小 | Small | Small |
124
125
| vCPU | 16 | 16 |
125
126
| 价格 | [ $4/小时] ( https://www.snowflake.com/en/data-cloud/pricing-options/ ) | [ $2/小时] ( https://www.databend.com/plan/ ) |
@@ -131,6 +132,7 @@ Snowflake 和 Databend Cloud 在相似条件下进行了测试:
131
132
### 基准测试方法
132
133
133
134
我们对查询执行进行了冷启动和热启动测试:
135
+
134
136
1 . ** 冷启动** :在执行查询前暂停并恢复数仓。
135
137
2 . ** 热启动** :数仓未暂停,使用本地磁盘缓存。
136
138
@@ -142,21 +144,23 @@ Snowflake 和 Databend Cloud 在相似条件下进行了测试:
142
144
### 数据加载
143
145
144
146
1 . ** Snowflake 数据加载** :
145
- - 登录您的 [ Snowflake 账户] ( https://app.snowflake.com/ ) 。
146
- - 创建与 TPC-H 模式对应的表。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/snow/setup.sql#L1-L84 ) 。
147
- - 使用 ` COPY INTO ` 命令从 AWS S3 加载数据。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/snow/setup.sql#L87-L94 ) 。
147
+
148
+ - 登录您的 [ Snowflake 账户] ( https://app.snowflake.com/ ) 。
149
+ - 创建与 TPC-H 模式对应的表。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/snow/setup.sql#L1-L84 ) 。
150
+ - 使用 ` COPY INTO ` 命令从 AWS S3 加载数据。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/snow/setup.sql#L87-L94 ) 。
148
151
149
152
2 . ** Databend Cloud 数据加载** :
150
- - 登录您的 [ Databend Cloud 账户] ( https://app.databend.com ) 。
151
- - 根据 TPC-H 模式创建必要的表。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/bend/setup.sql#L1-L84 ) 。
152
- - 使用与 Snowflake 类似的方法从 AWS S3 加载数据。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/bend/setup.sql#L87-L117 ) 。
153
+ - 登录您的 [ Databend Cloud 账户] ( https://app.databend.com ) 。
154
+ - 根据 TPC-H 模式创建必要的表。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/bend/setup.sql#L1-L84 ) 。
155
+ - 使用与 Snowflake 类似的方法从 AWS S3 加载数据。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/bend/setup.sql#L87-L117 ) 。
153
156
154
157
### TPC-H 查询
155
158
156
159
1 . ** Snowflake 查询** :
157
- - 登录您的 [ Snowflake 账户] ( https://app.snowflake.com/ ) 。
158
- - 运行 TPC-H 查询。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/snow/queries.sql ) 。
160
+
161
+ - 登录您的 [ Snowflake 账户] ( https://app.snowflake.com/ ) 。
162
+ - 运行 TPC-H 查询。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/snow/queries.sql ) 。
159
163
160
164
2 . ** Databend Cloud 查询** :
161
- - 登录您的 [ Databend Cloud 账户] ( https://app.databend.com ) 。
162
- - 运行 TPC-H 查询。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/bend/queries.sql ) 。
165
+ - 登录您的 [ Databend Cloud 账户] ( https://app.databend.com ) 。
166
+ - 运行 TPC-H 查询。[ SQL 脚本] ( https://github.com/datafuselabs/wizard/blob/b34cc686d2e43c3e3b0b3311eac5a50e8f68afc9/benchsb/sql/bend/queries.sql ) 。
0 commit comments