一个比传统数据库快 100-1000 倍的数据库

沙海 2021年8月13日03:50:30Java评论43字数 1913阅读6分22秒阅读模式
摘要

智能摘要

智能摘要文章源自JAVA秀-https://www.javaxiu.com/41002.html

最终通过优化,查询时间降低至1s内,查询效率提升200倍!希望通过本文,可以帮助大家快速掌握这一利器,并能在实践中少走弯路。文章源自JAVA秀-https://www.javaxiu.com/41002.html

原文约 1700 | 图片 10 | 建议阅读 4 分钟 | 评价反馈文章源自JAVA秀-https://www.javaxiu.com/41002.html

一个比传统数据库快 100-1000 倍的数据库

Java学习者社区 文章源自JAVA秀-https://www.javaxiu.com/41002.html

一个比传统数据库快 100-1000 倍的数据库文章源自JAVA秀-https://www.javaxiu.com/41002.html

来源:juejin.im/post/6863283398727860238文章源自JAVA秀-https://www.javaxiu.com/41002.html

一、ClickHouse 是什么?

ClickHouse:是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)文章源自JAVA秀-https://www.javaxiu.com/41002.html

我们首先理清一些基础概念文章源自JAVA秀-https://www.javaxiu.com/41002.html

  • OLTP:是传统的关系型数据库,主要操作增删改查,强调事务一致性,比如银行系统、电商系统文章源自JAVA秀-https://www.javaxiu.com/41002.html

  • OLAP:是仓库型数据库,主要是读取数据,做复杂数据分析,侧重技术决策支持,提供直观简单的结果文章源自JAVA秀-https://www.javaxiu.com/41002.html

接着我们用图示,来理解一下列式数据库行式数据库 区别文章源自JAVA秀-https://www.javaxiu.com/41002.html

在传统的行式数据库系统中(MySQL、Postgres和MS SQL Server),数据按如下顺序存储:文章源自JAVA秀-https://www.javaxiu.com/41002.html

一个比传统数据库快 100-1000 倍的数据库文章源自JAVA秀-https://www.javaxiu.com/41002.html

img文章源自JAVA秀-https://www.javaxiu.com/41002.html

在列式数据库系统中(ClickHouse),数据按如下的顺序存储:文章源自JAVA秀-https://www.javaxiu.com/41002.html

一个比传统数据库快 100-1000 倍的数据库文章源自JAVA秀-https://www.javaxiu.com/41002.html

img文章源自JAVA秀-https://www.javaxiu.com/41002.html

两者在存储方式上对比:文章源自JAVA秀-https://www.javaxiu.com/41002.html

一个比传统数据库快 100-1000 倍的数据库文章源自JAVA秀-https://www.javaxiu.com/41002.html

img文章源自JAVA秀-https://www.javaxiu.com/41002.html

以上是ClickHouse基本介绍,更多可以查阅官方手册文章源自JAVA秀-https://www.javaxiu.com/41002.html

二、业务问题

业务端现有存储在Mysql中,5000万数据量的大表及两个辅表,单次联表查询开销在3min+,执行效率极低。经过索引优化、水平分表、逻辑优化,成效较低,因此决定借助ClickHouse来解决此问题文章源自JAVA秀-https://www.javaxiu.com/41002.html

最终通过优化,查询时间降低至1s内,查询效率提升200倍!文章源自JAVA秀-https://www.javaxiu.com/41002.html

希望通过本文,可以帮助大家快速掌握这一利器,并能在实践中少走弯路。文章源自JAVA秀-https://www.javaxiu.com/41002.html

三、ClickHouse实践

1.Mac下的Clickhouse安装

我是通过docker安装,查看教程。也可以下载CK编译安装,相对麻烦一些。文章源自JAVA秀-https://www.javaxiu.com/41002.html

2.数据迁移:从Mysql到ClickHouse

ClickHouse支持Mysql大多数语法,迁移成本低,目前有五种迁移方案:文章源自JAVA秀-https://www.javaxiu.com/41002.html

  • create table engin mysql,映射方案数据还是在Mysql文章源自JAVA秀-https://www.javaxiu.com/41002.html

  • insert into select from,先建表,在导入文章源自JAVA秀-https://www.javaxiu.com/41002.html

  • create table as select from,建表同时导入文章源自JAVA秀-https://www.javaxiu.com/41002.html

  • csv离线导入文章源自JAVA秀-https://www.javaxiu.com/41002.html

  • streamsets文章源自JAVA秀-https://www.javaxiu.com/41002.html

选择第三种方案做数据迁移:文章源自JAVA秀-https://www.javaxiu.com/41002.html

CREATE TABLE [IF NOT EXISTS] [db.]table_name ENGINE = Mergetree AS SELECT * FROM mysql('host:port', 'db', 'database', 'user', 'password')

3.性能测试对比

类型数据量表大小查询速度
Mysql5000万10G205s
ClickHouse5000万600MB1s内

4.数据同步方案

临时表一个比传统数据库快 100-1000 倍的数据库图片来源:携程 新建temp中间表,将Mysql数据全量同步到ClickHouse内temp表,再替换原ClickHouse中的表,适用数据量适度,增量和变量频繁的场景文章源自JAVA秀-https://www.javaxiu.com/41002.html

synch一个比传统数据库快 100-1000 倍的数据库文章源自JAVA秀-https://www.javaxiu.com/41002.html

开源的同步软件推荐:synch 原理是通过Mysql的binlog日志,获取sql语句,再通过消息队列消费task文章源自JAVA秀-https://www.javaxiu.com/41002.html

5.ClickHouse为什么快?

  • 只需要读取要计算的列数据,而非行式的整行数据读取,降低IO cost文章源自JAVA秀-https://www.javaxiu.com/41002.html

  • 同列同类型,有十倍压缩提升,进一步降低IO文章源自JAVA秀-https://www.javaxiu.com/41002.html

  • clickhouse根据不同存储场景,做个性化搜索算法文章源自JAVA秀-https://www.javaxiu.com/41002.html

四、遇到的坑

1.ClickHouse与mysql数据类型差异性

用Mysql的语句查询,发现报错:文章源自JAVA秀-https://www.javaxiu.com/41002.html

一个比传统数据库快 100-1000 倍的数据库一个比传统数据库快 100-1000 倍的数据库解决方案LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id),中转一下,统一无符号类型关联文章源自JAVA秀-https://www.javaxiu.com/41002.html

2.删除或更新是异步执行,只保证最终一致性

查询CK手册发现,即便对数据一致性支持最好的Mergetree,也只是保证最终一致性:一个比传统数据库快 100-1000 倍的数据库如果对数据一致性要求较高,推荐大家做全量同步来解决文章源自JAVA秀-https://www.javaxiu.com/41002.html

五、总结

通过ClickHouse实践,完美的解决了Mysql查询瓶颈,20亿行以下数据量级查询,90%都可以在1s内给到结果,随着数据量增加,ClickHouse同样也支持集群,大家如果感兴趣,可以积极尝试 : )文章源自JAVA秀-https://www.javaxiu.com/41002.html

推荐阅读• 面试官:设计一个安全的登录都要考虑哪些?我一脸懵逼。。• Nginx 挂了怎么办?怎么实现高可用?• 为什么 MySQL 不推荐默认值为 null ?• Kafka中@KafkaListener如何动态指定多个topic最近面试BATJ,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。获取方式:点“在看”,关注公众号并回复 Java 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。文章源自JAVA秀-https://www.javaxiu.com/41002.html

谢谢支持哟 (*^__^*)文章源自JAVA秀-https://www.javaxiu.com/41002.html

继续阅读
速蛙云 - 极致体验,强烈推荐!!!购买套餐就免费送各大视频网站会员!快速稳定、独家福利社、流媒体稳定解锁!速度快,全球上网、视频、游戏加速、独立IP均支持!基础套餐性价比很高!这里不多说,我一直正在使用,推荐购买:https://www.javaxiu.com/59919.html
weinxin
资源分享QQ群
本站是JAVA秀团队的技术分享社区, 会经常分享资源和教程; 分享的时代, 请别再沉默!
沙海
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定