我试了试用 SQL查 Linux日志,好用到飞起~

沙海 2021年6月24日01:08:30Java评论19字数 4911阅读16分22秒阅读模式
摘要

智能摘要

智能摘要文章源自JAVA秀-https://www.javaxiu.com/34797.html

发现点好玩的工具,迫不及待的想跟大家分享一下。像我平时会用tail、head、cat、sed、more、less这些经典系统命令,或者awk这类三方数据过滤工具,配合起来查询效率很高。有不少同学问D哥,大厂面试官到底喜欢问什么?D哥特意邀请了华为、腾讯、阿里的朋友进群,与大家一起交流经验,增长技术。文章源自JAVA秀-https://www.javaxiu.com/34797.html

原文约 2966 | 图片 11 | 建议阅读 6 分钟 | 评价反馈文章源自JAVA秀-https://www.javaxiu.com/34797.html

我试了试用 SQL查 Linux日志,好用到飞起~

Java面试那些事儿 文章源自JAVA秀-https://www.javaxiu.com/34797.html

以下文章来源于程序员内点事,作者小富文章源自JAVA秀-https://www.javaxiu.com/34797.html

文章源自JAVA秀-https://www.javaxiu.com/34797.html

我试了试用 SQL查 Linux日志,好用到飞起~文章源自JAVA秀-https://www.javaxiu.com/34797.html

程序员内点事文章源自JAVA秀-https://www.javaxiu.com/34797.html

专注于系统架构实战,面试干货分享,Java小白的入门布道,程序员内点事这都有文章源自JAVA秀-https://www.javaxiu.com/34797.html

文章源自JAVA秀-https://www.javaxiu.com/34797.html

大家好,我是D哥点击关注下方公众号,Java面试资料 都在这里

文章源自JAVA秀-https://www.javaxiu.com/34797.html

来源:程序员内点事文章源自JAVA秀-https://www.javaxiu.com/34797.html

文章源自JAVA秀-https://www.javaxiu.com/34797.html

最近,发现点好玩的工具,迫不及待的想跟大家分享一下。文章源自JAVA秀-https://www.javaxiu.com/34797.html

文章源自JAVA秀-https://www.javaxiu.com/34797.html

大家平时都怎么查Linux日志呢?像我平时会用tail、head、cat、sed、more、less这些经典系统命令,或者awk这类三方数据过滤工具,配合起来查询效率很高。但在使用过程中有一点让我比较头疼,那就是命令参数规则太多了,记的人脑壳疼。文章源自JAVA秀-https://www.javaxiu.com/34797.html

文章源自JAVA秀-https://www.javaxiu.com/34797.html

那查日志有没有一种通用的方式,比如用SQL查询,毕竟这是程序员都比较熟悉的表达式。文章源自JAVA秀-https://www.javaxiu.com/34797.html

文章源自JAVA秀-https://www.javaxiu.com/34797.html

今天分享的工具q,就实现了以写SQL的方式来查询、统计文本内容,一起看看这货到底有什么神奇之处。文章源自JAVA秀-https://www.javaxiu.com/34797.html

文章源自JAVA秀-https://www.javaxiu.com/34797.html

# 搭个环境

文章源自JAVA秀-https://www.javaxiu.com/34797.html

q是一个命令行工具,允许我们在任意文件或者查询结果,比如可以在ps -ef查询进程命令的结果集上,直接执行SQL语句查询。文章源自JAVA秀-https://www.javaxiu.com/34797.html

文章源自JAVA秀-https://www.javaxiu.com/34797.html

宗旨就是文本即数据库表,额~,当然这句话是我自己理解的,哈哈哈文章源自JAVA秀-https://www.javaxiu.com/34797.html

文章源自JAVA秀-https://www.javaxiu.com/34797.html

它将普通文件或者结果集当作数据库表,几乎支持所有的SQL结构,如WHERE、GROUP BY、JOINS等,支持自动列名和列类型检测,支持跨文件连接查询,这两个后边详细介绍,支持多种编码。文章源自JAVA秀-https://www.javaxiu.com/34797.html

文章源自JAVA秀-https://www.javaxiu.com/34797.html

安装比较简单,在Linux CentOS环境,只要如下三步搞定,Windows环境更是只需安装个exe就可以用了。文章源自JAVA秀-https://www.javaxiu.com/34797.html

    wget https://github.com/harelba/q/releases/download/1.7.1/q-text-as-data-1.7.1-1.noarch.rpm #下载版本sudo rpm -ivh q-text-as-data-1.7.1-1.noarch.rpm # 安装q --version #查看安装版本
    文章源自JAVA秀-https://www.javaxiu.com/34797.html

    官方文档:https://harelba.github.io/q文章源自JAVA秀-https://www.javaxiu.com/34797.html

    # 语法

    文章源自JAVA秀-https://www.javaxiu.com/34797.html

    q支持所有SQLiteSQL语法,标准命令行格式q + 参数命令 + "SQL"文章源自JAVA秀-https://www.javaxiu.com/34797.html

      q <命令> "<SQL>"
      文章源自JAVA秀-https://www.javaxiu.com/34797.html

      我要查询myfile.log文件的内容,直接q "SELECT * FROM myfile.log"。文章源自JAVA秀-https://www.javaxiu.com/34797.html

        q "SELECT * FROM myfile.log"
        文章源自JAVA秀-https://www.javaxiu.com/34797.html

        q不附加参数使用是完全没有问题的,但利用参数会让显示结果更加美观,所以这里简单了解一下,它的参数分为 2种。文章源自JAVA秀-https://www.javaxiu.com/34797.html

        文章源自JAVA秀-https://www.javaxiu.com/34797.html

        input输入命令:指的是对要查询的文件或结果集进行操作,比如:-H命令,表示输入的数据包含标题行。文章源自JAVA秀-https://www.javaxiu.com/34797.html

          q -H "SELECT * FROM myfile.log"
          文章源自JAVA秀-https://www.javaxiu.com/34797.html

          在这种情况下,将自动检测列名,并可在查询语句中使用。如果未提供此选项,则列将自动命名为cX,以c1起始以此类推。文章源自JAVA秀-https://www.javaxiu.com/34797.html

            q "select c1,c2 from ..."
            文章源自JAVA秀-https://www.javaxiu.com/34797.html
            • output输出命令:作用在查询输出的结果集,比如:-O,让查询出来的结果显示列名。文章源自JAVA秀-https://www.javaxiu.com/34797.html

              [root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H "select count(UID) from - where UID='root'"104[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H -O "select count(UID) from - where UID='root'"count(UID)104
              文章源自JAVA秀-https://www.javaxiu.com/34797.html

              还有很多参数就不一一列举了,感兴趣的同学在官网上看下,接下来我们重点演示一下使用SQL如何应对各种查询日志的场景。我试了试用 SQL查 Linux日志,好用到飞起~文章源自JAVA秀-https://www.javaxiu.com/34797.html

              # 玩法贼多

              文章源自JAVA秀-https://www.javaxiu.com/34797.html

              下边咱们一起看几个查询日志的经常场景中,这个SQL该如何写。文章源自JAVA秀-https://www.javaxiu.com/34797.html

              文章源自JAVA秀-https://www.javaxiu.com/34797.html

              1、关键字查询文章源自JAVA秀-https://www.javaxiu.com/34797.html

              文章源自JAVA秀-https://www.javaxiu.com/34797.html

              关键字检索,应该是日常开发使用最频繁的操作,不过我个人认为这一点q并没有什么优势,因为它查询时必须指定某一列。文章源自JAVA秀-https://www.javaxiu.com/34797.html

              文章源自JAVA秀-https://www.javaxiu.com/34797.html

                [root@iZ2zebfzaequ90bdlz820sZ software]# q "select * from douyin.log where c9 like '%待解析%'"2021-06-11 14:46:49.323 INFO 22790 --- [nio-8888-exec-2] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9g9uJ6%2F 2021-06-11 14:57:31.938 INFO 22790 --- [nio-8888-exec-5] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9pdhGP%2F 2021-06-11 15:23:48.004 INFO 22790 --- [nio-8888-exec-2] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9pQjBR%2F 2021-06-11 2
                文章源自JAVA秀-https://www.javaxiu.com/34797.html

                而用grep命令则是全文检索。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                  [root@iZ2zebfzaequ90bdlz820sZ software]# cat douyin.log | grep '待解析URL'2021-06-11 14:46:49.323 INFO 22790 --- [nio-8888-exec-2] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9g9uJ6%2F2021-06-11 14:57:31.938 INFO 22790 --- [nio-8888-exec-5] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9pdhGP%2F
                  文章源自JAVA秀-https://www.javaxiu.com/34797.html

                  2、模糊查询文章源自JAVA秀-https://www.javaxiu.com/34797.html

                  文章源自JAVA秀-https://www.javaxiu.com/34797.html

                  like模糊搜索,如果文本内容列有名字直接用列名检索,没有则直接根据列号c1、c2、cN。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                    [root@iZ2zebfzaequ90bdlz820sZ software]# cat test.log abc2345232425[root@iZ2zebfzaequ90bdlz820sZ software]# q -H -t "select * from test.log where abc like '%2%'"Warning: column count is one - did you provide the correct delimiter?2232425
                    文章源自JAVA秀-https://www.javaxiu.com/34797.html

                    3、交集并集文章源自JAVA秀-https://www.javaxiu.com/34797.html

                    文章源自JAVA秀-https://www.javaxiu.com/34797.html

                    支持UNION和UNION ALL操作符对多个文件取交集或者并集。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                    文章源自JAVA秀-https://www.javaxiu.com/34797.html

                    如下建了test.log和test1.log两个文件,里边的内容有重叠,用union进行去重。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                      q -H -t "select * from test.log union select * from test1.log"[root@iZ2zebfzaequ90bdlz820sZ software]# cat test.log abc2345[root@iZ2zebfzaequ90bdlz820sZ software]# cat test1.log abc3456[root@iZ2zebfzaequ90bdlz820sZ software]# q -H -t "select * from test.log union select * from test1.log"Warning: column count is one - did you provide the correct delimiter?Warning: column count is one - did you provide the correct delimiter?23456
                      文章源自JAVA秀-https://www.javaxiu.com/34797.html

                      4、内容去重文章源自JAVA秀-https://www.javaxiu.com/34797.html

                      文章源自JAVA秀-https://www.javaxiu.com/34797.html

                      比如统计某个路径下的./clicks.csv文件中,uuid字段去重后出现的总个数。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                        q -H -t "SELECT COUNT(DISTINCT(uuid)) FROM ./clicks.csv"
                        文章源自JAVA秀-https://www.javaxiu.com/34797.html

                        5、列类型自动检测文章源自JAVA秀-https://www.javaxiu.com/34797.html

                        文章源自JAVA秀-https://www.javaxiu.com/34797.html

                        注意:q会理解每列是数字还是字符串,判断是根据实数值比较,还是字符串比较进行过滤,这里会用到-t命令。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                          q -H -t "SELECT request_id,score FROM ./clicks.csv WHERE score > 0.7 ORDER BY score DESC LIMIT 5"
                          文章源自JAVA秀-https://www.javaxiu.com/34797.html

                          6、字段运算文章源自JAVA秀-https://www.javaxiu.com/34797.html

                          文章源自JAVA秀-https://www.javaxiu.com/34797.html

                          读取系统命令查询结果,计算/tmp目录中每个用户和组的总值。可以对字段进行运算处理。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                            sudo find /tmp -ls | q "SELECT c5,c6,sum(c7)/1024.0/1024 AS total FROM - GROUP BY c5,c6 ORDER BY total desc"[root@iZ2zebfzaequ90bdlz820sZ software]# sudo find /tmp -ls | q "SELECT c5,c6,sum(c7)/1024.0/1024 AS total FROM - GROUP BY c5,c6 ORDER BY total desc"www www 8.86311340332root root 0.207922935486mysql mysql 4.76837158203e-06
                            文章源自JAVA秀-https://www.javaxiu.com/34797.html

                            7、数据统计文章源自JAVA秀-https://www.javaxiu.com/34797.html

                            文章源自JAVA秀-https://www.javaxiu.com/34797.html

                            统计系统拥有最多进程数的前 3个用户ID,按降序排序,这就需要和系统命令配合使用了,先查询所有进程再利用SQL筛选,这里的q命令就相当grep命令。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                              ps -ef | q -H "SELECT UID,COUNT(*) cnt FROM - GROUP BY UID ORDER BY cnt DESC LIMIT 3"[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H "SELECT UID,COUNT(*) cnt FROM - GROUP BY UID ORDER BY cnt DESC LIMIT 3"root 104www 16rabbitmq 4[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H -O "SELECT UID,COUNT(*) cnt FROM - GROUP BY UID ORDER BY cnt DESC LIMIT 3"UID cntroot 110www 16rabbitmq 4
                              文章源自JAVA秀-https://www.javaxiu.com/34797.html

                              我们看到加与不加-O命令的区别就是否显示查询结果的标题。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                              文章源自JAVA秀-https://www.javaxiu.com/34797.html

                              8、连文件查文章源自JAVA秀-https://www.javaxiu.com/34797.html

                              文章源自JAVA秀-https://www.javaxiu.com/34797.html

                              一般情况下,我们的日志文件会按天分割成很多个固定容量的子文件,在没有统一的日志收集服务器的情况下,如果不给个报错时间区间去查一个关键词,那么无异于大海捞针。我试了试用 SQL查 Linux日志,好用到飞起~如果可以将所有文件内容合并后在查就会省事很多,q支持将文件像数据库表那样联合查询。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                                q -H "select * from douyin.log a join douyin-2021-06-18.0.log b on (a.c2=b.c3) where b.c1='root'"
                                文章源自JAVA秀-https://www.javaxiu.com/34797.html

                                # 总结

                                文章源自JAVA秀-https://www.javaxiu.com/34797.html

                                看完可能会有人抬杠:q写这么多代码直接用awk不香吗?额~ 介绍这个工具的初衷并不是说要替换现有哪种工具,而是多提供一种更为便捷的查日志方法。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                                文章源自JAVA秀-https://www.javaxiu.com/34797.html

                                我也有在用awk确实很强大没得说,但这里边涉及到一个学习成本的问题,琳琅满目的命令、匹配规则想玩转还是要下点功夫的。而对于新手程序员稍微有点数据库经验,写SQL问题都不大,上手q则会容易的多。文章源自JAVA秀-https://www.javaxiu.com/34797.html

                                技术交流群有不少同学问D哥,大厂面试官到底喜欢问什么?想进大厂镀金。因此,D哥特意邀请了华为、腾讯、阿里的朋友进群,与大家一起交流经验,增长技术。有兴趣入群的同学,可长按扫描下方二维码,一定要备注:城市+昵称+技术方向,根据格式备注,可更快被通过且邀请进群。▲长按扫描

                                我试了试用 SQL查 Linux日志,好用到飞起~热门推荐文章源自JAVA秀-https://www.javaxiu.com/34797.html

                                我试了试用 SQL查 Linux日志,好用到飞起~文章源自JAVA秀-https://www.javaxiu.com/34797.html

                                我试了试用 SQL查 Linux日志,好用到飞起~我试了试用 SQL查 Linux日志,好用到飞起~文章源自JAVA秀-https://www.javaxiu.com/34797.html

                                文章源自JAVA秀-https://www.javaxiu.com/34797.html
                                继续阅读
                                速蛙云 - 极致体验,强烈推荐!!!购买套餐就免费送各大视频网站会员!快速稳定、独家福利社、流媒体稳定解锁!速度快,全球上网、视频、游戏加速、独立IP均支持!基础套餐性价比很高!这里不多说,我一直正在使用,推荐购买:https://www.javaxiu.com/59919.html
                                weinxin
                                资源分享QQ群
                                本站是JAVA秀团队的技术分享社区, 会经常分享资源和教程; 分享的时代, 请别再沉默!
                                沙海
                                匿名

                                发表评论

                                匿名网友 填写信息

                                :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

                                确定