您好,欢迎来到外链网!
当前位置:外链网 » 站长资讯 » 专业问答 » 文章详细 订阅RssFeed

Linux查看日志文件写入速度的4种方法详解(linux查看日志文件命令)

来源:互联网 浏览:112次 时间:2023-04-08
内容介绍
  • 简介
    • 使用dd
    • 使用pv
    • 使用cv命令
    • 编写小脚本
  • 举一反三

    简介

    有时,我们需要查看某个文件的增长速度,如日志文件,以此来感受系统的负载情况,因为一般情况下,日志写入越快,说明系统负载越重。

    Linux操作环境 日志文件内存过大的解决方法

    本文就来介绍下Linux中查看日志增长速度的几种方法,如下:

    使用dd

    Ext4文件系统fsck后损坏修复方法 linux数据恢复成功案例

    首先要介绍的是dd,因为dd命令几乎所有主流发行版都自带,无需额外安装,如下:

    $?tail?-F?app.log?|?dd?of=/dev/null?status=progress
    3875840?bytes?(3.9?MB)?copied,?8.228797?s,?471?kB/s
    
    Ext4文件系统fsck后损坏修复方法 linux数据恢复成功案例

    如上,使用tail -F获取新写入的数据,然后用管道将数据交给dd,dd将数据拷贝到/dev/null,其中status=progress是用来显示拷贝速度的,可见,我们日志的写入速度是471 kB/s

    使用pv

    pv命令可以看做是带进度的cp,如下:

    $?yum?install?-y?pv
    
    $?tail?-F?app.log?|?pv?>/dev/null
    2.05MiB?0:00:03?[?330kiB/s]?[???????<=>????????????????????????????????]
    

    原理与dd类似,不过命令换成了pv。

    使用cv命令

    由于日志数据都是程序(如java)写入的,而在如下的伪文件中,存放着程序打开的文件信息,如下:

    • /proc/<pid>/fd:存放着打开的文件描述符
    • /proc/<pid>/fdinfo:存放着文件描述符写入到的offset

    于是定期的读取这个offset就可以知道文件的写入速度了,这也是cv命令的实现原理,如下:

    $?yum?install?-y?cv
    
    $?cv?-mc?java
    [????1]?java?app.log?100.0%?(6.1?GiB?/?6.1?GiB)?390.2?KiB/s
    
    #?实际上,由于Linux上大多数命令(如cp)没自带进度查看功能,而cv就成了很好的补充
    #?比如查看cp复制文件的进度
    $?cp?app.log?app.log.bak?&?cv?-mc?cp?
    

    新版cv命令已经改名为progress,安装不到cv包时,可试着安装progress包。

    编写小脚本

    通过写一个小脚本,定期观察文件大小,也可查看文件写入速度,如下:

    #?每秒获取文件大小,通过减去上一秒的大小,即可计算出速度
    while?sleep?1;?do??\
    ??sz=`stat?-c?%s?app.log`;?\
    ??numfmt?--from=auto?--to=iec?$((sz-psz));?\
    ??psz=$sz;?\
    done
    
    492K
    750K
    370K

    通过watch再加上观察,也能大致看出速度,如下:

    watch?-d?-t?-n1?du?app.log
    

    正文内容:

    正文内容:watch_du

    举一反三

    其实转念一想,如果我们在某个函数中打上日志,然后通过grep过滤出此日志,然后我们只要计算每秒输出的日志行数,这岂不就是函数执行的QPS了!

    #?使用grep过滤出日志,tr删除非换行符,所以dd显示的是换行符的个数!
    $?tail?-F?app.log?\
    ????|?grep?--line-buffered?'/order/get'?\
    ????|?stdbuf?-oL?tr?-dc?'\n'?\?????????????????????
    ????|?dd?of=/dev/null?bs=1?status=progress
    
    151?bytes?(151?B)?copied,?15.523018?s,?0.0?kB/s
    

    这里可以通过151/15计算出QPS是10,由于没有超过1000,所以看到的是0.0kB/s,如果使用pv命令,会更简单一些,如下:

    $?tail?-F?app.log?\
    ????|?grep?--line-buffered?'/order/get'?\
    ????|?pv?-l?>/dev/null
    ????
    144??0:00:03?[11.5?/s]?[???????<=>????????????????

    到此这篇关于Linux查看日志文件写入速度的4种方法详解的文章就介绍到这了,更多相关Linux查看日志文件写入速度内容请搜索站长源码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持站长源码网!

    本文从互联网转载,来源地址:www.downzz.com/linux-shell/170029.html,原作者保留一切权利,若侵权或引用不当,请联系茶猫云(cmy.cn)删除。【茶猫云,优质云服务器提供商】