Linux 内存占用情况分析

以我本地系统(Ubuntu)上的 supervisord 为例。

  1. ps -ef | grep supervisord / pgrep supervisord
  2. sudo cat /proc/1553/maps
  3. sudo gdb attach 1553
  4. gdb 中导出指定区域内存
    dump memory /tmp/1553-heap.mem 0x564a7e667000 0x564a7eb25000
  5. 显示内存数据
    strings -n 10 /tmp/1553-heap.mem
    ASCII 格式的展示,过滤掉长度少于 10 的行。

关于 /proc/pid/maps 文件的格式

内存映射(mmap):

  • 文件映射,将整个文件或文件的一部分映射到内存中
  • 匿名映射,创建一个全为 0 的内存空间

这里的 maps 文件就是内存映射的一个情况。

  1. 内核操作集:proc_pid_maps_op,导出函数:show_map(没接触过内核开发)
  2. 可以 sudo head /proc/self/maps 试试。当前进程的内存映射信息表,软链接。
  3. Linux 内存管理单元数据结构:vm_area_struct
$ sudo head /proc/1553/maps
564a7d858000-564a7d8a5000 r--p 00000000 08:01 3018208                    /usr/bin/python2.7
564a7d8a5000-564a7da56000 r-xp 0004d000 08:01 3018208                    /usr/bin/python2.7
564a7da56000-564a7db65000 r--p 001fe000 08:01 3018208                    /usr/bin/python2.7
564a7db66000-564a7db68000 r--p 0030d000 08:01 3018208                    /usr/bin/python2.7
564a7db68000-564a7dbde000 rw-p 0030f000 08:01 3018208                    /usr/bin/python2.7
564a7dbde000-564a7dc02000 rw-p 00000000 00:00 0 
564a7e667000-564a7eb25000 rw-p 00000000 00:00 0                          [heap]
7fe8e4308000-7fe8e4448000 rw-p 00000000 00:00 0 
7fe8e4448000-7fe8e444c000 r--p 00000000 08:01 1840428                    /lib/x86_64-linux-gnu/libexpat.so.1.6.8
7fe8e444c000-7fe8e446d000 r-xp 00004000 08:01 1840428                    /lib/x86_64-linux-gnu/libexpat.so.1.6.8
  • 第一列:address 地址。[vm_start, vm_end),即起始地址-结束地址。
  • 第二列:perms 权限。vm_flags,前三位分别是 r/w/x,不必说,第四位有两种值:ps,分别表示私有 private 或共享 shared。
  • 第三列:offset 偏移。vm_pgoff,如果是从文件映射到内存,那么偏移值表示从这个文件的指定位置开始,否则就会是 00000000
    我猜,可能比较多的是用在拓展库之类的方面。
  • 第四列:dev 设备。主设备号:次设备号,同样适用于从文件映射到内存的情况,表示文件所存放的设备。
    1. vm_file->f_dentry->d_inode->i_sb->s_dev
  • 第五列:inode FS索引节点。同样适用于从文件映射到内存的情况,表示文件所存放的“块”(或者叫“区域”吧)。
    1. vm_file->f_dentry->d_inode->i_ino
    2. 0 表示不关联,dev 字段也应该为 00000000
  • 第六列:pathname 文件名
    • 文件名
    • 这段虚拟内存在进程中的角色,常见的:
      • [heap]
      • [stack] 栈,主线程(main process)
      • [stack:1001] 栈,线程 ID 我还没见到过这样的情况
      • [vdso]
      • [vvar]
      • [vsyscall]
    • 匿名映射
      • 不显示,其他情况

其他

  1. 据说,主线程申请内存(malloc)会显示 [heap],子线程申请则是匿名映射。
  2. 子线程的栈空间动态分配,匿名。这就是我没看到一例类似 [stack:1001] 情况的原因么?
  3. 从 maps 文件记录上看,增加一个子线程,在 maps 文件中就增加了两条记录,分别是子线程的栈空间和栈保护页的记录。默认情况下,pthread为子线程预留的栈空间大小为1MB,栈保护页为4KB(这主要跟页大小相关)。

#!/usr/bin/env python
import re
maps_file = open('/proc/self/maps', 'r')
mem_file = open('/proc/self/mem', 'r', 0)
for line in maps_file.readlines():  # for each mapped region
    m = re.match(r'([0-9A-Fa-f]+)-([0-9A-Fa-f]+) ([-r])', line)
    if m.group(3) == 'r':  # if this is a readable region
        start = int(m.group(1), 16)
        end = int(m.group(2), 16)
        mem_file.seek(start)  # seek to region start
        chunk = mem_file.read(end - start)  # read region contents
        print chunk,  # dump contents to standard output
maps_file.close()
mem_file.close()
sudo awk -n -F '[- ]' '/\[heap\]/ {h="0x"$2-"0x"$1+1;printf("%d bytes (%.2f MB)\n",h,h/1024/1024)}' /proc/1553/maps

python -c "import sys;a,b=sys.argv[1].split('-');ai=int('0x'+a,16);bi=int('0x'+b,16);x=(bi-ai+1);y=x/(1024*1024);print('%d Bytes (%.2f MB)'%(x,y));" 55854b0f5000-55855a372000

参考资料或拓展阅读

  1. colin.guru,Dumping Ram From Running Linux Processes
  2. StackOverflow,How to identify STACK and HEAP segments in /proc/$PID/maps file?
  3. StackOverflow,How do I read from /proc/$pid/mem under Linux?
  4. CSDN,linux proc maps文件分析