valgrind性能测试 内存泄露检测

http://blog.chinaunix.net/uid-29242873-id-4065255.html

 http://www.ibm.com/developerworks/cn/linux/l-cn-valgrind/

 

valgrind在C语言编程中，对程序的性能调试，判断一个程序的代码质量是否高效有很明显的用处。下面具体分析一下：

测试程序的CPU命中率（CPU cache hit/miss rate）：
模拟写两个小程序，用来测试CPU的缓存命中率，分别名为cache1.c和cache2.c.

cache1.c代码如下：

点击(此处)折叠或打开

#include <stdio.h>

#define MAXROW 8000
#define MAXCOL 8000

int main () {

int i,j;

static int x[MAXROW][MAXCOL];

printf ("Starting!\n");

         for (i=0;i<MAXROW;i++)

                        for (j=0;j<MAXCOL;j++)

                x[i][j] = i*j;

printf("Completed!\n");

return 0;

}

cache2.c代码如下：

点击(此处)折叠或打开

#include <stdio.h>

#define MAXROW 8000
#define MAXCOL 8000

int main () {

int i,j;

static int x[MAXROW][MAXCOL];

printf ("Starting!\n");

         for (j=0;j<MAXCOL;j++)

                        for (i=0;i<MAXROW;i++)

                x[i][j] = i*j;

printf("Completed!\n");

return 0;

}

 

编译cache1.c运行程序后查看命CPU缓存命中率结果

＃valgrind --tool=cachegrind ./cach1


编译cache2.c运行程序后查看命CPU缓存命中率结果

＃valgrind --tool=cachegrind ./cach2

显然是cache1的cache miss rate较低，程序的代码质量更高效.

测试程序的内存泄漏（memory leak）：

当前系统gcc的版本

写个小的测试程序

点击(此处)折叠或打开

#include <stdio.h>

#define M 5

int main(void) {

int i;

int a[M]={11,22,33,44,55};

for (i=0;i<sizeof(a)/sizeof(a[0]);i++)

printf ("%d = %p\n",*(a+i),a+i);

printf ("%d = %p\n",a[5],&a[5]);

   return 0;

}

使用默认功能的gcc编译，运行显示正常，其实已经存在数组越界的问题，那么再用valgrind测试一下程序的是否存在内存泄.

#valgrind --leak-check=full ./bug

结果也没有发现内存泄漏.

然后让gcc支持mudflap功能，RHEL/CentOS需要安装libmudflap-4.1.2-52.el5和libmudflap-devel-4.1.2-52.el5两个rpm包，再用gcc带mudflap功能编译，执行程序看效果

#gcc bug.c -o bug -g -fmudflap -lmudflap


可以看出当去读取数组下标为5的值时，出现了数组越界的问题，默认的gcc编辑器是不会去关心数组越界问题的.

以上是用valgrind测试内存泄漏的用法，不过有时valgrind检测不到，可以用mudflap的强大功能查出内存泄漏的问题，不过需要注意的是mudflap对系统资源的消耗也很大，有利有弊，在特定的时候用一下还是很不错的选择.

 

==================================ibm

http://www.ibm.com/developerworks/cn/linux/l-cn-valgrind/

Valgrind 概述

体系结构

Valgrind 是一套Linux下，开放源代码（GPL V2）的仿真调试工具的集合。Valgrind由内核（core）以及基于内核的其他调试工具组成。内核类似于一个框架（framework），它模拟了 一个CPU环境，并提供服务给其他工具；而其他工具则类似于插件 (plug-in)，利用内核提供的服务完成各种特定的内存调试任务。Valgrind的体系结构如下图所示：

图 1 Valgrind 体系结构

Valgrind包括如下一些工具：

1. Memcheck。这是valgrind应用最广泛的工具，一个重量级的内存检查器，能够发现开发中绝大多数内存错误使用情况，比如：使用未初始化的内存，使用已经释放了的内存，内存访问越界等。这也是本文将重点介绍的部分。
2. Callgrind。它主要用来检查程序中函数调用过程中出现的问题。
3. Cachegrind。它主要用来检查程序中缓存使用出现的问题。
4. Helgrind。它主要用来检查多线程程序中出现的竞争问题。
5. Massif。它主要用来检查程序中堆栈使用中出现的问题。
6. Extension。可以利用core提供的功能，自己编写特定的内存调试工具。

Linux 程序内存空间布局

要发现Linux下的内存问题，首先一定要知道在Linux下，内存是如何被分配的？下图展示了一个典型的Linux C程序内存空间布局：

图 2： 典型内存空间布局

一个典型的Linux C程序内存空间由如下几部分组成：

• 代码段（.text）。这里存放的是CPU要执行的指令。代码段是可共享的，相同的代码在内存中只会有一个拷贝，同时这个段是只读的，防止程序由于错误而修改自身的指令。
• 初始化数据段（.data）。这里存放的是程序中需要明确赋初始值的变量，例如位于所有函数之外的全局变量：int val=100。需要强调的是，以上两段都是位于程序的可执行文件中，内核在调用exec函数启动该程序时从源程序文件中读入。
• 未初始化数据段（.bss）。位于这一段中的数据，内核在执行该程序前，将其初始化为0或者null。例如出现在任何函数之外的全局变量：int sum;
• 堆（Heap）。这个段用于在程序中进行动态内存申请，例如经常用到的malloc，new系列函数就是从这个段中申请内存。
• 栈（Stack）。函数中的局部变量以及在函数调用过程中产生的临时变量都保存在此段中。

内存检查原理

Memcheck检测内存问题的原理如下图所示：

图 3 内存检查原理

Memcheck 能够检测出内存问题，关键在于其建立了两个全局表。

1. Valid-Value 表：

对于进程的整个地址空间中的每一个字节(byte)，都有与之对应的 8 个 bits；对于 CPU 的每个寄存器，也有一个与之对应的 bit 向量。这些 bits 负责记录该字节或者寄存器值是否具有有效的、已初始化的值。

1. Valid-Address 表

对于进程整个地址空间中的每一个字节(byte)，还有与之对应的 1 个 bit，负责记录该地址是否能够被读写。

检测原理：

• 当要读写内存中某个字节时，首先检查这个字节对应的 A bit。如果该A bit显示该位置是无效位置，memcheck 则报告读写错误。
• 内核（core）类似于一个虚拟的 CPU 环境，这样当内存中的某个字节被加载到真实的 CPU 中时，该字节对应的 V bit 也被加载到虚拟的 CPU 环境中。一旦寄存器中的值，被用来产生内存地址，或者该值能够影响程序输出，则 memcheck 会检查对应的V bits，如果该值尚未初始化，则会报告使用未初始化内存错误。

回页首

Valgrind 使用

第一步：准备好程序

为了使valgrind发现的错误更精确，如能够定位到源代码行，建议在编译时加上-g参数，编译优化选项请选择O0，虽然这会降低程序的执行效率。

这里用到的示例程序文件名为：sample.c（如下所示）,选用的编译器为gcc。

生成可执行程序 gcc –g –O0 sample.c –o sample

清单 1

第二步：在valgrind下，运行可执行程序。

利用valgrind调试内存问题，不需要重新编译源程序，它的输入就是二进制的可执行程序。调用Valgrind的通用格式是：valgrind [valgrind-options] your-prog [your-prog-options]

Valgrind 的参数分为两类，一类是 core 的参数，它对所有的工具都适用；另外一类就是具体某个工具如 memcheck 的参数。Valgrind 默认的工具就是 memcheck，也可以通过“--tool=tool name”指定其他的工具。Valgrind 提供了大量的参数满足你特定的调试需求，具体可参考其用户手册。

这个例子将使用 memcheck，于是可以输入命令入下：valgrind <Path>/sample.

第三步：分析 valgrind 的输出信息。

以下是运行上述命令后的输出。

清单 2

• 左边显示类似行号的数字（32372）表示的是 Process ID。
• 最上面的红色方框表示的是 valgrind 的版本信息。
• 中间的红色方框表示 valgrind 通过运行被测试程序，发现的内存问题。通过阅读这些信息，可以发现：
  1. 这是一个对内存的非法写操作，非法写操作的内存是4 bytes。
  2. 发生错误时的函数堆栈，以及具体的源代码行号。
  3. 非法写操作的具体地址空间。
• 最下面的红色方框是对发现的内存问题和内存泄露问题的总结。内存泄露的大小（40 bytes）也能够被检测出来。

示例程序显然有两个问题，一是fun函数中动态申请的堆内存没有释放；二是对堆内存的访问越界。这两个问题均被valgrind发现。

回页首

利用Memcheck发现常见的内存问题

在Linux平台开发应用程序时，最常遇见的问题就是错误的使用内存，我们总结了常见了内存错误使用情况，并说明了如何用valgrind将其检测出来。

使用未初始化的内存

问题分析：

对于位于程序中不同段的变量，其初始值是不同的，全局变量和静态变量初始值为0，而局部变量和动态申请的变量，其初始值为随机值。如果程序使用了为随机值的变量，那么程序的行为就变得不可预期。

下面的程序就是一种常见的，使用了未初始化的变量的情况。数组a是局部变量，其初始值为随机值，而在初始化时并没有给其所有数组成员初始化，如此在接下来使用这个数组时就潜在有内存问题。

清单 3

结果分析：

假设这个文件名为：badloop.c，生成的可执行程序为badloop。用memcheck对其进行测试，输出如下。

清单 4

输出结果显示，在该程序第11行中，程序的跳转依赖于一个未初始化的变量。准确的发现了上述程序中存在的问题。

内存读写越界

问题分析：

这 种情况是指：访问了你不应该/没有权限访问的内存地址空间，比如访问数组时越界；对动态内存访问时超出了申请的内存大小范围。下面的程序就是一个典型的数 组越界问题。pt是一个局部数组变量，其大小为4，p初始指向pt数组的起始地址，但在对p循环叠加后，p超出了pt数组的范围，如果此时再对p进行写操 作，那么后果将不可预期。

清单 5

结果分析：

假设这个文件名为badacc.cpp，生成的可执行程序为badacc，用memcheck对其进行测试，输出如下。

清单 6

输出结果显示，在该程序的第15行，进行了非法的写操作；在第16行，进行了非法读操作。准确地发现了上述问题。

内存覆盖

问题分析：

C 语言的强大和可怕之处在于其可以直接操作内存，C 标准库中提供了大量这样的函数，比如 strcpy, strncpy, memcpy, strcat 等，这些函数有一个共同的特点就是需要设置源地址 (src)，和目标地址(dst)，src 和 dst 指向的地址不能发生重叠，否则结果将不可预期。

下面就是一个 src 和 dst 发生重叠的例子。在 15 与 17 行中，src 和 dst 所指向的地址相差 20，但指定的拷贝长度却是 21，这样就会把之前的拷贝值覆盖。第 24 行程序类似，src(x+20) 与 dst(x) 所指向的地址相差 20，但 dst 的长度却为 21，这样也会发生内存覆盖。

清单 7

结果分析：

假设这个文件名为 badlap.cpp，生成的可执行程序为 badlap，用 memcheck 对其进行测试，输出如下。

清单 8

输出结果显示上述程序中第15，17，24行，源地址和目标地址设置出现重叠。准确的发现了上述问题。

动态内存管理错误

问题分析：

常 见的内存分配方式分三种：静态存储，栈上分配，堆上分配。全局变量属于静态存储，它们是在编译时就被分配了存储空间，函数内的局部变量属于栈上分配，而最 灵活的内存使用方式当属堆上分配，也叫做内存动态分配了。常用的内存动态分配函数包括：malloc, alloc, realloc, new等，动态释放函数包括free, delete。

一旦成功申请了动态内存，我们就需要自己对其进行内存管理，而这又是最容易犯错误的。下面的一段程序，就包括了内存动态管理中常见的错误。

清单 9

常见的内存动态管理错误包括：

• 申请和释放不一致

由于 C++ 兼容 C，而 C 与 C++ 的内存申请和释放函数是不同的，因此在 C++ 程序中，就有两套动态内存管理函数。一条不变的规则就是采用 C 方式申请的内存就用 C 方式释放；用 C++ 方式申请的内存，用 C++ 方式释放。也就是用 malloc/alloc/realloc 方式申请的内存，用 free 释放；用 new 方式申请的内存用 delete 释放。在上述程序中，用 malloc 方式申请了内存却用 delete 来释放，虽然这在很多情况下不会有问题，但这绝对是潜在的问题。

• 申请和释放不匹配

申请了多少内存，在使用完成后就要释放多少。如果没有释放，或者少释放了就是内存泄露；多释放了也会产生问题。上述程序中，指针p和pt指向的是同一块内存，却被先后释放两次。

• 释放后仍然读写

本质上说，系统会在堆上维护一个动态内存链表，如果被释放，就意味着该块内存可以继续被分配给其他部分，如果内存被释放后再访问，就可能覆盖其他部分的信息，这是一种严重的错误，上述程序第16行中就在释放后仍然写这块内存。

结果分析：

假设这个文件名为badmac.cpp，生成的可执行程序为badmac，用memcheck对其进行测试，输出如下。

清单 10

输出结果显示，第14行分配和释放函数不一致；第16行发生非法写操作，也就是往释放后的内存地址写值；第17行释放内存函数无效。准确地发现了上述三个问题。

内存泄露

问题描述：

内 存泄露（Memory leak）指的是，在程序中动态申请的内存，在使用完后既没有释放，又无法被程序的其他部分访问。内存泄露是在开发大型程序中最令人头疼的问题，以至于有 人说，内存泄露是无法避免的。其实不然，防止内存泄露要从良好的编程习惯做起，另外重要的一点就是要加强单元测试（Unit Test），而memcheck就是这样一款优秀的工具。

下面是一个比较典型的内存泄露案例。main函数调用了mk函数生成树结点，可是在调用完成之后，却没有相应的函数：nodefr释放内存，这样内存中的这个树结构就无法被其他部分访问，造成了内存泄露。

在 一个单独的函数中，每个人的内存泄露意识都是比较强的。但很多情况下，我们都会对malloc/free 或new/delete做一些包装，以符合我们特定的需要，无法做到在一个函数中既使用又释放。这个例子也说明了内存泄露最容易发生的地方：即两个部分的 接口部分，一个函数申请内存，一个函数释放内存。并且这些函数由不同的人开发、使用，这样造成内存泄露的可能性就比较大了。这需要养成良好的单元测试习 惯，将内存泄露消灭在初始阶段。

清单 11

清单 11.2

清单 11.3

结果分析：

假设上述文件名位tree.h, tree.cpp, badleak.cpp，生成的可执行程序为badleak，用memcheck对其进行测试，输出如下。

清单 12

该 示例程序是生成一棵树的过程，每个树节点的大小为12（考虑内存对齐），共8个节点。从上述输出可以看出，所有的内存泄露都被发现。Memcheck将内 存泄露分为两种，一种是可能的内存泄露（Possibly lost），另外一种是确定的内存泄露（Definitely lost）。Possibly lost 是指仍然存在某个指针能够访问某块内存，但该指针指向的已经不是该内存首地址。Definitely lost 是指已经不能够访问这块内存。而Definitely lost又分为两种：直接的（direct）和间接的（indirect）。直接和间接的区别就是，直接是没有任何指针指向该内存，间接是指指向该内存的 指针都位于内存泄露处。在上述的例子中，根节点是directly lost，而其他节点是indirectly lost。

回页首

总结

本 文介绍了valgrind的体系结构，并重点介绍了其应用最广泛的工具：memcheck。阐述了memcheck发现内存问题的基本原理，基本使用方 法，以及利用memcheck如何发现目前开发中最广泛的五大类内存问题。在项目中尽早的发现内存问题，能够极大地提高开发效率，valgrind就是能 够帮助你实现这一目标的出色工具。

参考资料

• Valgrind官方网站：http://www.valgrind.org/
• 内存调试技巧: http://www.ibm.com/developerworks/cn/aix/library/au-memorytechniques.html
• 如何在 linux 下检测内存泄漏: http://www.ibm.com/developerworks/cn/linux/l-mleak/

  =========

3.避免内存泄露

  写服务器程序，最怕的就是内存泄露。因为程序经常运行好几个月不停，一点点内存泄露都会导致悲剧的发生。常规来说，首要是避免内存泄露，其次是检查内存泄露。

1)不用new

c++程序，尽量多用stl，避免用new。我自己写的代码，除了在main函数里面有new外，其他地方不会再有任何new出现。这样就把内存管理交给stl去做。

或许你会说，不用new怎么可能啊？

很简单，char数组用std::string代替，其他对象直接拷贝。除非你的对象很大很大，否则，一点点拷贝耗时，完全可以忽略不计。

2)每个重要结构都提供Info函数

给 你的每个重要结构都加上一个Info函数，info函数返回一个string，描述当前结构的状态，如map的大小，内存占用的大小。在最顶层，不定时的 输出（或者根据命令输出）各个对象的info结果。这样可以避免隐形的内存泄露，即不是内存泄露，但某个对象保持的大量对象的引用，导致对象无法被删除；

即某个对象内部的map，不断的添加数据，也在不断的删除数据，但在某些特殊情况下，它不会删除。

3)stl内存泄露的问题

stl 几乎没有内存泄露，但它有一个内存cache，这个cache对小对象的分配很友好。stl的一个麻烦是，它几乎不会释放这些空间，这样的一个结果是，你 看到自己的程序内存占用不断的上涨。其实，理论上是不用害怕的，因为它涨到一定范围（如，机器只有几百兆可用空间了），就不会涨了。可以通过在运行程序 前，export GLIBCXX_FORCE_NEW=1，来让stl不要进行cache。注意，这个仅仅在gcc(g++) 3.3以后有效。

4)valgrind等内存检测工具

 直接下载，编译（注意，必须在configure的当前目录下执行configure，不能另外选一个目录），安装。执行：valgrind --num-callers=20 --leak-check=full --leak-resolution=high --show-reachable=yes --log-file=val.log xxx &，等过了几天后，把它kill,然后慢慢的看val.log文件。

当你采用了前面3个策略后，valgrind几乎没有啥效果，反正我从来没有从它这里获得任何有用的信息过。主要是因为前面几步保证了没有显式的内存泄露，所以，valgrind也就找不出来啥内存泄露了。

5)valgrind的工具massif

massif 比valgrind好的地方在于，它会告诉你当前内存的分布情况。你可以看到占用了几百兆的程序到底是那些地方占用了内存。执行：valgrind --tool=massif xxx。一般通过这个都可以看到明显的内存泄露。这个工具很好，俺用它发现了一个十分异常的情况，这个情况是由vector的reserve导致的。本来 应该reserve返回数据的个数，结果reserve了命中结果的个数。导致偶尔会出现内存占用过500M的情况，但因为没有内存泄露，所以其他几个工 具都找不出来，就只有massif提供的堆栈快照可以发现这个问题。