随笔- 18  文章- 1  评论- 4 

写在前面

这个过程几乎从0开始,在此之前,我几乎没有在 linux 下编译链接过项目、没有接触过 makefile、没有读过 man-db、只 gcov 过一个仅有几个C文件的项目

现在,我用 gcov 完成了对 VIM 源码的覆盖,并通过 lcov 生成了非常易读的覆盖率报告

 

中间碰到了许多疑难杂症,但是更多的是若干教程中叮嘱的“不要放弃”,所以我大概按照下面的节点完成了这个工具的入门:

虚拟机安装Ubuntu,配置gcov和lcov环境

  --> 编译链接单个C文件

    --> 写一个多个C文件的项目,用 makefile 进行编译连接,完成覆盖

      --> 覆盖优秀的开源软件,例如 VIM

这里会按照上述节点逐渐展开,希望帮助和我一样从0开始的朋友们更容易的完成这个过程

如果您对一些问题已经有了研究,那么这里的内容可能太过浅显,敬请继续往下翻阅

如果您没有碰到这些问题,那么恭喜一切都很顺利

如果您要深究一些技术的原理,那么这里可能无法提供您所需要的信息:一是我期望在这里精炼出成功配置环境的方法,更倾向于去解决问题而非深入研究;二是掌握一项技术归根结底还要自己一步一步走下去,一点一点踏实学,绝不是一篇博文就能简单解决的

好了,下面开始 :-)

 

虚拟机配置安装 Ubuntu

1. 选择虚拟机 VirtualBox,至于为什么不用 VMWare,请参考:

http://www.crifan.com/virtual_machine_soft_choice_vmware_or_virtualbox_definitely_recommend_virtualbox/

2. Ubuntu镜像:

http://www.ubuntu.com/download

3. 安装过程大体略去,只是您在用虚拟机加载镜像的时候可能碰到 VT-x feature locked or unavailable 的问题,那么请参考:

http://www.crifan.com/virtualboxvt_x_features_locked_or_unavailable_in_msr_verr_vmx_msr_locked_or_disabled/

如果还不能成功,请从本地硬盘以管理员身份启动 VirtualBox

或者,给这个虚拟机镜像分配少一点的内存

(很奇怪的是,我在安装 x86 Ubuntu 时,分配内存超过 3G 就会出现此问题,理论不是 4G 吗?求解)

 

4. 安装完之后您可能会向我一样需要两个功能:调整分辨率和共享文件夹,这都需要安装虚拟机的增强功能

 

所谓的安装增强功能,是在登录到 Ubuntu 之后,挂载一个光盘镜像,并安装一些内容,但是您在安装增强功能时可能会碰到以下问题:

“分配介质虚拟光盘 xxx\VBoxsGuestAdditions.iso 到虚拟电脑 xxx 失败。您是否要强制卸载分配该介质?”

请参考:

http://www.crifan.com/virtualbox_ubuntu_install_guest_addtions_fail_could_not_mount_the_media/

原因简而言之是,因为你需要加载一个镜像到虚拟机的光驱,但是虚拟机光驱内已经有内容了,卸载掉,或者直接从已加载的内容中安装

 

分辨率在重启虚拟机之后就可以生效。

5. 共享文件夹,因为会需要从宿主 Windows 中共享一些资源到虚拟机的 Ubuntu 中,在安装完增强功能之后

 

选择好宿主机上的共享目录,之后在 Ubuntu 终端上运行命令:

$ sudo mount -t vboxsf <shared_folder_on_windows> <mount_point_on_ubuntu>

 

这样在 Ubuntu 的挂载点上就能访问 Windows 上共享的资源了。

 

配置 Ubuntu,安装 gcov & lcov

1. 网络源和安装软件

为什么要配置源?您当然可以手动安装各种软件包,但是繁琐的依赖关系会让你痛不欲生。而从网络源安装会检查依赖并自动部署(安装),仅需一条命令:

$ sudo apt-get install <software_name>

 

比如,分别执行如下两条命令,就自动完成 gcov 和 lcov 的安装

$ sudo apt-get install gcov
$ sudo apt-get install lcov

 

等一下,网络源还没配……

其实就是把“要从哪里获取资源”这个信息告诉 Ubuntu,可以参考:

http://wiki.ubuntu.org.cn/index.php?title=Qref/Source&variant=zh-cn

上述资料简述成为以下三步:

  a) 备份系统自带的源,原始的源列表就在 /etc/apt/sources.list

$ sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup

 

  以上命令的意思是,把原始内容原封不动的 backup 一下,以后你就可以从这个 sources.list_backup 中恢复了

  b) 全世界有很多的源可供您维护系统更新软件,依据您的网络环境添加合适的源(例如,如果人在欧洲,那么添加网易的开源镜像服务器就不太合适了)

  很久以前在大三的水过的 Linux 课上老师提过 CN99 放在常州,不过现在我使用的网易的源,中间的变迁似乎还有段野史,感兴趣的请自行搜索

  c) 获取源的目录等信息,改成你期望的源之后,请一定要执行以下命令:

$sudo apt-get update

 

2. 就在上面这条指令更新源的时候碰到的问题:Hash 和 public key ,详细错误信息类似下面这两条:

W: There is no public key available for the following key IDs:

xxxxxxxxxxxxxxxx
W: You may want to run apt-get update to correct these problems
W: Failed to fetch 

bzip2:/var/lib/apt/lists/partial/ppa.launchpad.net_webupd8team_java_ubuntu_dists_precise_main_binary-i386_Packages 

Hash Sum mismatch

 

Public key not available

在选用更新源的时候,切记不能混用不同发行版的源,甚至同一发行版的不同版本也不能混用

在上面更新源的简介资料中,给出的范例是 Quantal(12.10) 版本,而我虚拟机安装的其实是 Precise(12.04) 版本,因此参考网易的帮助文档:

http://mirrors.163.com/.help/ubuntu.html

选用正确的 Precise 源更新到 sources.list 文件中,公钥问题解决。

Hash Sum mismatch

参考以下材料,似乎国内总会碰到这样的问题,似乎和敏**词过滤有关,内容被篡改了?

http://forum.ubuntu.org.cn/viewtopic.php?t=393662

这个问题的原因尚不确定,有经验的朋友也请给些解答。在家就总会 Hash Sum mismatch ,而在公司就解决了。

解决了以上问题之后,就可以用 sudo apt-get install 把 gcov lcov 装起来了。

 

GCOV 用于简单项目的覆盖

gcov 适用的场合:GNU C/C++,因此适用的编译器:cc, gcc, g++

这里举斐波那契数列的一个程序为例

 1 #include <stdio.h>
 2 
 3 int fibonacci(int n);
 4 
 5 int main ()
 6 {
 7    int fib;
 8    int n;
 9 
10    for (n = 0; n <= 41; n++) {
11       fib = fibonacci(n);
12       printf("fibonnaci(%d) = %d\n", n, fib);
13    }
14 
15    return 0;
16 }
17 
18 int fibonacci(int n)
19 {
20    int fib;
21    if (n <= 0) {
22       fib = 0;
23    }
24    else if (n == 1) {
25       fib = 1;
26    }
27    else {
28       fib = fibonacci(n -1) + fibonacci(n - 2);
29    }
30 
31    return fib;
32 }

 

1. 编译

$ gcc -c fib.c -ftest-coverage -fprofile-arcs

 

除了 fib.o 之外,还生成了 fib.gcno 的话,成功了

.gcno是由-ftest-coverage产生的,它包含了重建基本块图和相应的块的源码的行号的信息。

2. 链接

$ gcc fib.o -o fib

 

诶……怎么回事?

 

在看到了一封乘坐了时光机的来自2003年的邮件之后,查阅了一下 gcc 的 man-db

 

我当时邮件给时光机的两个主角问了一下 gcov 的近况,并没有期望得到回复

但是就在昨天 Nathan 他老人家竟然回邮件了!带上以上所有已经提供的信息,他还感慨了一下 gcov has changed a lot since then...

回归正题,链接的时候下面三条任选一个执行即可

$ gcc fib.o -o fib --coverage
$ gcc fib.o -o fib -lgcov
$ gcc fib.o -o fib -fprofile-arcs

 

应该会正常生成 fib

3. 运行程序 fib

$ ./fib

 

会生成 .gcda 文件,.gcda是由加了-fprofile-arcs编译参数的编译后的文件运行所产生的,它包含了弧跳变的次数和其他的概要信息。

4. 生成 gcov 报告

$ gcov fib.c

 

生成的 fib.c.gcov 文件中就包含了代码覆盖的统计数据,数字代表了每行代码被执行的次数及行号,相信这个不难分析

         -:    0:Source:fib.c
         -:    0:Graph:fib.gcno
         -:    0:Data:fib.gcda
         -:    0:Runs:1
         -:    0:Programs:1
         -:    1:#include <stdio.h>
         -:    2:
         -:    3:int fibonacci(int n);
         -:    4:
         1:    5:int main ()
         -:    6:{
         -:    7:   int fib;
         -:    8:   int n;
         -:    9:
        43:   10:   for (n = 0; n <= 41; n++) {
        42:   11:      fib = fibonacci(n);
        42:   12:      printf("fibonnaci(%d) = %d\n", n, fib);
         -:   13:   }
         -:   14:
         1:   15:   return 0;
         -:   16:}
         -:   17:
1402817422:   18:int fibonacci(int n)
         -:   19:{
         -:   20:   int fib;
1402817422:   21:   if (n <= 0) {
 267914296:   22:      fib = 0;
         -:   23:   }
1134903126:   24:   else if (n == 1) {
 433494436:   25:      fib = 1;
         -:   26:   }
         -:   27:   else {
 701408690:   28:      fib = fibonacci(n -1) + fibonacci(n - 2);
         -:   29:   }
         -:   30:
1402817422:   31:   return fib;
         -:   32:}
         -:   33:

 

至于 gcov 的更多选项,例如 -b 分支覆盖 -f 函数覆盖, 就 man 吧。

5. 存在的问题

gcov 对每个源码的分析分散在对应的 .cov 文件中,不容易整理分析;文本,无图表……

这就是要使用 lcov 的原因

另外,如果您对gcc也十分不熟悉,正在寻求入门的话,可以参考这里:

http://wiki.ubuntu.org.cn/Gcchowto

 

LCOV 整理覆盖率数据

1. 汇总覆盖率数据,使用已经生成的 .gcno .gcda 文件生成覆盖率数据

$ lcov -c -o fib.info -d .

 

简单解释一下三个选项

-c: lcov 的一个操作,表示要去捕获覆盖率数据

-o: 输出文件

-d: .gcno .gcda 所在的文件夹,注意这里有个“.”,是从当前文件夹中获取数据的

问题又来了,开始在 lcov 的过程中,碰到 Negative length 的问题,顺着提示找到 lcov 源码中的一处 $(length) ,之后并没有头绪为什么会是负值传入的,于是根据 sourceforge 上面的地址,发了一封邮件询问了一下,回信意思是我使用的 gcc 版本为 4.7.2,需要 lcov 1.10+ 版本支持,使用 1.09 或更低版本的 lcov 会出现这样的问题。于是到以下地址去下载了最新的 lcov

http://ltp.sourceforge.net/coverage/lcov.php

在 lcov 1.10 的 release notes 中写明了对 gcc 4.7+ 提供了支持。

2. 生成 html 格式的报告

$ genhtml fib.info -o fib_result

 

genhtml 是安装 lcov 时附带的,使用上面产生的 .info 文件生成报告,存放于 fib_result 文件夹中

没错,这里的报告并不只是一个文件,有好多存放在你 -o 指定的目录下,生成之后进入 fib_result 就可以看见念想很久的 index.html 了

这里再分享一下怎么从 terminal 用浏览器打开网页:

$ firefox index.html

 

3. gcov lcov 资料汇总

在学习过程中检索到的一些文章有对这两个工具的解读,我将有所收获、编排整齐的几篇列举如下,由浅入深,您也可以直接参考他们的文章:

i) gcov 和 lcov 的简明使用教程:http://magustest.com/blog/whiteboxtesting/using-gcov-lcov/

ii) gcov 和 lcov 的简单介绍,包括一些选项的含义,

  gcov: http://blog.csdn.net/livelylittlefish/article/details/6321861

  lcov: http://blog.csdn.net/livelylittlefish/article/details/6321887

iii) gcov 产生的覆盖率结果会存放在 .cov 文件中,这里有对 .cov 文件的解读:http://blog.csdn.net/ashhyc/article/details/1558598

iv) lcov 中间产物 .info 文件的解读:http://blog.csdn.net/vivasoft/article/details/8330186

v) gcov lcov 产生各类文件的简介:http://wx782870649.blog.163.com/blog/static/12989164120127224317532/

 

vi) gcov official online manual: http://gcc.gnu.org/onlinedocs/gcc/Gcov.html

vii) gcov FAQ: https://oss.oracle.com/~smushran/.debug/gcov/FAQ

viii) 这里提到了怎么用 gcov 对 linux kernel 进行覆盖:http://blog.csdn.net/yukin_xue/article/details/7653482

ix) 这里分析了 gcov 的工作原理,并直接操纵其获取数据的出入口,实现了对后台进程的覆盖统计:

http://blog.linezing.com/2011/03/使用gcov完成代码覆盖率的测试

 

覆盖大项目-学习Makefile

为什么要有 makefile ?

  因为编译、链接项目如果需要一条一条手动敲命令的话,那对那种动辄几十几百个文件的项目实在太恐怖了,需要这样一个建设性的懒惰,于是有了 makefile 

makefile 是什么?

  原本归根结底,makefile 是原来的编译、链接命令的集合,把源文件逐个编译、最后链接,产生可执行文件

  至于为了灵活性而衍生出来的各类语法、变量、函数、隐晦规则……刚入门时可以先不必纠结

makefile 我还总结不出什么心得,这一阵儿学习是参考的陈皓老师的博客:http://blog.csdn.net/haoel/article/details/2886

或者这里有 pdf 文档,http://ishare.iask.sina.com.cn/f/8359780.html

我觉得,为了后面的工作,至少读通这份 pdf 的前8页,知道 makefile 怎么使用变量

1. 环境变量

相信您或多或少都听说过环境变量这个词,也知道他大概是什么意思,很多我们看不到的系统调用会用到这些变量,举个栗子:

打出命令 gcc 干嘛干嘛的时候,系统怎么执行你这个命令?系统不会听人说话,其实您已经调用了一个可执行文件 gcc

那这个 gcc 又是从哪调用的?其实系统会从一些目录下去找这个执行文件 gcc ,而这些目录就写在环境变量 $(PATH) 中,可以打印这个变量出来看看

$ echo $(PATH)

 

而 gcc 可执行程序在 /usr/bin 这个文件夹中,他的路径已经写在 $(PATH) 里了,应该可以看到

Ubuntu 系统的环境变量存储在以下5个配置文件中:

/etc/environment

  系统登录时读取的第一个文件,用于为所有进程设置环境变量

/etc/profile

  系统登录时读取的第二个文件,会设定所有用户的环境变量

~/.profile

  对应当前登录用户的 profile 文件,用于定制当前用户的个人工作环境

/etc/bash.bashrc

  对应所有用户的 bash 初始化文件,这里设定的环境变量将应用于所有用户的 shell 中,此文件会在用户每次打开 shell 时执行一次

~/.bashrc

  对应当前登录用户 bash 的初始化文件,当用户每次打开shell时,系统都会执行此文件一次

这几个文件的读取书序依此是:

/etc/environment -> /etc/profile -> ~/.profile -> /etc/bash.bashrc -> ~/.bashrc

还可以进行一些实验验证,请参考:http://blog.sina.com.cn/s/blog_6405313801012pxw.html

2. makefile 中的变量

为什么要用变量?

  再举个栗子,gcc 有选项 -O0 -O2,前者表示编译时不优化,后者表示最大程度优化,现在有个 makefile 如下:

executable: main.o kbd.o command.o display.o \
        insert.o search.o files.o utils.o
    gcc -o executable \
        main.o kbd.o command.o display.o \
                insert.o search.o files.o utils.o

main.o: main.c defs.h
    gcc -O2 -c main.c
kbd.o: kbd.c defs.h command.h
    gcc -O2 -c kbd.c
command.o: command.c defs.h command.h
    gcc -O2 -c command.c
display.o: display.c defs.h buffer.h
    gcc -O2 -c display.c
insert.o: insert.c defs.h buffer.h
    gcc -O2 -c insert.c
search.o: search.c defs.h buffer.h
    gcc -O2 -c search.c
files.o: files.c defs.h buffer.h command.h
    gcc -O2 -c files.c
utils.o: utils.c defs.h
    gcc -O2 -c utils.c        

 

当你要做覆盖率分析的时候,你期望编译过程不要优化,于是又要把所有的 -O2 改为 -O0 ……

当未来有一个比 gcc 更好的编译器 xcc ,又要把所有的 gcc 改为 xcc ......

当然,现在可以用 replace ,但是不管是期望更灵活的在以后来修改,还是强迫症……不如这样改写上述 makefile :

CC="gcc"
CFLAGS="-O2 -c"
object=main.o kbd.o command.o display.o \
insert.o search.o files.o utils.o

executable: $(object)
$(CC) -o executable $(object)

main.o: main.c defs.h
$(CC) $(CFLAGS) main.c
kbd.o: kbd.c defs.h command.h
$(CC) $(CFLAGS) kbd.c
command.o: command.c defs.h command.h
$(CC) $(CFLAGS) command.c
display.o: display.c defs.h buffer.h
$(CC) $(CFLAGS) display.c
insert.o: insert.c defs.h buffer.h
$(CC) $(CFLAGS) insert.c
search.o: search.c defs.h buffer.h
$(CC) $(CFLAGS) search.c
files.o: files.c defs.h buffer.h command.h
$(CC) $(CFLAGS) files.c
utils.o: utils.c defs.h
$(CC) $(CFLAGS) utils.c

 

在 VIM src 的 INSTALL 文档中有这么几行

 

至于 CFLAGS, CXXFLAGS, LIBS 这些变量的含义,请参考:http://www.cnblogs.com/taskiller/archive/2012/12/14/2817650.html

这里我用了另一种方法来确定我需要关注那些变量,在项目路径下,执行:

$ ./configure -h

 

会显示 configure 的帮助文档,其中有这么几行:

 

把 gcvo lcov 中提到的知识应用到这儿,我们只需要设定好编译和链接相关的两个环境变量 CFLAGS 和 LIBS

如下设定:

$ export CFLAGS="-c -ftest-coverage -fprofile-arcs"
$ export LIBS="-fprofile-arcs"

 

随后在 VIM 项目目录中

$ make
$ make install

 

在 <VIM>/src/objects 中应该生成了许多 .o 和 .gcno 文件吧,随后运行 VIM 生成 .gcda ,汇总覆盖率数据生成 .info ,将信息整理成 html 格式的命令都可以参考上面有关 gcov lcov 的使用

最后打开 index.html,就可以看到本文最开始出现的覆盖率数据了

 

交叉编译项目及 Linux 内核的覆盖

(待补完)

 posted on 2013-01-09 00:55  turtle_fly  阅读(...)  评论(...编辑  收藏