字节对齐与跨平台

  今天在写TCP服务器与客户端的程序时偶然发现字节对齐的问题。

struct stMsgHead
{
    short MsgType;
    short ResultCode;
    long long RequestTimestamp;
    int userID;
};

  这样一个结构体在win7 x64 sizeof(stMsgHead) 的结果为24个字节,而在ubuntu 16.04 i686(32位系统)下结果为16字节(win 7环境为Qt 5.8+Mingw530_32(32位编译器), ubuntu16.04 i686环境为 Qt 5.5.1+gcc5.4.0)。

  刚开始我猜想可能是由于系统位数(一个是64位一个是32位)不同导致的,于是修改代码为

#pragma pack(4)

struct stMsgHead
{
    short MsgType;
    short ResultCode;
    long long RequestTimestamp;
    int userID;
};

 #pragma pack(4) 指定4字节对齐,果然win7 x64  sizeof(stMsgHead)  的结果变为16字节了,当然在ubuntu 16.04 i686下结果相同。但是这并没有结束。

  于是我想指定8字节对齐试试看什么结果。将上述代码改为  #pragma pack(8) ,结果win7 x64下为24字节,Ubuntu 16.04 i686下仍然为16字节,我很好奇为什么Ubuntu 16.04 i686下不能按照8字节对齐呢。我猜想因为系统是32位的,CPU工作在32位模式下,一次最多能存取32bit(即4byte)的数据,所以32位的gcc编译器会优化为4字节对齐,即使使用 #pragma pack(8) 指定8字节对齐。相应的,如果指定16,32对齐也是会按照4字节对齐,在win7 x64下也是如此,最高只能按照8字节对齐。

  于是,我又换了一个Ubuntu 16.04 x86_64(64位系统)进行试验,发现和我猜测的一样,可以使用8字节对齐。

  我初步判定,编译器会按照系统的位数进行字节对齐优化,32位系统默认且最高为4字节对齐,64位系统默认且最高为8字节对齐。至少在mingw32和linux gcc上如此,其他平台尚不明,欢迎各位补充!!!还有一个疑问就是32位的mingw32在64位的win7上也可以8字节对齐,不明白原因。

  在查阅资料时发现http://fpcfjf.blog.163.com/blog/static/5546979320093891619457/这篇博文上说,GCC不是这样,就是最高只能被4整除,它是个死的。由我的测试可知并不是这样的,由于这篇博文发表于2009年,可能那时候64位的gcc还并不普遍吧。

 

 

 


 

 补充基本知识:字节对齐原则

  在C语言中,结构体是一种复合数据类型,其构成元素既可以是基本数据类型(如int、long、float等)的变量,也可以是一些复合数据类型(如数组、结构体、联合体等)的数据单元。在结构体中,编译器为结构体的每个成员按其自然对界(alignment)条件分配空间。各个成员按照它们被声明的顺序在内存中顺序存储,第一个成员的地址和整个结构体的地址相同。

  例如,下面的结构体各成员空间分配情况:

struct test 
{
     char x1;
     short x2;
     float x3;
     char x4;
};

 

  结构体的第一个成员x1,其偏移地址为0,占据了第1个字节。第二个成员x2为short类型,其起始地址必须2字节 对界,因此,编译器在x2和x1之间填充了一个空字节。结构体的第三个成员x3和第四个成员x4恰好落在其自然对界地址上,在它们前面不需要额外的填充字 节。在test结构体中,成员x3要求4字节对界,是该结构体所有成员中要求的最大对界单元,因而test结构体的自然对界条件为4字节,编译器在成员x4后面 填充了3个空字节。整个结构体所占据空间为12字节。

  在缺省情况下,C编译器为每一个变量或是数据单元按其自然对界条件分配空间。一般地,可以通过下面的方法来改变缺省的对界条件:
     · 使用伪指令 #pragma pack(n) ,C编译器将按照n个字节对齐。
     · 使用伪指令 #pragma pack() ,取消自定义字节对齐方式。

  另外,还有如下的一种方式:
     ·  __attribute((aligned (n))) ,让所作用的结构体成员对齐在n字节自然边界上。如果结构体中有成员的长度大于n,则按照最大成员的长度来对齐。
     ·  __attribute__ ((packed)) ,取消结构体在编译过程中的优化对齐,按照实际占用字节数进行对齐。

Intel和微软等公司同时出现的面试题

#pragma pack(8)

struct s1{
short a;
long b;
};

struct s2{
char c;
s1 d;
long long e;
};

#pragma pack()

问 

1. sizeof(s2)  = ?
2.s2的c后面空了几个字节接着是d?

  结果如下:

 sizeof(s2) 结果为24.
  成员对齐有一个重要的条件,即每个成员分别对齐.即每个成员按自己的方式对齐.
  也就是说上面虽然指定了按8字节对齐,但并不是所有的成员都是以8字节对齐.其对齐的规则是,每个成员按其类型的对齐参数(通常是这个类型的大小)和指定对齐参数(这里是8字节)中较小的一个对齐.并且结构体的长度必须为所用过的所有对齐参数的整数倍,不够就补空字节.
S1中,成员a是1字节默认按1字节对齐,指定对齐参数为8,这两个值中取1,a按1字节对齐;成员b是4个字节,默认是按4字节对齐,这时就按4字节对齐,所以sizeof(S1)应该为8;
S2 中,c和S1中的a一样,按1字节对齐,而d 是个结构体,它是8个字节,它按什么对齐呢?对于结构体来说,它的默认对齐方式就是它的所有成员使用的对齐参数中最大的一个,S1的就是4.所以,成员d就是 按4字节对齐.成员e是8个字节,它是默认按8字节对齐,和指定的一样,所以它对到8字节的边界上,这时,已经使用了12个字节了,所以又添加了4个字节 的空,从第16个字节开始放置成员e.这时,长度为24,已经可以被8(成员e按8字节对齐)整除.这样,一共使用了24个字节.
                          a    b
S1的内存布局:11**,1111,
                          c    S1.a S1.b     d
S2的内存布局:1***,11**,1111,****11111111

  这里有三点很重要:
1.每个成员分别按自己的方式对齐,并能最小化长度
2.复杂类型(如结构体)的默认对齐方式是它最长的成员的对齐方式,这样在成员是复杂类型时,可以最小化长度
3.对齐后的长度必须是成员中最大的对齐参数的整数倍,这样在处理数组时可以保证每一项都边界对齐

  补充一下,对于数组,比如:
 char a[3] ;这种,它的对齐方式和分别写3个char是一样的.也就是说它还是按1个字节对齐.
如果写:  typedef char Array3[3]; 
Array3这种类型的对齐方式还是按1个字节对齐,而不是按它的长度.
不论类型是什么,对齐的边界一定是1,2,4,8,16,32,64....中的一个.

转自 #pragma pack(n) 的作用

 

posted @ 2017-07-05 14:43  wylnii  阅读(1381)  评论(0编辑  收藏  举报