巧妙利用访问时间提取和重组代码的实践
说明
本文主要介绍巧妙利用访问时间提取和重组某嵌入式产品SDK代码的实践。
一 问题提出
目前产品平台为便于编译管理，要求各模块组织为include-source目录结构，分别存放头文件和源文件。但芯片厂家提供的SDK按功能划分为众多子目录，如subdir1(.c,.h)…subdirN(.c,.h)…Makefile，并将头文件和源文件一并存放在各子目录内。
此外，厂家SDK支持多种管理场景，通过选项开关编译不同的目录和文件。而产品硬件定板后管理场景固定，其他场景所涉及的代码将不再需要。
因此，需要遍历厂家SDK目录，提取在用的文件并重组为include-source目录结构。
二 解决方案
根据重组要求，有四种解决方案。
2.1 方案一
某些产品已将厂家SDK重组为include-source目录结构。因此，可人工比对现有产品已重组的SDK，从新的SDK中摘取所需文件，重组后再次编译，根据编译结果进行必要的修改和调整。
显然，该方案效率很低(尤其是甄别不同场景所用的同名文件时)，而且不安全(可能遗漏SDK新增内容)。
2.2 方案二
编译厂家SDK后，解析编译输出中出现的文件(表明在用)，手工或脚本提取后重组。
该方案解析难度稍大，且需考虑重复出现的文件(尤其是嵌套包含的头文件出现编译警告时)。
2.3 方案三
可参考《将模块代码量精简为2%的实践》一文中剔除未使用条件编译分支的思路，稍加修改即可用于解决本文所提问题。
其原理如下：
1) 创建include和source目录。
2) 在SDK待处理代码(所有源文件和头文件)的首行插入gcc扩展预编译头#warning。
3) 编译待处理代码获取gcc编译输出并进行分析。
4) 编译结果中”#warning”警告所涉及的文件表明在用，可删除编译头后按源文件和头文件类型分别拷贝至include和source目录。
其中，步骤1和3可手工进行，步骤2和4对《实践》一文中提供的Python脚本稍加修改即可实现。
2.3 方案四
编译SDK后，遍历目录读取各文件的访问时间*，提取符合指定时间(表明本次编译读到)的文件后重组。“指定时间”格式形如"Mon Aug 18 09:59:46 2014"，通常设置为精确到日或时的编译时间。
该方案实现简单，应用起来也比方案三方便，故作为本文的优选实现。
三 代码实现
本节将实现上节所述的方案四(假设源文件名为DirMover.c)。所需的头文件如下：
1 #include <string.h> 2 #include <time.h> //ctime 3 #include <errno.h> 4 #include <unistd.h> //getcwd 5 #include <sys/stat.h> 6 #include <dirent.h>
首先定义一组全局数据：
1 #define DIR_LEN 512 //目录绝对路径最大长度 2 #define DIR_FILE_LEN 1024 //目录和文件组成的绝对路径最大长度 3 4 //将目标代码的原始目录结构改为Include-Source目录结构 5 typedef struct{ 6 char szIncDir[DIR_LEN]; //Include目录 7 char szSrcDir[DIR_LEN]; //Source目录 8 }T_DIR_TREE; 9 char gszCmpTime[sizeof("Mon Aug 18 09:59:46 2014")] = {0};
重组前需要创建include和source目录。MakeCleanDir()函数用于创建空的目录，若目录已存在且内含文件，则删除已存在的文件。
1 int MakeCleanDir(const char *pszDir, mode_t dwMode) 2 { 3 if(0 == mkdir(pszDir, dwMode)) 4 return 0; 5 6 if(errno != EEXIST) 7 { 8 fprintf(stderr, "Cannot make directory: %s(%s)!\n", pszDir, strerror(errno)); 9 return -1; 10 } 11 12 char szCopyCmd[DIR_FILE_LEN] = {0}; 13 snprintf(szCopyCmd, sizeof(szCopyCmd), "rm -rf %s/*", pszDir); 14 system(szCopyCmd); //删除该目录下的文件 15 return 0; 16 }
为简化实现，删除操作直接调用rm命令。基于同样的考虑，后文拷贝文件时也直接调用cp命令。
创建重组目录后，调用TraverseDirectory()函数遍历原SDK目录：
1 typedef int (*TravFileFunc)(char *pszAbsFile, struct stat *ptFileStatus, void* pvTravInfo); 2 int TraverseDirectory(const char *pszCurDir, void* pvTravInfo, TravFileFunc fpTravFile) 3 { 4 DIR *pDir = opendir(pszCurDir); 5 if(NULL == pDir){ 6 fprintf(stderr, "Cannot open directory: %s!\n", pszCurDir); 7 return -1; 8 } 9 10 struct dirent *pFileEntry = NULL; 11 while((pFileEntry = readdir(pDir)) != NULL){ 12 //剔除当前目录.，上级目录..及隐藏文件，避免死循环遍历目录 13 if(0 == strncmp(pFileEntry->d_name, ".", 1)) 14 continue; 15 16 struct stat tFileStatus; //文件状态信息 17 char szAbsFile[DIR_FILE_LEN] = {0}; //文件绝对路径 18 sprintf(szAbsFile, "%s/%s", pszCurDir, pFileEntry->d_name); 19 if(stat(szAbsFile, &tFileStatus) != 0){ 20 fprintf(stderr, "Call stat error(%s)!\n", strerror(errno)); 21 return -1; 22 } 23 24 if(S_ISDIR(tFileStatus.st_mode)) //文件类型为目录，递归子目录 25 { 26 TraverseDirectory(szAbsFile, pvTravInfo, fpTravFile); 27 continue; 28 } 29 30 if(fpTravFile(szAbsFile, &tFileStatus, pvTravInfo) != 0) 31 break; 32 } 33 34 closedir(pDir); 35 return 0; 36 }
为求通用性，将TravFileFunc回调函数指针执行文件操作。此处回调函数原体为MoveFile()函数，该函数检查当前文件的返回时间，并将符合要求的文件分别拷贝至include和source目录。
1 int MoveFile(char *pszAbsFile, struct stat *ptFileStatus, void* pvTravInfo) 2 { 3 printf("Current file: %s(atime: %s).\n", pszAbsFile, ctime(&ptFileStatus->st_atime)); 4 5 //跳过Include和Source目录 6 T_DIR_TREE *ptNewDirTree = (T_DIR_TREE *)pvTravInfo; 7 char *pSlashPos = strrchr(pszAbsFile, '/'); //目录与文件名之间的'/'号 8 *pSlashPos = '\0'; //丢弃文件名，留取目录名 9 if(!strcmp(pszAbsFile, ptNewDirTree->szIncDir) || 10 !strcmp(pszAbsFile, ptNewDirTree->szSrcDir)) 11 return 0; 12 *pSlashPos = '/'; //恢复文件名 13 14 //跳过DirMover.c文件 15 char *pszFileName = pSlashPos + 1; //basename(pszAbsFile); 16 if(!strcmp(pszFileName, __FILE__)) 17 return 0; 18 19 //文件访问时间与指定时间不符，跳过 20 if(strncmp(ctime(&ptFileStatus->st_atime), gszCmpTime, strlen(gszCmpTime))) 21 return 0; 22 23 char szCopyCmd[DIR_FILE_LEN] = {0}; 24 char szAbsNewFile[DIR_FILE_LEN] = {0}; 25 char szSuffix[12] = {0}; 26 sscanf(pszFileName, "%*[^.].%c", szSuffix); 27 if('h' == szSuffix[0]) //文件扩展名为.h，表明为头文件 28 sprintf(szAbsNewFile, "%s/%s", ptNewDirTree->szIncDir, pszFileName); 29 else if('c' == szSuffix[0]) //文件扩展名为.c，表明为源文件 30 sprintf(szAbsNewFile, "%s/%s", ptNewDirTree->szSrcDir, pszFileName); 31 else 32 { 33 printf("Unknown extension of file: %s!\n", pszAbsFile); 34 return 0; 35 } 36 snprintf(szCopyCmd, sizeof(szCopyCmd), "cp -p %s %s", pszAbsFile, szAbsNewFile); 37 system(szCopyCmd); //将头文件拷贝至Include目录，源文件拷贝至Source目录 38 39 return 0; 40 }
MoveFile()函数内首先跳过Include和Source目录。该步骤存在冗余性(每次文件操作均需执行该判断)，但作为回调函数除此之外别无他法。
最后，main()函数内容如下：
1 int main(int dwArgc, char *pArgv[]) 2 { 3 int dwRet = -1; 4 5 if(dwArgc != 2) 6 { 7 fprintf(stderr, "Usage: %s ['TimetobeCompared']\n" 8 " ['TC']Substring of time string(Format='Mon Aug 18 09:59:46 2014')\n" 9 " e.g. %s 'Mon Aug 18' -->" 10 " Match files whose access time is 2014-8-18\n", pArgv[0], pArgv[0]); 11 return -1; 12 } 13 14 T_DIR_TREE tDirTree = {{0}}; 15 char *pszCurDir = getcwd(NULL, DIR_LEN); 16 snprintf(tDirTree.szIncDir, sizeof(tDirTree.szIncDir), "%s/include", pszCurDir); 17 18 dwRet = MakeCleanDir(tDirTree.szIncDir, S_IRWXU); //创建Include目录 19 if(dwRet != 0) 20 return -1; 21 22 snprintf(tDirTree.szSrcDir, sizeof(tDirTree.szSrcDir), "%s/source", pszCurDir); 23 dwRet = MakeCleanDir(tDirTree.szSrcDir, S_IRWXU); //创建Source目录 24 if(dwRet != 0) 25 return -1; 26 27 strcpy(gszCmpTime, pArgv[1]); 28 dwRet = TraverseDirectory(pszCurDir, &tDirTree, MoveFile); 29 printf("Rearrange Directory %s!\n", dwRet?"Incorrectly":"Successfully"); 30 31 return dwRet; 32 }
四 效果验证
按照如下步骤进行代码重组：
1) 编译上节给出的代码，生成可执行文件(假设名为DirMover)。
2) 将该文件置入SDK代码根目录下，即subdir1(.c,.h)…subdirN(.c,.h)…Makefile…DirMover。
3) 编译SDK代码。若SDK代码创建时间早于当日，则“指定时间”可设置为当日，格式形如"Mon Aug 18"；否则若SDK代码创建时间早于当时，则可date命令查看当前时间，或通过stat命令查看必被编译的文件的访问时间，然后调整“指定时间”的精度。
4) 运行./DirMover 'Mon Aug 18 17'之类的命令，即可将SDK在用的文件重组分置于自动生成的include-source目录内。
其中，步骤3也可在其他步骤之前完成。此时，“指定时间”需根据必被编译的文件的访问时间而定。
注意，'Mon Aug 18 17'必须用单引号或双引号括起，以便被Shell识别为一个命令行参数。
当然，DirMover.c内也可调用time()函数获取time_t格式的系统当前时间，然后直接与文件的atime值做比较。命令行可输入数字指定时间精度，代码内根据精度要求调整当前时间(如除以3600转换为小时精度)。这样，易用性更好，但灵活性有所降低。
五 注解
Unix系统为每个文件维护三个时间属性，其意义如下表所示：
|
时间属性 |
说明 |
作用函数 |
ls(-l)示例 |
|
st_atime |
文件数据的最后访问时间 |
creat/open(O_CREAT), exec, mkfifo, mknod, pipe, utime, read |
ls -lu file |
|
st_mtime |
文件数据的最后修改时间 |
creat/open(O_CREAT|O_TRUNC), mkfifo, mknod, pipe, utime, truncate/ftruncate, write |
ls -l file |
|
st_ctime |
i节点状态的最后更改时间 |
chmod/fchmod, chown/fchown, creat/open(O_CREAT), link/unlink, mkfifo, mknod, pipe, remove, rename, truncate/ftruncate, utime, write |
ls -lc file |
以下详述三种时间的区别：
1) 访问时间(access time)：表示文件中数据最近的访问时间(last accessed time)。当读取或执行文件时，如被系统进程直接使用或通过cat/ more等命令和脚本间接使用，该时间将被更新。ls和stat命令不会修改文件的访问时间。
2) 修改时间(modification time)：表示文件中数据最近的修改时间(last modified time)。当修改文件内容时，如向文件中写入数据，该时间将被更新。
3) 更改时间(change time)：表示文件i节点状态最近的修改时间(last i-node's status changed time)。当文件的访问权限、所有者、链接数等发生改变时，该时间将被更新。因为i节点中的所有信息与文件的实际内容分开存放，故此时并未更改文件内容。当然，修改文件内容时，修改时间和更改时间均会改变。
创建新文件时，访问时间、修改时间和更改时间三者一致。读取该文件时会更新访问时间，但其修改时间和更改时间并不改变(文件本身及文件相关的信息没有被改变)。此外，系统并不保存对一个i节点的最后一次访问时间，故access和stat函数并不改变这三个时间中的任一个。
Windows文件有三种时间属性，即创建时间、修改时间和访问时间。而Unix中没有文件创建时间的概念。若文件创建后内容未曾修改，则修改时间等同创建时间；若文件创建后状态未曾改动，则更改时间等同创建时间；若文件创建后内容未曾读取，则访问时间等同创建时间。但通常难以判断文件是否被改过、读过、其状态是否变过，因此需要变通的方法来实现保留文件创建时间。
可在挂载(mount)文件系统时使用参数-o noatime，关闭系统更新atime的特性。这样，访问文件时atime就不会更新，即等同文件的创建时间。此外，在文件读操作很频繁的系统中，atime更新所带来的开销很大，因此使用noatime属性可改善文件读写性能。
但有些程序需要根据atime进行一些判断和操作，因此Linux2.6.29后默认集成relatime属性。使用该属性挂载文件系统后，仅当mtime比atime时间更新时，才更新atime(此时atime等同mtime)。
查看文件这三种时间的命令有：
1) ls命令
ls命令按三个时间值中的一个排序进行显示。系统默认(使用-l或-t选项)按文件修改时间的先后排序，-u选项使其按访问时间顺序排序，-c选项使其按更改状态时间排序。
使用--time和--full-time选项可查看更详细的时间信息。其中，--time取值可为atime或ctime，不指定该选项时默认为修改时间。
此外，可格式化输出三种时间值。格式化字符串形如"%AY-%Am-%Ad %AH:%AM:%AS"(访问时间)，将字符串中的字符'A'改为'T'或'C'即可格式化修改时间和更改时间。
1 [wangxiaoyuan_@localhost SDK573]$ ls -lu Makefile 2 -rwxr--r-- 1 wangxiaoyuan_ users 4963 Aug 20 09:48 Makefile 3 [wangxiaoyuan_@localhost SDK573]$ ls -l --time=atime --full-time Makefile 4 -rwxr--r-- 1 wangxiaoyuan_ users 4963 2014-08-20 09:48:43.000000000 +0800 Makefile 5 [wangxiaoyuan_@localhost SDK573]$ find . -name Makefile -printf "%AY-%Am-%Ad %AH:%AM:%AS" 6 2014-08-20 09:48:43(无换行符)
2) stat命令
1 [wangxiaoyuan_@localhost SDK573]$ stat Makefile 2 File: `Makefile' 3 Size: 4963 Blocks: 16 IO Block: 4096 regular file 4 Device: 811h/2065d Inode: 25640989 Links: 1 5 Access: (0744/-rwxr--r--) Uid: ( 540/wangxiaoyuan_) Gid: ( 100/ users) 6 Access: 2014-08-20 09:48:43.000000000 +0800 7 Modify: 2014-07-08 18:29:04.000000000 +0800 8 Change: 2014-08-19 12:14:41.000000000 +0800
可通过stat *命令查看当前目录所有文件的时间信息。
