文件按行随机排列

今天碰到了个需求，就是我需要在一个文件里随机抽一些行出来做训练集，剩下的做测试集。因为原来的文件排列有一定的顺序可能影响结果，所以不能直接head或者tail。我以为肯定有个命令很方便的完成这件事情，结果搜了半天没搜到可以直接用的（可能还是有，只是我太蠢没有找到。。。），结果发现了一个博客是用c结合shell做的，感觉还挺不错。思路就是用c把文件每行的尾部加上一个随机数（各行后面的随机数不重复），之后再用shell按最后一列排序就好。

原文在这里：http://blog.csdn.net/liyuxia713/article/details/7445592

备份下代码在下面：

//random.c

#include <stdlib.h>
#include <stdio.h>
#include <string.h>
#include <time.h>

using namespace std;

const int LEN = 4098;

//返回属于[p,q)的随机整数 
int rand(int p, int q)
{
     int size = q-p+1;
     return  p+ rand()%size;
}

//交换两个元素值 
void swap(int& a , int& b)
{
     int temp = a;
     a = b;
     b = temp;
}

//打印数组值
void print(int *v, int n)
{
        for(int i=0; i < n ; i++)
        {
                printf("%u\n", v[i]);
        }
}
        
//给数组a[n], 随机不重复赋值[1,n]之间的数
void randomize(int *v, int n)
{       
        //initialize
        for(int i=0; i < n; i++)
        {       
                v[i] = i+1;
        }

        for(int i=n-1; i>0; i--)
        {
                int r = rand(0,i+1);
                swap(v[r], v[i]);
        }
}

//删除换行符
int chomp(char *str)
{
    int len = strlen(str);
    while(len > 0 && (str[len - 1] == '\n' || str[len - 1] == '\r'))
    {
        str[len - 1] = 0;
        len--;
    }
    return len;
}


//主函数
int main(int argc, char *argv[])
{       
        int line_num = atoi(argv[1]);
        printf("%u\n",line_num);
        int *value = (int*)malloc((line_num) * sizeof(int));
        printf("%u\n",line_num);
        randomize(value, line_num);
        //print(value, N);

        
        FILE* infile = fopen(argv[2], "r");
        if( infile == NULL )
        {       
                printf("Cann't open file %s.", argv[1]);
                return 0;
        }
        
        FILE* outfile = fopen(argv[3], "w");
        if( outfile == NULL)
        {       
                printf("Cann't open file %s to write.", argv[2]);
                return 0;
        }
        
        int i=0;
        char str[LEN];
        str[0] = 0;  
        str[LEN-1] = 0;

        while( !feof(infile) )
        {
                if( !fgets(str, sizeof(str),infile))
                {
                        break;
                }
                
                str[LEN- 1] = 0;
                chomp(str);
                
                fprintf(outfile, "%s\t%u\n", str, value[i]);
                i++;
        }
        fclose(infile);
        fclose(outfile);
        return 0;
}

#!/bin/sh
### note: sh random.sh in_fname out_fname  ###

infile=$1
outfile=$2
line_num=`cat $infile | wc -l `
./random $line_num $infile $outfile.tmp
sort $outfile.tmp -k 2 -n -t '  ' | cut -f1  > $outfile

 

恩补充一下sort：

-n表示按数值排序

-k是第几列（从1计数）

-t指定分割符 （如果在命令行里tab可以用ctrl+v+i）