distance.c

#include "stdio.h"
#include "string.h"
#include "math.h"
#include "malloc.h"

const long long Max_size = 2000;//输入字符串的最大长度,可以由单个词条和多个词条组成
const long long N = 40;//输出与某个单词最接近的N个词
const long long Max_w = 50;//单个词条的最大长度

int main(int argc,char **argv)
{
    FILE *f;//读取的文件指针
    char stemp[Max_size];//中间变量
    char *bestw[N];//存储与某个词最接近N个词条
    char ch;
    float *M;//存储所有词条的距离相关信息
    char *vocab;//存储所有词条的字符信息
/*
*file_name[Max_size];存放要读取内容的文件名；
*st[100][Max_size];//二维数组，中间变量
*dist:距离；len:长度；bestd[N]:存储与某个词最接近的N个词的距离
*vec[Max_size]:存储Max_size个词与某个指定词的距离
*words:词条的总数目；size:词条表示的维数；
*key[100]，存储某个词条在总词条中的位置下标
*/
    char file_name[Max_size],st[100][Max_size];
    float dist,len,bestd[N],vec[Max_size];
    long long words,size,i,j,k,l,num,key[100];
     
    if(argc<2)//打印程序所在路径
    {
        printf("Usage:./distance<FILE>\nwhere FILE contains word projections in the  BINARY FORMAIN\n");
        return 0;
    }

    strcpy(file_name,argv[1]);//argv[1]中存放的文件名赋给file_name
    f  = fopen(file_name,"rb");

    if(f == NULL)//文件打开失败
    {
        printf("Input file not found\n");
        return -1;
    }

    fscanf(f,"lld",&words);//输入总词条数组
    fscanf(f,"lld",&size);//输入用来表示每个词条的维数大小

    vocab = (char *)malloc((long long)words * Max_w *sizeof(char));

    //根据实际的维数分配存储块大小
    for(i = 0; i < N; i++)bestw[i] = (char *)malloc(Max_size *  sizeof(char));

    M = (float *)malloc((long long)words * (long long)size *sizeof(float));
    if(M==NULL)//不能分配所需要大小的内存
    {
        printf("Cannot allocate memory:%lld MB %lld %lld\n",(long long )words *size*sizeof(float)/1024/1024,words,size);
        return -1;
    }

    for(j = 0; j < words; j++)//words个词条每个词条坐标进行归一化
    {
        i = 0;
        while(true)
        {
            vocab[j*Max_w + i] = fgetc(f);
            if(feof(f) || vocab[j * Max_w + i] == ' ')break;
            if((i <Max_w)&&(vocab[j * Max_w + i] !='\n'))i++;
        }
        vocab[j * Max_w + i] = 0;
        for(i = 0;i < size ; i++ ) fread(&M[j * size + i],sizeof(float),1,f);
        len = 0;
        for(i = 0 ; i < size ; i++ ) len += M[j * size + i]*M[j * size + i];
        len = sqrt(len);
        for(i = 0 ; i < size ; i++ )  M[j * size + i] = M[j * size + i] / len; //坐标归一化
    }
    fclose(f);

    while(true)
    {
        for(i = 0 ; i < N ; i++ )
        {
            bestd[i] = 0;//N个词条距离初始为0
            bestw[i][0] = 0 ;//初始化
        }

        printf("Entor word or sentence(EXIT to break:)");

        i = 0;
        while(true)//键盘读入单个词条或多个词条  ；当字符数组超过Max_size -1 或者遇到回车符结束
        {
            stemp[i] = fgetc(stdin);
            if((stemp[i] == '\n')||(i >=Max_size -1))
            {
                stemp[i] = 0;
                break;
            }
        }
        if(!strcmp(stemp,"EXIT"))break;//如果输入的是"EXIT"，则退出

        num = 0 ;//用来统计键盘输入词条的数目
        j = 0;
        k = 0;
        while(true)
        {
            st[num][j++] = stemp[k++];
            st[num][j] = 0;
            if(stemp[k] ==0)break;//读完结束
            if(stemp[k++] == ' ')//遇到空格 词条数目+1
            {
                num++;//词条数目+1
                j = 0;
            }
        }

        num++;//词条的总数目

        //找出每个词条 最接近的N个词条
        for(i = 0 ; i < num ; i++)
        {
            for(j = 0 ; j < words ;j++)if(!strcmp(&vocab[j * Max_w],st[j]))break;//在总词条中找到这个词条,获得这个词条在总词条中的位置
            if(j == words)  j = -1;//这个词条不存在
            key[i] = j;
            printf("\nWord:%s Position in vocabulary: %lld\n",st[i],key[i]);

            if(j == -1)//这个词条不在这个词汇表中
            {
                printf("Out of dictionary word!\n");
                break;//终止循环
            }
        }

        if(j==-1)continue;//继续执行

         printf("\n                                              Word       Cosine distance\n");
         printf("------------------------------------------------------------------------\n");

         for(i = 0 ; i < size ; i++ ) vec[i] = 0;//距离初始化为0
         for(j = 0 ; j < num ; j++ ) //遍历每个词，如果输入多个词向量vec[i]是各个词向量的累加和
         {
             if(key[j] == -1)continue;
             for(i = 0 ; i < size ; i++ ) vec[i] += M[i + key[j]*size];      
         }

         len = 0;
         for(i = 0 ; i< size ; i++) len +=vec[i] * vec[i];
         len = sqrt(len);

         for(i = 0; i < size ; i++) vec[i] = vec[i] / len;//将vec归一化，当只输入一个词时，不起作用

         for(i = 0 ; i < N ; i++)
         {
             bestd[i] = -1;
             bestw[i][0] = 0;
         }

         //由于查询词和词汇表都做了归一化，所以余弦相似度等价于向量的内积，内机越大越相似
         for(k = 0 ; k < words ; k++)//遍历词汇表
         {
             i = 0;
             for(j = 0 ; j < num ; j++)//i的作用；如果遍历词和查询词相同，则跳过此词
             {
                 if(key[j] == k) i =1;
             }
             if(i == 1) continue;
             dist = 0;

             for(i = 0 ; i < N ; i++ )
             {
                 dist += vec[i] * M[k * size + i] ;
             }

             for(i = 0 ; i < N ; i++ )
             {
                 if(dist > bestd[i])
                 {
                     for(j = N-1 ; j > i ; j--)
                     {
                         bestd[j] = bestd[j - 1 ];
                         strcpy(bestw[j],bestw[j-1]);
                     }
                     bestd[j] = dist;
                     strcpy(bestw[i] , &vocab[k * Max_size]);
                     break;
                 }
             }
         }
         for(i = 0 ; i < N ; i++ )printf("%50s\t\t%f\n",bestw[i],bestd[i]);
    }
    return 0;
}