统计单词（续）

题目：

第1步：输出单个文件中的前 N 个最常出现的英语单词。
功能1：输出文件中所有不重复的单词，按照出现次数由多到少排列，出现次数同样多的，以字典序排列。
功能2：指定文件目录，对目录下每一个文件执行统计的操作。
功能3：指定文件目录，是会递归遍历目录下的所有子目录的文件进行统计单词的功能。
功能4：输出出现次数最多的前 n 个单词，
例如，提示统计统计前多少名：输入10。就是输出最常出现单词的前 10 名。当没有指明数量的时候，我们默认列出所有单词的频率。
第2步：第二步: 支持 stop words
在一本小说里，频率出现最高的单词一般都是 "a", "it", "the", "and", "this", 这些词，可以做一个 stop word 文件（停词表），在统计词汇的时候，跳过这些词。我们把这个文件叫 "stopwords.txt" file.

第3步: 想看看常用的短语是什么，怎么办呢？
先定义短语："两个或多个英语单词，它们之间只有空格分隔". 请看下面的例子：

　　hello world //这是一个短语

　　hello, world //这不是一个短语

同一频率的词组，按照字典序来排列。
第四步：把动词形态都统一之后再计数。
想找到常用的单词和短语，但是发现英语动词经常有时态和语态的变化，导致同一个词，同一个短语却被认为是不同的。怎么解决这个问题呢？
假设我们有这样一个文本文件，这个文件的每一行都是这样构成：
动词原型动词变形1 动词变形2... ，词之间用空格分开。
e.g. 动词 TAKE 有下面的各种变形：take takes took taken taking
我们希望在实现上面的各种功能的时候，有一个选项，就是把动词的各种变形都归为它的原型来统计。
功能支持动词形态的归一化

设计思想：

自己在实现第一步时，思路不清楚，网上寻找了一种自己感觉特别好的思路。

利用两个不同的文件来分别实现文件的读取以及输出到文件，利用哈希表来对读取的文件数据进行存储，自己对哈希表的掌握真的太不熟练，在小学期时，应该对数据结构深入研究了。

源代码：

zhu1.java（读取文件）

package ceshi;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Scanner;
 
 
public class zhu1 {
 
 
public static String StatList(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打开一个哈希表
    String[] slist = str.split("[^a-zA-Z\']+");
    for (int i = 0; i < slist.length; i++)
    {
        if (!has.containsKey(slist[i]))
        {
               has.put(slist[i], 1);
        }
        else
        {
               has.put(slist[i],has.get(slist[i])+1 );
        }
    }
    Iterator<String> iterator = has.keySet().iterator();
    String a[]=new String[100];
    int s[]=new int[100];
    int n=15;
    int judge;
    Scanner in=new Scanner(System.in);
    System.out.println("输入你想要的前n个最常出现的单词个数:");
    n=in.nextInt();
    
    
    for(int i=0;i<n;i++)
    {
        iterator = has.keySet().iterator();
        while(iterator.hasNext())
        {
            String word = (String) iterator.next();
            if(s[i]<has.get(word))
            {
                s[i]=has.get(word);
                a[i]=word;
            }
         }
        judge=woor(a[i]);
        if(judge==1)
        {
           n++;
            has.remove(a[i]);
        }
        else
        {
         sb.append("单词：").append(a[i]).append(" 次数").append(has.get(a[i])).append("\r\n");
         has.remove(a[i]);
        }
    }
         return sb.toString();
    }
 
 
    public static void main(String[] args)
    {
        File file = new File("F:\\文件");
        ArrayList<String> fil=getDirectory(file);//目录下的文件和子目录里的文件
        for(int i=0;i<fil.size();i++)
        {
        String filePath = fil.get(i);
        //String filePath = "d:\\文件\\单词.txt";
        String sz=zhu2.readTxtFile(filePath);
        String ltxt=null;
        System.out.println(ltxt=StatList(sz));
        try {
        zhu2.daochu(ltxt);
        } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
        }
        }
         
    }
     
    public static int woor(String a)
    {
        int n=0;
        String[] biao= {"a","the","an","and"};
        for(int i=0;i<biao.length;i++)
        {
            if(biao[i].equals(a))
            {
                n=1;
            }
        }
        return n;
    }
     
    public static ArrayList<String> getFiles(String path) {
        ArrayList<String> files = new ArrayList<String>();
        File file = new File(path);
        File[] tempList = file.listFiles();
        for (int i = 0; i < tempList.length; i++) {
            if (tempList[i].isFile()) {
                files.add(tempList[i].toString());
            }
            if (tempList[i].isDirectory()) {
            }
        }
        return files;
    }
     
    private static ArrayList<String> getDirectory(File file) {
        ArrayList<String> files = new ArrayList<String>();
        ArrayList<String> files1 = new ArrayList<String>();
        //获取该目录下的文件列表
        File flist[] = file.listFiles();
        for (File f : flist) {
            if (f.isDirectory()) {
                // 如果f是一个目录
                files1=getFiles(f.getAbsolutePath());
                files.addAll(files1);
                
                getDirectory(f);
            } else {
                //如果f是一个文件
                files.add(f.getAbsolutePath());
            }
        }
        return files;
    }
 
 
}




zhu2.java(文件输出)
package ceshi;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Scanner;
 
 
public class zhu1 {
 
 
public static String StatList(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打开一个哈希表
    String[] slist = str.split("[^a-zA-Z\']+");
    for (int i = 0; i < slist.length; i++)
    {
        if (!has.containsKey(slist[i]))
        {
               has.put(slist[i], 1);
        }
        else
        {
               has.put(slist[i],has.get(slist[i])+1 );
        }
    }
    Iterator<String> iterator = has.keySet().iterator();
    String a[]=new String[100];
    int s[]=new int[100];
    int n=15;
    int judge;
    Scanner in=new Scanner(System.in);
    System.out.println("输入你想要的前n个最常出现的单词个数:");
    n=in.nextInt();
    
    
    for(int i=0;i<n;i++)
    {
        iterator = has.keySet().iterator();
        while(iterator.hasNext())
        {
            String word = (String) iterator.next();
            if(s[i]<has.get(word))
            {
                s[i]=has.get(word);
                a[i]=word;
            }
         }
        judge=woor(a[i]);
        if(judge==1)
        {
           n++;
            has.remove(a[i]);
        }
        else
        {
         sb.append("单词：").append(a[i]).append(" 次数").append(has.get(a[i])).append("\r\n");
         has.remove(a[i]);
        }
    }
         return sb.toString();
    }
 
 
    public static void main(String[] args)
    {
        File file = new File("F:\\文件");
//      // TODO Auto-generated method stub
//      ArrayList<String> fil=getFiles("d:\\文件");//目录下的文件
        ArrayList<String> fil=getDirectory(file);//目录下的文件和子目录里的文件
        for(int i=0;i<fil.size();i++)
        {
        String filePath = fil.get(i);
        //String filePath = "d:\\文件\\单词.txt";
        String sz=zhu2.readTxtFile(filePath);
        String ltxt=null;
        System.out.println(ltxt=StatList(sz));
        try {
        zhu2.daochu(ltxt);
        } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
        }
        }
         
    }
     
    public static int woor(String a)
    {
        int n=0;
        String[] biao= {"a","the","an","and"};
        for(int i=0;i<biao.length;i++)
        {
            if(biao[i].equals(a))
            {
                n=1;
            }
        }
        return n;
    }
     
    public static ArrayList<String> getFiles(String path) {
        ArrayList<String> files = new ArrayList<String>();
        File file = new File(path);
        File[] tempList = file.listFiles();
        for (int i = 0; i < tempList.length; i++) {
            if (tempList[i].isFile()) {
                files.add(tempList[i].toString());
            }
            if (tempList[i].isDirectory()) {
            }
        }
        return files;
    }
     
    private static ArrayList<String> getDirectory(File file) {
        ArrayList<String> files = new ArrayList<String>();
        ArrayList<String> files1 = new ArrayList<String>();
        //获取该目录下的文件列表
        File flist[] = file.listFiles();
        for (File f : flist) {
            if (f.isDirectory()) {
                // 如果f是一个目录
                files1=getFiles(f.getAbsolutePath());
                files.addAll(files1);
                
                getDirectory(f);
            } else {
                //如果f是一个文件
                files.add(f.getAbsolutePath());
            }
        }
        return files;
    }
 
 
}

运行截图：

posted @ 2019-05-12 21:26 祺&Qi 阅读(184) 评论(0) 收藏举报

刷新页面返回顶部

祺&Qi

统计单词（续）

题目：

设计思想：

源代码：

运行截图：

公告