C++读取文件统计单词个数及频率
1.Github链接
GitHub链接地址https://github.com/Zzwenm/PersonProject-C2
2.PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | ||
| • Estimate | • 估计这个任务需要多少时间 | 480 | 720 |
| Development | 开发 | ||
| • Analysis | • 需求分析 (包括学习新技术) | 120 | 180 |
| • Design Spec | • 生成设计文档 | 30 | 40 |
| • Design Review | • 设计复审 | 40 | 60 |
| • Coding Standard | • 代码规范 (为目前的开发制定合适的规范) | 30 | 20 |
| • Design | • 具体设计 | 40 | 60 |
| • Coding | • 具体编码 | 150 | 180 |
| • Code Review | • 代码复审 | 120 | 180 |
| • Test | • 测试（自我测试，修改代码，提交修改） | 60 | 90 |
| Reporting | 报告 | ||
| • Test Repor | • 测试报告 | 60 | 40 |
| • Size Measurement | • 计算工作量 | 20 | 30 |
| • Postmortem & Process Improvement Plan | • 事后总结, 并提出过程改进计划 | 30 | 30 |
| 合计 | 700 | 910 |
3.计算模块接口的设计与实现过程
/*定义words用于记录单词数量*/
typedef struct {
string word;
int num;
}words;
/*定义一个容量用于存单词，方便后续的单词排序*/
vector<words> v;
/*定义类File记录.txt文件的信息*/
class File {
private:
int character; //字符数
int word; //单词数
string filename; //文件名
public:
File();
File(string s); //通过命令行传参获取filename
void get_character();
void get_word();
void get_mostword();
void get_all();
};
/*分别统计字符数、统计单词数和统计最多的10个单词及其词频*/
程序通过命令行传参获取.txt文件记录到filename中便于成员函数使用读取文件。在调用成员函数统计时直接将字符数、单词数记录到file中，单词及单词出现个数记录到words中并存入容量v中。
基本功能：
1.统计字符数
直接读取文件每个字符记录即可
file >> noskipws;// 记录所有字符
file >> temp;
while (!file.eof())
{
character++;
file >> temp;
}
2.统计单词数
由于单词有规定：至少以4个英文字母开头，跟上字母数字符号，单词以分隔符分割，不区分大小写。
所以需要对文件内容进行筛选，将每个字符连接起来记录到string s中char a[2] = { temp,0 };s += temp;，在每遇到一个分隔符进行一次筛选。判断单词长度是否超过三，且前四个字符要都为英文字母，符合条件则到容量v中查找是否有相同单词并记录次数。一直读取到文件末尾即可。
3.统计文件的有效行数：任何包含非空白字符的行，都需要统计。
设立一个变量用于统计每行非空白字符是否为零即可，非零即为有效行数。
4.统计文件中各单词的出现次数，最终只输出频率最高的10个。频率相同的单词，优先输出字典序靠前的单词。
在统计单词数时已经存到了容量v中，进行一次排序即可。可以利用sort函数对单词进行排序。
sort(v.begin(), v.end(), set_word);set_word为bool函数用于比较顺序
bool set_word(const words &a, const words &b) { if (a.num == b.num)return a.word<b.word;else return a.num>b.num; }
4.计算模块接口部分的性能改进
由于第一步实现基本功能时没有对基本功能进行分离，全部写在了同一部分中，所以需要从中分离出，删除掉没用的部分。字符统计可以直接提取出来写成一个函数，统计单词时只需要将字符统计部分删除掉结合class file统计即可。
5.计算模块部分单元测试展示。
TEST_METHOD(TestMethod1)
{
// TODO: 在此输入测试代码
myFile file("in.txt");
Assert::AreEqual(745,file.get_characters());
}
TEST_METHOD(TestMethod2)
{
// TODO: 在此输入测试代码
myFile file("in.txt");
Assert::AreEqual(72, file.get_words());
}
TEST_METHOD(TestMethod3)
{
// TODO: 在此输入测试代码
myFile file("in.txt");
Assert::AreEqual(11, file.get_lines());
}
测试出现问题失败了
经过多次测试发现将pch.cpp中的函数写在pch.h中就不会有报错。
上网查阅资料后发现在测试的cpp中加入
#include"../wordCount/pch.h"
#include"../wordCount/pch.cpp"
就可以解决问题。
Assert::AreEqual(2230243,file.get_characters());// 测字符数
Assert::AreEqual(232213, file.get_words());//测单词数
Assert::AreEqual(15744, file.get_lines());//测有效行数
测试
计算模块部分异常处理说明。
ifstream file(filename);
//添加错误提示说明 在读取文件失败时提示
if (!file)
{
cerr << "open error!" << endl;
exit(1);
}
感想
这次的代码及封装很早就完成实现了，大部分内容都需要在网上查阅资料学习，读取文件，输出文件，读取文件中的字符，单词的字典排序都需要上网学习一下，不过内容比较简单，很快就完成了。在封装的时候，由于个人的习惯，一直以来都没有面向对象的习惯，所以都将代码写在了main()函数中，所以在分离封装时又耗费了很久。同时也让我学会在编程时要学会封装接口，方便简洁。在弄单元测试时，新建测试时弄了预编译头，出现了意外的错误，上网查找了解决办法，修改了设置，弄得连最基本的调试都不能完成了。在修复后重新编写单元测试还是遇到这个问题，没有完成单元测试。在后续经过多次测试，终于找到了解决方法，也算是收获了单元测试。
