福大软工1816 · 第二次作业 - 个人项目
1.在文章开头给出Github项目地址。
git项目地址：https://github.com/Stellaaa18/personal-project
2.给出PSP表格。
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 10 | 15 |
| · Estimate | · 估计这个任务需要多少时间 | 10 | 15 |
| Development | 开发 | 360 | 800 |
| · Analysis | · 需求分析 (包括学习新技术) | 90 | 120 |
| · Design Spec | · 生成设计文档 | 20 | 30 |
| · Design Review | · 设计复审 | 10 | 10 |
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 10 | 10 |
| · Design | · 具体设计 | 20 | 30 |
| · Coding | · 具体编码 | 120 | 240 |
| · Code Review | · 代码复审 | 30 | 120 |
| · Test | · 测试（自我测试，修改代码，提交修改） | 60 | 240 |
| Reporting | 报告 | 70 | 260 |
| · Test Repor | · 测试报告 | 30 | 220 |
| · Size Measurement | · 计算工作量 | 10 | 10 |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 30 | 30 |
| | 合计 |440 |1075
3.解题思路描述。即刚开始拿到题目后，如何思考，如何找资料的过程。
程序要求读入一个文本文件，统计该文件的字符数，单词数，有效行数以及输出词频最高的10个单词。我是用正则表达式做的，按行从文件读取内容，每当匹配到一个符合条件的单词时，就将其存进map里面。然后遍历map，将单词及其出现次数放到vector里面，排序输出词频最高的10个单词。
4.设计实现过程。设计包括代码如何组织，比如会有几个类，几个函数，他们之间关系如何，关键函数是否需要画出流程图？单元测试是怎么设计的？
关于代码结构
第一次写的时候，我是分成了以下几个函数,写在同一个源文件里面。
- CountChar() : 用于统计文件的字符个数
- CountLines() : 统计文件的有效行数
- CountWords() : 统计有效单词个数
- WordsFrequency() : 统计各个单词出现的次数，并将词频最高的10个单词输出到result.txt文件中
后面看到接口封装的要求，参考了赵畅同学的代码组织结构。
工程框架图如下：
设计的单元测试如下：
| 单元测试名称 | 测试内容 | 测试函数 | 测试结果 |
|---|---|---|---|
| AllEmptyChar | 统计空白字符（空格，换行符，制表符） | CountChar() | 通过 |
| OtherASCII | 统计非数字字母的ascii码符号 | CountChar() | 通过 |
| IncludeEmptyLines | 统计含有空行的文件的行数 | CountLines() | 通过 |
| NotValidWords | 文本都是无效单词（例如abc，123file） | CountWords() | 通过 |
| WordSperator | 分隔符是其他ascii字符（例如"?","!","$"） | CountWords() | 修改后通过 |
| EmptyFile | 测试空文件 | CountChar(),CountLines(),CountWords() | 通过 |
| CaseInsentitive | 测试是否不区分大小写（file和FILE为同一个单词） | WordsFreq() | 通过 |
| CheckOrder | 词频相同时是否按字典序 | WordsFreq(),TopTenWords() | 通过 |
以下部分单元测试代码：
namespace EmptyFile//测试空文件
{
TEST_CLASS(UnitTest1)
{
public:
TEST_METHOD(TestMethod1)
{
char filename[105] = "EmptyFile.txt";
int characters = CountChar(filename);
int lines = CountLines(filename);
int words = CountWords(filename);
Assert::IsTrue(characters == 0 && lines == 0 && words == 0);
}
};
}
extern map<string, int> M;
namespace CaseInsentitive //测试是否不区分大小写
{
TEST_CLASS(UnitTest1)
{
public:
TEST_METHOD(TestMethod1)
{
char filename[105] = "CaseInsentitive.txt";
init();
WordsFreq(filename);
map<string, int>::iterator it = M.begin();
Assert::AreEqual(it->second, 3);
}
};
}
5.记录在改进程序性能上所花费的时间，描述你改进的思路，并展示一张性能分析图（由VS 2017的性能分析工具自动生成），并展示你程序中消耗最大的函数。
将main()函数循环执行10000次，得到的结果如下：
程序一共运行了44.21秒，消耗最大的是CountWor（）函数。从这张图可以看到，正则表达式有关的函数regex_serch和迭代器matcher消耗的时间也很大，紧跟在main()函数之后。
从下图可以看出，CountWord()函数里面有很多和正则表达式相关的操作，故而消耗的时间大。
代码覆盖率截图
从图中可以看出，除了分析命令行参数的函数AnalyseParameter(int argc, char **argv)代码覆盖率较低外，其他的覆盖率都很高。因为AnalyseParameter(int argc, char **argv)主要用来处理异常情况，而测试时用的样例大部分传参是正确的，故该函数覆盖率较低。
6.代码说明。展示出项目关键代码，并解释思路与注释说明。
在计算单词频率时，用到了正则表达式，参考了这篇文章C++语言，统计一篇英文文章中的单词数（用正则表达式实现）
具体代码如下：
string str;
regex rx("\\b[a-zA-Z]{4}[a-zA-Z0-9]*");//至少以四个英文字母开头
while (getline(file, str)) {
smatch m;
while (regex_search(str, m, rx)) {
string s = m[0];
for (int i = 0; s[i] != '\0'; i++) {
if (s[i] >= 'A'&&s[i] <= 'Z') s[i] += 32;//大写转小写
}
M[s]++;//将转换成小写的有效单词存进map里
str = m.suffix().str();
}
}
然后将map里的内容复制到vector里面，直接排序输出前10个词。
for (auto x : M) {
ans.push_back(x);
}
sort(ans.begin(), ans.end(), cmp);//排序
int count = 10;
//输出词频最高的10个单词
ofstream fout("result.txt");
for (auto x : ans) {
if (!count) break;
fout << "<" << x.first << ">: " << " " << x.second << endl;//输出到文件
count--;
}
fout.close();
异常处理
int AnalyseParameter(int argc, char **argv)
{
if (argc != 2) { //传入参数有误时，会给出提示
cout << "argument error.\n";
return -1;
}
ifstream fin(argv[1]);
if (!fin) { //若该文件不存在，也会报错
cout << "can't open the file.\n";
return -1;
}
return 1;
}
7.结合在构建之法中学习到的相关内容与个人项目的实践经历，撰写解决项目的心路历程与收获。
一开始拿到题目时，其实是有点慌的，不知道要从哪里开始做。后面冷静下来，一步步分析，先把主要核心功能细分成统计字符数，行数，单词数及计算词频四个部分，一个个写出来。后面再写个函数解析命令行参数，至此基本功能都已经完成了，然后就剩下单元测试和性能改进了。
这次项目最大的收获就是，遇到难题不应该害怕，分成一个个更小的任务，逐个去解决，好像也没想象中那么困难。
8.Refrence
用正则表达式统计单词数: https://www.bbsmax.com/A/A2dmM8qgde/
赵畅同学博客: http://www.cnblogs.com/ZCplayground/p/9607027.html
