福大软工1816 · 第五次作业 - 结对作业2
软工实践-第五次作业-结对作业2
程晓宏
李翔
github
具体分工如下：
- 晓宏：爬取论文信息，爬虫实现的代码，程序测试环节，附加功能
- 李翔：命令行自定义参数，加权统计，词组统计，词频统计的功能代码
PSP表格
| PSP | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 60 | 90 |
| · Estimate | · 估计这个任务需要多少时间 | 20 | 20 |
| Development | 开发 | 400 | 160 |
| · Analysis | · 需求分析 (包括学习新技术) | 480 | 540 |
| · Design Spec | · 生成设计文档 | 180 | 60 |
| · Design Review | · 设计复审 | 60 | 120 |
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 60 | 100 |
| · Design | · 具体设计 | 100 | 90 |
| · Coding | · 具体编码 | 300 | 210 |
| · Code Review | · 代码复审 | 60 | 180 |
| · Test | · 测试（自我测试，修改代码，提交修改） | 120 | 120 |
| Reporting | 报告 | 30 | 20 |
| · Test Repor | · 测试报告 | 20 | 80 |
| · Size Measurement | · 计算工作量 | 15 | 15 |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 40 | 60 |
| | 合计 |1945 |1765
解题思路描述和设计实现说明
爬虫使用
- 最开始使用的爬虫工具是八爪鱼，简单上手快。但是爬的好慢，而且结果是导入到Excel文件中。还要对Excel文件进行处理，最终经过漫长的手动排版（吐血），完成了论文爬取。
- 八爪鱼爬取论文截图
- 到学校之后，经过舍友的点拨，在他们推荐下了解使用Java用jsoup包进行爬取，在学习jsoup以及HTML知识之后，参考网络上的爬虫代码，编写了Java爬取论文代码：
- Java爬虫代码
package cpvrpaper;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class CpvrPaper {
public static void getContent(String URL)
{
try
{
File file = new File("C:\\Users\\Administrator\\Desktop\\课程\\软件工程\\result1.txt");
BufferedWriter bi = new BufferedWriter(new FileWriter(file));
Document document1 = Jsoup.connect(URL)
.maxBodySize(0)
.timeout(600000)
.get();
Elements element3 = document1.select("[class=ptitle]");
Elements hrefs = element3.select("a[href]");
long count = 0;
for(Element element6:hrefs)
{
String url = element6.absUrl("href");
Document document2 = Jsoup.connect(url)
.maxBodySize(0)
.timeout(600000)
.get();
Elements elements1 = document2.select("[id=papertitle]");
String title = elements1.text();
bi.write(count+"\r\n");
bi.write("Title: "+title+"\r\n");
Elements elements2 = document2.select("[id=abstract]");
String abstract1 = elements2.text();
bi.write("Abstract: "+abstract1+"\r\n"+"\r\n"+"\r\n");
count++;
}
bi.close();
}catch(Exception e)
{
e.printStackTrace();
}
}
public static void main(String[] args) throws IOException
{
String url = "http://openaccess.thecvf.com/CVPR2018.py";
getContent(url);
}
}
代码组织和内部实现设计
类设计和程序框架如图
算法关键及流程图
最主要的三个函数
- count1()——字符数和行数统计
大致思路和作业一相同，略微做一些调整
- count2()——带权值的词频统计
增加了权值判断部分，标记sg用来标记当前单词所属哪一度分
- count3()——词组频率统计
思路：逐行读取，将每个单词分开存储到字符串数组中，然后按照所需长度将其取出，合并成词组，再进行统计。
附加题设计与展示
- 在改进了Java代码之后，增加了对作者和PDF下载链接的爬取，结果展示如下，详见GitHub result2.txt
- 为了直观的看到CVPR论文热点词汇，利用Python生成了热点词汇词云,结果展示如下
- 代码如下：
import wordcloud
from scipy.misc import imread
f = open("test.txt","r",encoding="utf-8")
mask = imread("D:\PCcode\羊.jpg")
t = f.read()
f.close()
w = wordcloud.WordCloud(width = 1000, height = 700 , background_color= "white",stopwords={"based","human","using","well","given","ale",\
"work","loss","the","for","in","of","with","by","in","and","to","on","are","from","as","is","which","we","that","this","two","it","one","can",\
"both","an","these","be","all","or","over","make" ,"such","while","use","also" },mask= mask)
w.generate(t)
w.to_file("cvprwordcloud5.png")
关键代码解释
- 自定义参数部分代码：通过赋值，形成类似开关的功能，将参数传入函数，调用需要的功能。
for (i = 0; i < nt; i++)
{
if ((**(argv + i)) == '-')
{
switch (*(*(argv + i) + 1))
{
case 'i':
in.open(argv[i + 1]);
break;
case 'o':
out.open(argv[i + 1]);
break;
case 'w':
if (argv[i + 1] == "1")
weight = 1;
else
weight = 0;
break;
case 'n':
sscanf_s(argv[i + 1], "%d", &topn);
break;
case 'm':
sscanf_s(argv[i + 1], "%d", &cpw);
break;
}
}
}
- 权重判断部分：设置sg,当读到Title时为1，说明这时读到的单词都是属于Title中的，当读到Abstract时为2，说明这以后读到的单词都是摘要里的。
if (stemp == "Title")
{
sg = 1;
}
if (stemp == "Abstract")
{
sg = 2;
}
// 只展示出部分代码
if (sg == 1)
{
My.insert(unordered_map<string, int>::value_type(stemp, 10));
}
if (sg == 2)
{
My.insert(unordered_map<string, int>::value_type(stemp, 1));
}
- 自定义词组长度统计：这一部分因为没有想到更好的办法了就只能暴力了。思路是逐行读取文本，将每个单词分开存储到字符串数组中，然后按照自定义词组长度将其取出，合并成词组，再进行统计。
while (ss >> stemp)
{
strarr[strnum] = stemp;//将每一行的单词逐个存入字符串数组中
strnum++;
}
for (int i = 0; i < strnum - cpw + 1; i++) //遍历strarr,每cpw个单词合并
{
cpwtp = "";
for (int j = 0; j < cpw; j++)
{
cpwtp += strarr[i + j];
if (j != cpw - 1)
cpwtp += ' ';
}
unordered_map<string, int>::iterator it = My3.find(cpwtp);
if (it == My3.end())
{
My3.insert(unordered_map<string, int>::value_type(cpwtp, 1));
}
else
{
My3[cpwtp]++;
}
for (int z = 0; z < 10000; z++)
strarr[z].clear();//清空
}
性能分析和改进
改进思路
- 在整个文本处理过程，最消费时间的就是单词或数组的存入和查询了。对于这一点，采用unordered_map容器进行存储。虽然空间复杂度大，但是时间复杂度低，当对大文本进行处理时，能节省更多的时间
- 对于词组统计方面，因为才用了二重循环，如果一次读入的单词量太多的话也会消耗大量的时间。这一点就有待改进了。
展示性能分析图和程序中消耗最大的函数
有权重统计时，排序功能函数占了最主要的性能
在进行词组统计时，毫无疑问词组的划分和统计占用了绝对的资源
单元测试
- 在单元测试时，没有在代码编程时就介入编写单元测试用例，导致了函数与单元测试的分离，单元测试编写时有一定困难。
- 编写了十个用例，分别测试了- w参数权重测试，- n 参数 自定义输出测试，- m 词组测试，字数测试，词数测试，行数测试，空白文档测试
- 部分代码：
TEST_CLASS(UnitTest1)
{
public:
TEST_METHOD(LineCounttest1)
{
char f[] = "C://Users//Administrator//source//repos//wordcount//Debug//input.txt";
ifstream in;
in.open(f);
WordCount wfc;
wfc.count1(in);
Assert::IsTrue(wfc.numLines == 12);
}
TEST_METHOD(CharCounttest1)
{
char f[] = "C://Users//Administrator//source//repos//wordcount//Debug//input.txt";
ifstream in;
in.open(f);
WordCount wfc;
wfc.count1(in);
Assert::IsTrue(wfc.numChar == 2977);
}
TEST_METHOD(WordCounttest1)
{
char f[] = "C://Users//Administrator//source//repos//wordcount//Debug//input.txt";
ifstream in;
int w = 0;
in.open(f);
WordCount wfc;
wfc.count1(in);
Assert::IsTrue(wfc.numWords == 281);
}
- 截图
GitHub的代签入记录
遇到的代码模块异常或结对困难及解决办法
- 结对过程中没有实现规定好代码规范，源码的注释不够详细
问题描述
- 问题1：结对过程中没有实现规定好代码规范，源码的注释不够详细，编码与测试分离
- 问题2：使用爬虫工具爬取速度慢，数据处理耗费时间，没有找到一款可以符合要求成品爬虫工具
- 问题3：英文人名分词不熟练，对文本的处理能力太弱
尝试和结果
- 针对问题1，在测试的时候，真的很痛苦，首先要理解代码，但是队友给的注释太少了，理解代码花了很久时间，最终还是靠沟通完成，再写单元测试的时候，因为编码和测试的分离，导致了函数的编写没有面对测试单元，函数接口不明显，这给测试带来了很大的麻烦。导致测试不是很全面，只能针对部分功能进行测试。
- 针对问题2，没有学习爬虫相关知识时，只在网上找了几款爬虫工具，但是效果都不怎么好，最后选择了八爪鱼作为爬虫工具，但是爬取速度太慢，爬了快3个小时，导出数据时不能自定义输出格式。对爬出后的Excel表格还要导出到txt进行数据处理！！天啊，我当时居然傻傻的人工排版，900多条，排到吐血。之后舍友给我介绍了jsoup包让我对照着网络上的爬虫样例学习，刚开始学习爬虫时很吃力，很多不懂，还要学习HTML的相关知识，在写爬虫时，舍友给了我很多帮助，感谢感谢（给你们加鸡腿）。最后用Java实现了爬虫爬取。
- 针对问题3，最初在考虑拓展功能实现时，有想到用Python的jieba库和wordcloud库进行相关可视化处理。之后发现了一款很有用的可视化工具gephi。这工具真的很强大，本来想把爬取出来的作者信息进行关联度处理，但是之前是做中文分词和中文人物的关系图，到了英文人名，处理就出了问题，想法实现不了，只能作罢。
收获
- 终于写出了单元测试！！！！！ 太感动了，第一次个人作业时单元测试老是出问题，只能手动测试，这次终于写了出来。
- 学习了爬虫的相关知识，对爬虫有了一些了解，数据处理能力真的太重要了！！！！特别是当数据量很大的时候，有一项拿得出手的数据处理技术真的重要。
- 对Python复习了一下，还了解了一款强大的数据可视化处理软件gephi，在以后可以利用这款软件做一些酷炫的图。
评价队友
- 队友很好，因为他负责功能模块编写，也是很辛苦，在测试时发现问题跟他反馈，都会认真听取意见并改正。在项目后期总结的时候也尽职尽责，很棒~两个人合作算是很愉快的。
学习进度条
| 第N周 | 新增代码（行） | 累计代码（行） | 本周学习耗时(小时) | 累计学习耗时（小时） | 重要成长 |
|---|---|---|---|---|---|
| 1 | 200 | 200 | 13 | 13 | C++基础复习，VS熟悉 |
| 2 | 0 | 200 | 10 | 23 | 墨刀使用，axure rp8熟悉，了解原型 |
| 3,4 | 300 | 500 | 12 | 25 | 了解爬虫，了解测试工作，Python复习，gephi的初级使用 |
