02 2020 档案

以王者荣耀游戏为例，描绘质量属性的六个常见属性场景
摘要：1.可用性 场景设想：用户想要在手机上玩 刺激源：用户 刺激：用户手机登录，进入游戏界面 环境：正常运行时 制品：天美工作室 响应：进入游戏界面 响应度量：5秒进入游戏界面 2.可修改性 场景设想：用户想要改变英雄皮肤 刺激源：用户 刺激：改变英雄皮肤 环境：正常运行时 制品：天美工作室 响应：用户 阅读全文
posted @ 2020-02-23 22:45 集 阅读(316) 评论(0) 推荐(0)
Java类对象转json字符串，servlet或js的json字符串转json对象或数组
摘要：Java类对象转json字符串： import com.google.gson.Gson; Gson gson2 = new Gson(); String list1 = gson2.toJson(类对象); servlet json字符串转json对象或数组： import com.google. 阅读全文
posted @ 2020-02-23 20:23 集 阅读(503) 评论(0) 推荐(0)
大三下每周总结--第一周
摘要：本周是开学的第一周，由于疫情期间在家里上了一周网课，在家里上网课，更加考验学生的自制能力，感觉自己第一周表现一般，些许地方偷懒等行为，后面我会注意，努力改正。 本周主要学习了，软件测试，软件架构，软件项目管理，操作系统，以及嵌入式的一些知识。 还进行了爬虫练习，以及数据处理，echars中国地图生成 阅读全文
posted @ 2020-02-23 20:20 集 阅读(149) 评论(0) 推荐(0)
阅读架构漫谈九篇博客有感-1500字
摘要：架构漫谈是由资深架构师王概凯撰写的系列专栏，逐步讨论什么是架构、怎样做好架构、软件架构如何落地、如何写好程序等问题。 架构漫谈分为九篇： 什么是架构？ 认识概念是理解架构的基础 如何做好架构之识别问题 如何做好架构之架构切分 什么是软件 软件架构到底是要解决什么问题？ 不要空设架构师这个职位，给他实 阅读全文
posted @ 2020-02-19 18:39 集 阅读(138) 评论(0) 推荐(0)
大三上寒假15天--第15天
摘要：今天webmaigic爬虫又学了一个小技巧，想要自己设计保存爬取内容形式，可以不用重写Pipeline，在process()方法中写上，你想要的保存操作，多数情况可以达到相同的效果，我的爬虫程序，想要将内容保存在一个txt中，就是这么实现的，个人感觉简单很多，也是看了网上的高手的文章，才学到了这个技 阅读全文
posted @ 2020-02-15 21:33 集 阅读(162) 评论(0) 推荐(0)
大三上寒假15天--第14天
摘要：今天依旧学习了webmagic爬虫，发现昨天爬取的网址不对，内容也不对，重新找了一个网址爬取，重新整理了思路，发现这个网址，分为三种类型的链接，建议，咨询和一个什么记不清了，需要先判断类型，然后才能分配Id，然后加入url队列。 这个网址的一大难点，就是分页是一个POST传值，然后动态的修改了网页内 阅读全文
posted @ 2020-02-15 01:25 集 阅读(104) 评论(0) 推荐(0)
大三上寒假15天--第13天
摘要：经过今天的摸索，终于完成了首都之窗信件的爬取代码，昨天的代码共有两处错误导致无法达到爬取目的。 page.addTargetRequests(page.getHtml().link().regex().all());应该为：page.addTargetRequests(page.getHtml(). 阅读全文
posted @ 2020-02-14 00:37 集 阅读(134) 评论(0) 推荐(0)
大三上寒假15天--第12天
摘要：今天继续学习webmagic 已经可以爬取出目录和跳转去信件的页面，不知道是一直有还是后来加的，现在好像多了哥跳转中页面，目录给的链接不是直接的信件页面，所以我还需要再加一条爬取跳转中页面的提供的url然后访问，才可以爬取信件内容，但是不知道是正则表达式的问题还是什么，总之爬取不到想要的url一直是 阅读全文
posted @ 2020-02-12 23:25 集 阅读(240) 评论(0) 推荐(0)
大三上寒假15天--第11天
摘要：今天继续学习webmagic爬虫 通过老师给的学习资料学习后，对webmagic爬虫基本有了了解，当时对site方法有点模糊，今天也终于搞明白了，感觉就像模拟了一个用户一样，对一个网站的框架还是不是很了解，所以还是不太理解，那些cookie，host，UserAgent，和header是什么，不过我 阅读全文
posted @ 2020-02-11 23:40 集 阅读(151) 评论(0) 推荐(0)
大三上寒假15天--第10天
摘要：今天继续学习webmagic爬虫技术，组件包含： 1.Downloader Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。 2.PageProcessor PageProcessor负责解析页面，抽取有用信息，以及 阅读全文
posted @ 2020-02-10 23:57 集 阅读(126) 评论(0) 推荐(0)
大三上寒假15天--第9天
摘要：无可奈何，昨天的问题无法解决，只能把从安装spark重新开始，下载和作者相同的版本，版本如下： 暂时还没有找到，今天还学习了，webmagic爬虫，进行了环境的配置。 作者给的 wget http://192.168.1.100:60000/allfiles/second/edu1/webmagic 阅读全文
posted @ 2020-02-09 23:28 集 阅读(137) 评论(0) 推荐(0)
大三上寒假15天--第8天
摘要：安装教程下载spark与eclipse连接插件一直报错host not found，是因为虚拟机的问题，上不去那个下载网址吗？ 今天还学习了eclipse爬虫，但是虚拟机在下载插件，没有去配置，只能看，不能练，发现爬虫都是根据url，和XPath、正则表达式和CSS选择器来进行爬区，还有一些间隔，等 阅读全文
posted @ 2020-02-08 17:54 集 阅读(102) 评论(0) 推荐(0)
大三上寒假15天--第7天
摘要：Scala安装 sudo tar -zxf ~/下载/scala-2.11.8.tgz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo mv ./scala-2.11.8/ ./scala # 将文件夹名改为scala sudo chown -R 阅读全文
posted @ 2020-02-07 20:30 集 阅读(137) 评论(0) 推荐(0)
大三上寒假15天--第6天
摘要：昨天那个并不是正确的，我换回来后突然好了。 阅读全文
posted @ 2020-02-06 21:19 集 阅读(84) 评论(0) 推荐(0)
大三上寒假15天--第5天
摘要：昨天的下载完成后运行报错，应该是下载的spark版本和教程不符合，然后pom.xml文件中的spark-core内容而应该不同，但是我还是用的教程导致，现在正在尝试安装教程给的网站找的内容又下载中，不知道这次又要下载多久。（我下载的是spark 2.4.4） <?xml version="1.0" 阅读全文
posted @ 2020-02-05 23:21 集 阅读(118) 评论(0) 推荐(0)
大三上寒假15天--第4天
摘要：继昨天 运行成功 大数据原理与应用 第十六章 Spark 学习指南 今天进行Java独立应用编程 1.安装maven sudo unzip ~/下载/apache-maven-3.3.9-bin.zip -d /usr/local cd /usr/local sudo mv apache-maven 阅读全文
posted @ 2020-02-04 22:01 集 阅读(197) 评论(0) 推荐(0)
大三上寒假15天--第3天
摘要：学习于大数据原理与应用 第十六章 Spark 学习指南 三、独立应用程序编程 2.Scala应用程序代码 cd ~ # 进入用户主文件夹 mkdir ./sparkapp # 创建应用程序根目录 mkdir -p ./sparkapp/src/main/scala # 创建所需的文件夹结构 vim 阅读全文
posted @ 2020-02-03 18:20 集 阅读(128) 评论(0) 推荐(0)
大三上寒假15天--第2天
摘要：学习于林子雨编著《大数据技术原理与应用》教材配套大数据软件安装和编程实践指南 三、独立应用程序编程 第一步，安装sbt sudo mkdir /usr/local/sbt //创建文件夹 sudo chown -R hadoop /usr/local/sbt # 此处的 hadoop 为你的用户名 阅读全文
posted @ 2020-02-02 19:10 集 阅读(96) 评论(0) 推荐(0)
大三上寒假15天--第1天
摘要：学习于林子雨《大数据技术原理与应用》教材配套大数据软件安装和编程实践指南 一. 安装spark 第一步，spark下载（http://spark.apache.org/downloads.html） 第二步，spark压缩包解压 sudo tar -zxf ~/下载/spark-1.6.2-bin- 阅读全文
posted @ 2020-02-01 22:32 集 阅读(137) 评论(0) 推荐(0)