错与对并不是绝对的

摘要：大型网站架构模式 关于什么是模式，这个来自建筑学的词汇是这样定义的:“每一个模式描述了一个在我们周围不断重复发生的问题及该问题解决方案的核心。这样，你就能一次又一次地使用该方案而不必做重复工作"。模式的关键在于模式的可重复性，问题与场景的可重复性带来解决方案的可重复使用。 网站架构模式 为了解决大型 阅读全文

摘要：六个最常见的系统质量属性分别是：可用性（Availability）、可修改性（Modifiability）、性能（Performance）、安全性（Security）、可测试性（Testability）、易用性（Usability） 以淘宝网为例： （1）可用性（Availability） 可用性是 阅读全文

摘要：看了漫谈架构，首先理解了什么是架构和为什么会产生架构。架构实际上就是指人们根据自己对世界的认识，为解决某个问题，主动地、有目的地去识别问题，并进行分解、合并，解决这个问题的实践活动。架构实际上解决的是人的问题。 什么是软件架构？软件因为流量增大而分拆成不同的运行单元，在不同的机器上部署所形成的架构， 阅读全文

摘要：在b站看了些学习视频，但是自己动手没弄出啥成果来，尴尬... 阅读全文

摘要：实验 6 Spark Streaming 编程初级实践 一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 阅读全文

摘要：实验 5 Spark SQL 编程初级实践 一、实验目的 （1）通过实验掌握 Spark SQL 的基本编程方法； （2）熟悉 RDD 到 DataFrame 的转化方法； （3）熟悉利用 Spark SQL 管理来自不同数据源的数据。 二、实验平台 操作系统： Ubuntu16.04 Spark 阅读全文

摘要：实验 4 RDD 编程初级实践 一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark 版本：2.1.0 三、实验内容和要求 1．spark-shell 交互式编程 下 阅读全文

摘要：把昨天剩余的Scala基础编程做了，也按要求做了下一个实验的内容 3. 统计学生成绩 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要 阅读全文

摘要：看了看汤家凤老师的考研数学，讲的挺好的 还做了Scala的初级编程实验 一、实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构 阅读全文

摘要：今天继续研究了爬虫 遇到了一些问题，各种查阅资料才得以解决。 response.xpath.extract()爬取的值里面含有\r\n\t，如何去掉呢？需要normalize-space()比如:response.xpath('//div[@class=""]/text()').extract()使 阅读全文

摘要：今天终于把上一个程序优化了，会在scrapy中使用json了，在scrapy中使用post方法也把我卡住了，也是费了好大好大的劲 阅读全文

摘要：想把上一个程序优化优化，结果JSON 格式的内容太难弄了，弄了一天也没优化成功，也是用phantomjs弄来着，也是失败了... 阅读全文

摘要：学了使用scarpy框架进行爬虫，爬取了某网站的部分信息。 部分代码： # -*- coding: utf-8 -*- import scrapy from dangdang01.items import Dangdang01Item from scrapy.http import Request 阅读全文

摘要：今天在虚拟机上安装sbt和maven，按着林子雨老师的教程来的，也不知道是什么原因老出问题，到现在也没解决好。还学一些简单的爬虫知识。 阅读全文

摘要：今天学习了Scala的剩余的基础内容和安装了spark、sbt。 Scala 函数声明格式： def functionName ([参数列表]) : [return type] Scala 函数定义格式： def functionName ([参数列表]) : [return type] = { f 阅读全文

摘要：首先，关于我那个出问题的虚拟机，我放弃了原来那个Ubuntukylin16.04的系统了，今天换了个新的Ubuntukylin18.04的系统，好吧，闪屏的问题终于没有了，我太高兴了， 然后有一些其他的问题， 如：因为没有vim，就用的vi命令进入的编辑模式，然后使用方面键，光标并不移动而是出现AB 阅读全文

摘要：今天我还是先整的我的虚拟机，重新安装了好多次都失败了，还是那样一直闪屏，我怀疑是不是我的Ubuntu系统有问题，明天弄个新的Ubuntu系统试一试。 今天学了进的Python知识，以下是做的笔记 运算符 运算符可以对一个值或多个值进行运算或各种操作运算符的分类：1.算术运算符2.赋值运算符3.关系运 阅读全文

摘要：因为一直用着那个虚拟机存在一些无法解决的问题，所以我重新安装了新的虚拟的，但是，新安装的这个总是闪屏，目前还没有解决。 弄几乎一整天的虚拟机也没正好，后来就学了一些python的基础内容。 如下是我做的笔记： 基本语法1.python中严格区分大小写2.python中每一行就是一条语句，每条语句一换 阅读全文