10 2018 档案

spark性能优化-JVM虚拟机垃圾回收调优
摘要:1 2 3 4 阅读全文

posted @ 2018-10-30 22:53 moonlight.ml 阅读(285) 评论(0) 推荐(0)

Linux 合并多个txt文件到一个文件
摘要:Linux 或 类Unix 下实现合并多个文件内容到一个文件中 代码如下 阅读全文

posted @ 2018-10-30 12:49 moonlight.ml 阅读(8054) 评论(0) 推荐(0)

linux下文件的复制、移动与删除
摘要:linux下文件的复制、移动与删除命令为:cp,mv,rm 一、文件复制命令cp 二、文件移动命令mv Linux当前目录所有文件移动到上一级目录 mv * ../ 三、文件删除命令rm 阅读全文

posted @ 2018-10-30 12:38 moonlight.ml 阅读(186) 评论(0) 推荐(0)

031_spark架构原理
摘要:spark核心组件 driver master worker executor task(只有task是线程) 核心组件的原理图解 阅读全文

posted @ 2018-10-29 11:02 moonlight.ml 阅读(182) 评论(0) 推荐(0)

Scala基础篇-05求值策略
摘要:Scala的求值策略有2种: call by value call by name 如何区分? 例子: 阅读全文

posted @ 2018-10-29 10:08 moonlight.ml 阅读(120) 评论(0) 推荐(0)

Scala基础篇-04 try表达式
摘要:1.try表达式 定义 2.match表达式 阅读全文

posted @ 2018-10-29 09:45 moonlight.ml 阅读(592) 评论(0) 推荐(0)

面试题12-旋转数组的最小值
摘要:题目描述 把一个数组最开始的若干个元素搬到数组的末尾,我们称之为数组的旋转。 输入一个非减排序的数组的一个旋转,输出旋转数组的最小元素。 例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转,该数组的最小值为1。 NOTE:给出的所有元素都大于0,若数组大小为0,请返回0。 思路 考虑数 阅读全文

posted @ 2018-10-28 10:04 moonlight.ml 阅读(387) 评论(0) 推荐(0)

scala基础篇-03 if与for
摘要:一、Scala中的if是表达式** 1.定义方式 2.例子 二、for 的用法 1.定义方式: 2.例子: 阅读全文

posted @ 2018-10-28 09:46 moonlight.ml 阅读(228) 评论(0) 推荐(0)

Scala基础篇-02函数与代码块
摘要:1.block 代码块也是表达式,其最终求得的值是最后一个表达式的值。 {exp1;exp2} { exp1 exp2 } 2.function 3.例子 利用字符串插值特性:s"...${...}..." 省略花括号: 阅读全文

posted @ 2018-10-28 09:22 moonlight.ml 阅读(366) 评论(0) 推荐(0)

Scala基础篇-01变量,数据类型
摘要:一、Scala变量 共有3种变量修饰符: val: 可变 var: 不可变 lazy val: 第一次应用时才计算 二、Scala的数据类型 1)类型不匹配:高精度数值赋给低精度数据类型。 2)Unit相当于Java中的void。 3)string新特性(就是Java中的String,但在Scala 阅读全文

posted @ 2018-10-28 00:11 moonlight.ml 阅读(188) 评论(0) 推荐(0)

Scala基础篇-函数式编程的重要特性
摘要:1.纯函数 表示函数无副作用(状态变化)。 2.引用透明性 表示对相同输入,总是得到相同输出。 3.函数是一等公民 函数与变量、对象、类是同一等级。表示可以把函数当做参数传入另一个函数,或者作为函数的返回值,甚至可以在一个函数中定义另一个函数。 4.高阶函数的定义 参数是函数,或者返回值是函数。 5.闭包 6.表达式求值 包括严格求值和非严格求值两种。 7.... 阅读全文

posted @ 2018-10-27 23:32 moonlight.ml 阅读(213) 评论(0) 推荐(0)

面试题11-求数值的整数次方
摘要:题目描述 给定一个double类型的浮点数base和int类型的整数exponent。求base的exponent次方。 代码 import java.lang.Math; public class Solution { public double Power(double base, int ex 阅读全文

posted @ 2018-10-27 18:04 moonlight.ml 阅读(110) 评论(0) 推荐(0)

面试题-10-3-矩形覆盖
摘要:题目描述 我们可以用2*1的小矩形横着或者竖着去覆盖更大的矩形。请问用n个2*1的小矩形无重叠地覆盖一个2*n的大矩形,总共有多少种方法? 思路 递归或者递推,找规律。 代码 public class Solution { public int RectCover(int target) { whi 阅读全文

posted @ 2018-10-26 12:09 moonlight.ml 阅读(120) 评论(0) 推荐(0)

10.24
摘要:Hadoop YARN中内存和CPU两种资源的调度和隔离 http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-memory-cpu-scheduling/ 阅读全文

posted @ 2018-10-24 15:06 moonlight.ml 阅读(113) 评论(0) 推荐(0)

spark on yarn模式下内存资源管理(笔记2)
摘要:1.spark 2.2内存占用计算公式 https://blog.csdn.net/lingbo229/article/details/80914283 2.spark on yarn内存分配** 本文转自:http://blog.javachen.com/2015/06/09/memory-in- 阅读全文

posted @ 2018-10-22 22:56 moonlight.ml 阅读(853) 评论(0) 推荐(0)

spark on yarn模式下内存资源管理(笔记1)
摘要:问题:1. spark中yarn集群资源管理器,container资源容器与集群各节点node,spark应用(application),spark作业(job),阶段(stage),任务(task)之间的关系。2. 在yarn集群资源管理器下,提交一个spark应用之后,经过怎样的资源分配,最后为 阅读全文

posted @ 2018-10-22 22:48 moonlight.ml 阅读(1092) 评论(1) 推荐(1)

面试题10.3-变态跳台阶
摘要:题目 一只青蛙一次可以跳上1级台阶,也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。 代码 阅读全文

posted @ 2018-10-22 00:43 moonlight.ml 阅读(114) 评论(0) 推荐(0)

面试题10.2-青蛙跳
摘要:题目一只青蛙一次可以跳上1级台阶,也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法(先后次序不同算不同的结果)。 代码 阅读全文

posted @ 2018-10-22 00:14 moonlight.ml 阅读(158) 评论(0) 推荐(0)

面试题9-斐波那契数列
摘要:题目 大家都知道斐波那契数列,现在要求输入一个整数n,请你输出斐波那契数列的第n项(从0开始,第0项为0)。n<=39 代码 大家都知道斐波那契数列,现在要求输入一个整数n,请你输出斐波那契数列的第n项(从0开始,第0项为0)。n<=39 阅读全文

posted @ 2018-10-21 23:26 moonlight.ml 阅读(187) 评论(0) 推荐(0)

面试题9-用两个栈来实现一个队列,完成队列的Push和Pop操作
摘要:题目 用两个栈来实现一个队列,完成队列的Push和Pop操作。 队列中的元素为int类型。 思路: 一个栈压入元素,而另一个栈作为缓冲,将栈1的元素出栈后压入栈2中 代码 用两个栈来实现一个队列,完成队列的Push和Pop操作。 队列中的元素为int类型。 一个栈压入元素,而另一个栈作为缓冲,将栈1 阅读全文

posted @ 2018-10-21 23:02 moonlight.ml 阅读(662) 评论(0) 推荐(0)

面试题6:输入一个链表,按链表值从尾到头的顺序返回一个ArrayList
摘要:题目 输入一个链表,按链表值从尾到头的顺序返回一个ArrayList。 思路 使用栈依次存放输入的链表顺序的值,然后依次出栈便是链表的逆序。 代码 import java.util.ArrayList; import java.util.Stack; /** *描述逆序打印链表 * 输入:一个链表L 阅读全文

posted @ 2018-10-21 21:57 moonlight.ml 阅读(174) 评论(0) 推荐(0)

wordcount
只有注册用户登录后才能阅读该文。

posted @ 2018-10-16 19:08 moonlight.ml 阅读(4) 评论(0) 推荐(0)

Java-生成单词数据集
只有注册用户登录后才能阅读该文。

posted @ 2018-10-16 17:26 moonlight.ml 阅读(3) 评论(0) 推荐(0)

spark性能测试-参数配置
只有注册用户登录后才能阅读该文。

posted @ 2018-10-16 15:51 moonlight.ml

spark-submit运行脚本
只有注册用户登录后才能阅读该文。

posted @ 2018-10-16 15:34 moonlight.ml 阅读(4) 评论(0) 推荐(0)

鸢尾花数据集-iris.data
摘要:iris.data 5.1,3.5,1.4,0.2,Iris-setosa 4.9,3.0,1.4,0.2,Iris-setosa 4.7,3.2,1.3,0.2,Iris-setosa 4.6,3.1,1.5,0.2,Iris-setosa 5.0,3.6,1.4,0.2,Iris-setosa 阅读全文

posted @ 2018-10-15 23:56 moonlight.ml 阅读(1513) 评论(0) 推荐(1)

预测房价实验-房价数据集
摘要:house.csv 阅读全文

posted @ 2018-10-15 23:53 moonlight.ml 阅读(1224) 评论(0) 推荐(0)

spark集群实验启动步骤
该文被密码保护。

posted @ 2018-10-15 17:19 moonlight.ml

一次完整的集群运行spark作业的实验步骤记录
该文被密码保护。

posted @ 2018-10-15 17:19 moonlight.ml

spark测试脚本-笔记
摘要:1)Spark配置&启动脚本分析 http://www.cnblogs.com/riordon/p/5732208.html 阅读全文

posted @ 2018-10-15 11:17 moonlight.ml 阅读(237) 评论(0) 推荐(0)

掌握Spark机器学习库-09.6-LDA算法
摘要:数据集 iris.data 数据集概览 代码 输出结果 阅读全文

posted @ 2018-10-15 11:01 moonlight.ml 阅读(343) 评论(0) 推荐(0)

掌握Spark机器学习库-09.3-kmeans算法实现分类
摘要:数据集 iris.data 数据集概览 代码 输出结果 阅读全文

posted @ 2018-10-15 10:49 moonlight.ml 阅读(279) 评论(0) 推荐(0)

掌握Spark机器学习库-08.7-决策树算法实现分类
摘要:数据集 iris.data 数据集概览 代码 输出结果: 阅读全文

posted @ 2018-10-15 10:40 moonlight.ml 阅读(251) 评论(0) 推荐(0)

掌握Spark机器学习库-08.2-朴素贝叶斯算法
摘要:数据集 iris.data 数据集概览 代码 输出 阅读全文

posted @ 2018-10-15 10:33 moonlight.ml 阅读(309) 评论(0) 推荐(0)

掌握Spark机器学习库-07.14-保序回归算法实现房价预测
摘要:数据集 house.csv 数据集概览 代码 输出结果 阅读全文

posted @ 2018-10-15 10:17 moonlight.ml 阅读(498) 评论(0) 推荐(0)

掌握Spark机器学习库-07.6-线性回归实现房价预测
摘要:数据集 house.csv 数据概览 代码 输出: 阅读全文

posted @ 2018-10-15 09:40 moonlight.ml 阅读(1041) 评论(0) 推荐(2)

掌握Spark机器学习库-07-随机梯度下降
摘要:1)何为随机梯度下降 优化方法 迭代更新,来寻找函数全局最优解的方法 与最小二乘法相比:适用于变量众多,模型更复杂 2)梯度 变化最快,“陡峭” 通过函数表达式来衡量梯度 3)随机梯度下降原理推导过程 4)随机梯度下降的优点 计算量更小 擅长大量样本 学习率决定了算法速度 阅读全文

posted @ 2018-10-14 21:42 moonlight.ml 阅读(521) 评论(0) 推荐(0)

掌握Spark机器学习库-07-最小二乘法
摘要:1)最小化残差平方和 2)原理,推导过程 3)例子 阅读全文

posted @ 2018-10-14 21:16 moonlight.ml 阅读(369) 评论(0) 推荐(0)

掌握Spark机器学习库-07-回归算法原理
摘要:1)机器学习模型理解 统计学习,神经网络 2)预测结果的衡量 代价函数(cost function)、损失函数(loss function) 3)线性回归是监督学习 阅读全文

posted @ 2018-10-14 21:08 moonlight.ml 阅读(286) 评论(0) 推荐(0)

掌握Spark机器学习库-07-线性回归算法概述
摘要:1)简介 自变量,因变量,线性关系,相关系数,一元线性关系,多元线性关系(平面,超平面) 2)使用线性回归算法的前提 3)应用例子 沸点与气压 浮力与表面积 阅读全文

posted @ 2018-10-14 21:05 moonlight.ml 阅读(245) 评论(0) 推荐(0)

掌握Spark机器学习库-07-回归分析概述
摘要:1)回归与分类算法的区别 回归的预测结果是连续的,分类的预测结果是离散的。 2)spark实现的回归算法有: 3)通过相关系数衡量线性关系的程度 阅读全文

posted @ 2018-10-14 21:01 moonlight.ml 阅读(238) 评论(0) 推荐(0)

掌握Spark机器学习库-06-基础统计部分
摘要:说明 说明 本章主要讲解基础统计部分,包括基本统计、假设检验、相关系数等 数据集 数据集 数据集有两个文件,分别是: 源代码 源代码 源代码比较少,故在此给出: 基础统计 基础统计 一致性 一致性 假设检验 假设检验 阅读全文

posted @ 2018-10-14 19:56 moonlight.ml 阅读(164) 评论(0) 推荐(0)

掌握Spark机器学习库-05-spark中矩阵与向量的使用
摘要:1)介绍 矩阵: Matrix,看做二维表,基本运算(+,-,*,T) 向量: Vectors,方向和大小,基本运算,范数 2)spark中向量的使用(主要使用breeze.linalg) 3)spark中矩阵的使用 阅读全文

posted @ 2018-10-14 14:19 moonlight.ml 阅读(702) 评论(0) 推荐(0)

测试开发要懂的设计模式知识
摘要:文章推荐 测试开发之路--UI自动化常用的设计模式 链接:https://testerhome.com/topics/15768 (二):https://testerhome.com/topics/16042 [腾讯 TMQ][浅谈 Chromium 中的设计模式 (一)]——Chromium 中模 阅读全文

posted @ 2018-10-14 11:16 moonlight.ml 阅读(522) 评论(0) 推荐(0)

数据可视化工具-ECharts
摘要:http://www.echartsjs.com/examples/ 阅读全文

posted @ 2018-10-14 01:36 moonlight.ml 阅读(220) 评论(0) 推荐(0)

掌握Spark机器学习库-02-mllib数据格式
摘要:MLlib 1.MLlib介绍 1)MLlib特点 2)哪些算法 3)阅读官方文档 MLlib提供了哪些: 算法 特征工程 管道 持久化 2.MLlib数据格式 1)本地向量 2)标签数据 3)本地矩阵 4)分布式矩阵 5)分布式数据集:RDD,DATASET,DATAFRAME 阅读全文

posted @ 2018-10-13 17:41 moonlight.ml 阅读(369) 评论(0) 推荐(0)

掌握Spark机器学习库-01
摘要:第1章 初识机器学习 在本章中将带领大家概要了解什么是机器学习、机器学习在当前有哪些典型应用、机器学习的核心思想、常用的框架有哪些,该如何进行选型等相关问题。 1-1 导学 1-2 机器学习概述 1-3 机器学习核心思想 1-4 机器学习的框架与选型.. 第一章内容笔记 机器学习 1)发展史 2)功 阅读全文

posted @ 2018-10-13 17:04 moonlight.ml 阅读(515) 评论(0) 推荐(0)

掌握Spark机器学习库(课程目录)
摘要:第1章 初识机器学习 在本章中将带领大家概要了解什么是机器学习、机器学习在当前有哪些典型应用、机器学习的核心思想、常用的框架有哪些,该如何进行选型等相关问题。 1-1 导学 1-2 机器学习概述 1-3 机器学习核心思想 1-4 机器学习的框架与选型.. 第2章 初识MLlib 本章中,将介绍Spa 阅读全文

posted @ 2018-10-13 15:10 moonlight.ml 阅读(965) 评论(0) 推荐(0)

Java线程-线程的基本状态
摘要:问题:线程有哪些基本状态?这些状态是如何定义的? 新建(new):新创建了一个线程对象。 可运行(runnable):线程对象创建后,其他线程(比如main线程)调用了该对象的start()方法。该状态的线程位于可运行线程池中,等待被线程调度选中,获取cpu的使用权。 运行(running):可运行 阅读全文

posted @ 2018-10-12 11:37 moonlight.ml 阅读(1292) 评论(0) 推荐(0)

Java线程-线程、程序、进程的基本概念
摘要:线程 与进程相似,但线程是一个比进程更小的执行单位。一个进程在其执行的过程中可以产生多个线程。 与进程不同的是同类的多个线程共享同一块内存空间和一组系统资源,所以系统在产生一个线程,或是在各个线程之间作切换工作时,负担要比进程小得多,也正因为如此,线程也被称为轻量级进程。 程序 是含有指令和数据的文 阅读全文

posted @ 2018-10-12 11:17 moonlight.ml 阅读(589) 评论(0) 推荐(0)

Java语法基础-static关键字
摘要:static关键字说明 “static方法就是没有this的方法。在static方法内部不能调用非静态方法,反过来是可以的。而且可以在没有创建任何对象的前提下,仅仅通过类本身来调用static方法。这实际上正是static方法的主要用途。” 这段话虽然只是说明了static方法的特殊之处,但是可以看 阅读全文

posted @ 2018-10-12 11:13 moonlight.ml 阅读(146) 评论(0) 推荐(0)

Java语法基础-final关键字
摘要:final关键字主要用在三个地方:变量、方法、类。 对于一个final变量,如果是基本数据类型的变量,则其数值一旦在初始化之后便不能更改; 如果是引用类型的变量,则在对其初始化之后便不能再让其指向另一个对象。 当用final修饰一个类时,表明这个类不能被继承。 final类中的所有成员方法都会被隐式 阅读全文

posted @ 2018-10-12 11:03 moonlight.ml 阅读(245) 评论(0) 推荐(0)

Java语法基础-异常处理
摘要:异常处理类层次结构图 检查异常与非检查异常 非检查异常(unckecked exception):Error 和 RuntimeException 以及他们的子类。javac在编译时,不会提示和发现这样的异常,不要求在程序处理这些异常。所以如果愿意,我们可以编写代码处理(使用try…catch…fi 阅读全文

posted @ 2018-10-12 10:37 moonlight.ml 阅读(332) 评论(0) 推荐(0)

Java语法基础-序列化
摘要:33. Java序列化中如果有些字段不想进行序列化,怎么办? 答:对于不想进行序列化的变量,使用transient关键字修饰。 transient关键字的作用是:阻止实例中那些用此关键字修饰的的变量序列化;当对象被反序列化时,被transient修饰的变量值不会被持久化和恢复。transient只能 阅读全文

posted @ 2018-10-12 10:03 moonlight.ml 阅读(229) 评论(0) 推荐(0)

Java的知识储备及面试-几个方面
摘要:1.Java本身语法基础 https://github.com/Snailclimb/JavaGuide/blob/master/Java%E7%9B%B8%E5%85%B3/Java%E5%9F%BA%E7%A1%80%E7%9F%A5%E8%AF%86.md主要包括:Java语言特点、数据类型、 阅读全文

posted @ 2018-10-11 18:25 moonlight.ml 阅读(398) 评论(0) 推荐(0)

一篇分析测试开发人员的职业发展方向的好文章-学习笔记
摘要:老生常谈,再谈谈测试职业发展 TesterHome: https://testerhome.com/topics/16354 书籍 测试基础,测试思维:《ISTQB基础教程》《高级软件测试设计》《高级软件测试管理》 网络TCP/IP:《图解tcp/ip》《图解Http》 测试人优秀特质 快速学习、系 阅读全文

posted @ 2018-10-11 12:03 moonlight.ml 阅读(507) 评论(0) 推荐(0)

web 自动化测试 selenium基础到应用(目录)
摘要:第一章 自动化测试前提及整体介绍 1-1功能测试和自动化测试的区别 1-2自动化测试流程有哪些 1-3自动化测试用例和手工用例的区别 1-4 自动化测试用例编写 1-5 selenium的优势以及工作原理 第二章 Selenium基础知识回顾 2-1 IDE及环境配置 2-2 HTML定位基础知识 阅读全文

posted @ 2018-10-11 11:41 moonlight.ml 阅读(812) 评论(0) 推荐(0)

导航