随笔分类 - 寒假总结
摘要：学习进度笔记31 PageRank 演示 import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.graphx._ import
阅读全文
摘要：学习进度笔记30 Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。 众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计
阅读全文
摘要：学习进度笔记29 协同过滤 import java.io.File import scala.io.Source import org.apache.log4j.{Level, Logger} import org.apache.spark.SparkConf import org.apache.s
阅读全文
摘要：学习进度笔记28 回归算法 import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.mllib.regression.Linea
阅读全文
摘要：学习进度笔记27 Spark学习——Mlib机器学习 import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.clu
阅读全文
摘要：学习进度笔记26 分类算法 分类算法属于监督式学习，使用类标签已知的样本建立一个分类函数或分类模型，应用分类模型，能把数据库中的类标签未知的数据进行归类。分类在数据挖掘中是一项重要的任务，目前在商业上应用最多，常见的典型应用场景有流失预测、精确营销、客户获取、个性偏好等。MLlib 目前支持分类算法
阅读全文
摘要：学习进度笔记25 网络数据演示 import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.streaming.{Milliseconds, Seconds, StreamingContext} import o
阅读全文
摘要：学习进度笔记24 读取文件演示 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.Stre
阅读全文
摘要：学习进度笔记23 模拟器代码 import java.io.{PrintWriter} import java.net.ServerSocket import scala.io.Source object StreamingSimulation { // 定义随机获取整数的方法 def index(
阅读全文
摘要：学习进度笔记22 Scala 提取器(Extractor) 提取器是从传递给它的对象中提取出构造该对象的参数。 Scala 标准库包含了一些预定义的提取器，我们会大致的了解一下它们。 Scala 提取器是一个带有unapply方法的对象。unapply方法算是apply方法的反向操作：unapply
阅读全文
摘要：学习进度笔记21 Scala 文件 I/O Scala 进行文件写操作，直接用的都是 java中 的 I/O 类 （java.io.File)： import java.io._object Test { def main(args: Array[String]) { val writer = ne
阅读全文
摘要：学习进度笔记20 Scala 异常处理 Scala 的异常处理和其它语言比如 Java 类似。 Scala 的方法可以通过抛出异常的方法的方式来终止相关代码的运行，不必通过返回值。 抛出异常 Scala 抛出异常的方法和 Java一样，使用 throw 方法，例如，抛出一个新的参数异常： throw
阅读全文
摘要：学习进度笔记19 Scala 正则表达式 Scala 通过 scala.util.matching 包中的 Regex 类来支持正则表达式。以下实例演示了使用正则表达式查找单词 Scala : import scala.util.matching.Regexobject Test { def mai
阅读全文
摘要：学习进度笔记18 Scala 类和对象 类是对象的抽象，而对象是类的具体实例。类是抽象的，不占用内存，而对象是具体的，占用存储空间。类是用于创建对象的蓝图，它是一个定义包括在特定类型的对象中的方法和变量的软件模板。 我们可以使用 new 关键字来创建类的对象 class Point(xc: Int,
阅读全文
摘要：学习进度笔记17 Scala Iterator 让迭代器 it 逐个返回所有元素最简单的方法是使用 while 循环： object Test { def main(args: Array[String]) { val it = Iterator("Baidu", "Google", "Runoob
阅读全文
摘要：学习进度笔记16 Scala语言学习 object TestMap { def ttt(f:Int => Int):Unit = { val r = f(10) println(r) } val f0 = (x : Int) => x * x //定义了一个方法 def m0(x:Int) : In
阅读全文
摘要：学习进度笔记15 Scala编程语言学习 方法定义 object add{ def addInt( a:Int, b:Int ) : Int = { var sum:Int = 0 sum = a + b return sum }} 方法调用 object Test { def main(args:
阅读全文
摘要：学习进度笔记14 卷集神经网络学习 import tensorflow as tf slim = tf.contrib.slim def lenet(images, num_classes=10, is_training=False, dropout_keep_prob=0.5, predictio
阅读全文
摘要：学习进度笔记13 TensorFlow编程基础——实现线性回归 # 载入必要库 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt # 设置必要参数 ## 设置学习率 learning_rate = 0
阅读全文
摘要：学习进度笔记12 TensorFlow双向循环神经网络 from __future__ import print_function import tensorflow as tf from tensorflow.contrib import rnn from tensorflow.examples.
阅读全文
浙公网安备 33010602011771号