摘要：
1. 编写一段代码，将a设置为一个n个随机整数的数组，要求随机数介于0(包含)和n(不包含)之间 阅读全文
posted @ 2017-11-14 20:02
gyhuminyan
阅读(113)
评论(0)
推荐(0)
摘要：
streaming 应用程序必须 24/7 运行, 因此必须对应用逻辑无关的故障（例如, 系统故障, JVM 崩溃等）具有弹性. 为了可以这样做, Spark Streaming 需要 checkpoint 足够的信息到容错存储系统, 以便可以从故障中恢复.checkpoint 有两种类型的数据. 阅读全文
posted @ 2017-11-07 16:56
gyhuminyan
阅读(207)
评论(0)
推荐(0)
摘要：
在集群上的 Spark Streaming application 中获得最佳性能需要一些调整.本节介绍了可调整的多个 parameters （参数）和 configurations （配置）提高你的应用程序性能.在高层次上, 你需要考虑两件事情: 通过有效利用集群资源, Reducing the 阅读全文
posted @ 2017-11-07 15:56
gyhuminyan
阅读(796)
评论(0)
推荐(0)
摘要：
调整 Spark 应用程序的内存使用情况和 GC behavior 已经有很多的讨论在 Tuning Guide 中.我们强烈建议您阅读一下.在本节中, 我们将在 Spark Streaming applications 的上下文中讨论一些 tuning parameters （调优参数）. Spa 阅读全文
posted @ 2017-11-07 15:33
gyhuminyan
阅读(452)
评论(0)
推荐(0)
摘要：
简介 Kafka 0.10的Spark Streaming集成设计与0.8 Direct Stream方法类似。 它提供了简单的并行性，Kafka分区和Spark分区之间的1：1对应关系，以及对偏移量和元数据的访问。 但是，由于较新的集成使用新的Kafka消费者API而不是简单的API，所以在使用上 阅读全文
posted @ 2017-11-07 15:25
gyhuminyan
阅读(1956)
评论(3)
推荐(1)
摘要：
（1）在pom.xml中加入如下依赖包 （2）在MySql中创建数据库和表，命令操作如下 （3）使用Java编写一个数据库连接池类 （5）打开netcat发送数据 （6）提交 阅读全文
posted @ 2017-11-07 14:24
gyhuminyan
阅读(7361)
评论(0)
推荐(0)
摘要：
下载JDK的时候，会出现用户验证的问题，下载下来的文件是一个HTML的文件，所以要加上几个字段表示去除验证。 下载语句： 注：经验证，现在此方法不能成功。 阅读全文
posted @ 2017-09-27 15:23
gyhuminyan
阅读(739)
评论(0)
推荐(0)
摘要：
Hadoop用于处理非常大的数据集，通常假设数据是已经在HDFS中，或者可以批量复制。 然而，有很多系统不符合这个假设，他们产生了我们想要的数据流，使用Hadoop进行收集，存储和分析，Apache Flume系统是处理这些问题理想的方案。 Flume是设计用于将大容量基于事件的数据存储到Hadoo 阅读全文
posted @ 2017-07-12 22:27
gyhuminyan
阅读(472)
评论(0)
推荐(0)
摘要：
#导入库import tensorflow as tffrom numpy.random import RandomState#定义训练数据batch的大小batch_size = 8#定义神经网络的参数w1 = tf.Variable(tf.random_normal([2,3],stddev=1 阅读全文
posted @ 2017-03-18 13:49
gyhuminyan
阅读(280)
评论(0)
推荐(0)
摘要：
激活函数（Activation Function） 为了让神经网络能够学习复杂的决策边界（decision boundary），我们在其一些层应用一个非线性激活函数。最常用的函数包括 sigmoid、tanh、ReLU（Rectified Linear Unit 线性修正单元） 以及这些函数的变体。 阅读全文
posted @ 2017-03-15 19:27
gyhuminyan
阅读(13996)
评论(0)
推荐(4)
浙公网安备 33010602011771号