10 2017 档案
摘要：0.组件 stdin插件：从标准输入读取事件 add_field:事件中添加一个字段 codec:codec是一个编解码器，在输入前对数据进行编解码，无需在filter中使用特定的插件处理 type:加上一个类型字段,用来标记事件类型 tags:标记事件的某方面属性。这是一个数组，一个事件可以有多个
阅读全文
摘要：Shallow Neural Network 新符号的引入，将介绍如何实现神经网络 输入层，隐藏层，输出层，上标的含义，双层神经网络(不包括输入层在内，隐藏层是第一层) 探究神经网络是如何计算出来的，已知单个训练样本时计算神经网络的预测隐藏层中间计算结果作为输出层的输入进行下一步的计算 单个神经元：
阅读全文
摘要：1.准备工作 数据下载链接：http://www.cs.toronto.edu/~kriz/cifar.html 该数据库有60000张32*32大小的彩色图片，其中50000张是训练数据，10000张是测试数据 数据库中训练集被分为5个小文件，每个文件有10000张图片用于训练 数据库中测试集被分
阅读全文
摘要：一、Logistic Regression as a Neural Network 举例识别图片中是否有猫(n_x = 64*64*3)，最后得到特征向量矩阵，维度是12288 将图片转换为矩阵，其中： X中m代表的是第几个样本，i表示的是每个样本的第几个特征值。也就是每一列表示每个样本的样本特征值
阅读全文
摘要：一. Welcome to the Deep Learning Specialization 简单的问候语 二、Introduction to Deep Learning 以预测房价为例：size->○->price，修正线性单元 结构化数据（比如数据库中的数据）和非结构化数据（比如图像、文本数据）
阅读全文
摘要：1.简介 在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。DataFrame与RDD的主要区别在于，前者带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。这使得Spark SQL得以洞察更多的结构信息，从而对
阅读全文
摘要：# 简单的dict lst = [('d', 2), ('a', 4), ('b', 3), ('c', 2)] # 按照value排序 lst.sort(key=lambda k: k[1]) print lst # 按照key排序 lst.sort(key=lambda k: k[0]) print lst # 先按value排序再按key排序 lst.sort(key=lambda ...
阅读全文
摘要：0.前言 有用的网站信息 http://spark.apache.org/docs/latest/api/python/pyspark.sql.html# https://stackoverflow.com/questions/37580782/pyspark-collect-set-or-coll
阅读全文
摘要：1项目 2.MSCK 我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，需要执行多条alter语句，非常麻烦。Hive提供了一个"Recover Partition"的功能 或者
阅读全文
摘要：转自：http://blog.csdn.net/sparkexpert/article/details/51042970 spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新
阅读全文
摘要：概述 1. Spark SQL是Spark的结构化数据处理模块。 2. Spark SQL特点 a) 数据兼容：可从Hive表、外部数据库（JDBC）、RDD、Parquet文件、JSON文件获取数据，可通过Scala方法或SQL方式操作这些数据，并把结果转回RDD。 b) 组件扩展：SQL语法解析
阅读全文
摘要：0.参考文章 http://blog.cheyo.net/99.html http://www.echojb.com/weblogic/2017/04/25/362621.html 1.ImportTsv 在HDFS创建临时目录 创建本地文件user 上传到HDFS上 HBase上创建表 可能的错误
阅读全文
浙公网安备 33010602011771号