云山之巅

摘要： 结果： 阅读全文

摘要： 结果： 100 [Lorg.apache.spark.sql.Row;::::::::61516 [Lorg.apache.spark.sql.Row;::::::::61656 [Lorg.apache.spark.sql.Row;::::::::61991 [Lorg.apache.spark. 阅读全文

摘要： 结果： 阅读全文

摘要： 结果： 在非主键字段名称末尾添加S 去掉非主键字段名称末尾添加的S 阅读全文

摘要： 需要：JDK1.8 1.使用Xftp上传jdk的免安装包到3台虚拟机的指定目录下： 2.配置JDK环境变量 执行命令：vi /etc/profile，在文件末尾追加： 然后执行命令：source /etc/profile ，使修改立即生效 检查是否配置成功，执行命令：java -version 表示 阅读全文

摘要： Spark 一.coalesce 1.简介 coalesce常用来合并分区，第二个参数是合并分区时是否产生shuffle。true为产生shuffle，false为不产生shuffle。默认是false不产生shuffle。如果coalesce设置的分区数比原来的分区数还大的话若设置为false则不 阅读全文

摘要： 1 package big.data.analyse.scala 2 3 /** 4 * 链式编程原理 5 * Created by zhen on 2018/12/16. 6 */ 7 class Computer{def code = this} 8 class PC extends Computer{def portable = this} 9 /** 10... 阅读全文

摘要： 1.输入命令：cd .ssh进入rsa公钥私钥目录（清空旧秘钥） 2.在当前目录下执行ssh-keygen -t rsa，三次回车后生成新的公钥(id_rsa.pub)私钥(id_rsa)文件（每个节点都要重新生成） 3.在主节点上执行命令：cat id_rsa.pub >> authorized_ 阅读全文

摘要： 过程： Filling queue with 20000 CIFAR images before starting to train. This will take a few minutes. step 0, loss =4.68 (19.0 examples/sec; 6.734 sec/bat 阅读全文

摘要： 结果： 分析：Spark读取parquet数据默认为目录，因此可以只指定到你要读取的上级目录即可（本地模式除外），当保存为parquet时，会自动拆分，因此只能指定为上级目录。 阅读全文

摘要： 1.执行以下命令关闭防火墙服务 2.检测是否正确关闭 表示正确关闭！ 阅读全文

摘要： Centos7默认不安装netstat组件，需要使用时需要自己安装。 1.查看当前机器net-tools包所在位置 2.安装net-tools包 3.使用netstat命令查看端口占用情况 4.查看指定端口 阅读全文

摘要： 结果： 阅读全文

摘要： 结果： 阅读全文

摘要： 结果： has running 100 s has running 200 s has running 300 s has running 400 s has running 500 s has running 600 s has running 700 s has running 800 s ha 阅读全文

摘要： 结果： 分析： 皮尔逊相关系数（corrcoef）运算速度远超DTW或FASTDTW，但DTW或FASTDTW应用范围更广，适用于等长或变长的比较。 阅读全文

摘要： 结果： 阅读全文

摘要： 结果： 阅读全文

摘要： 结果： 阅读全文

摘要： 一.安装Linux 需要：3台CentOS7虚拟机 注意： 虚拟机的网络设置为NAT模式，NAT模式可以在断网的情况下连接上虚拟机而桥架模式不行！ 二.设置静态IP 跳转目录到： 修改IP设置： 备注：执行scp命令拷贝设置文件到另外两个节点，修改IP分别为192.168.136.8和192.168 阅读全文