TIMLONG - 博客园

2018年11月21日

摘要： import scala.math.randomobject LocalPi { def main(args: Array[String]) { var count = 0 for (i <- 1 to 100000000) { val x = random * 2 - 1 val y = rand 阅读全文

posted @ 2018-11-21 17:23 TIMLONG 阅读(533) 评论(0) 推荐(0)

2018年11月20日

pom

摘要： 4.0.0 tim spark 1.0 2.11.0 2.3.2 2.8.3 org.apache.spark spark-core_2.11 ${spark.version} ... 阅读全文

posted @ 2018-11-20 22:18 TIMLONG 阅读(166) 评论(0) 推荐(0)

Java API操作Hadoop可能会遇到的问题以及解决办法

摘要： https://www.zifangsky.cn/1292.html Could not locate Hadoop executable: xxx\bin\winutils.exe 1 2 3 4 5 6 Caused by: java.io.FileNotFoundException: Coul 阅读全文

posted @ 2018-11-20 22:17 TIMLONG 阅读(722) 评论(0) 推荐(0)

hadoop在windows上的配置文件

摘要： core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml 阅读全文

posted @ 2018-11-20 21:17 TIMLONG 阅读(866) 评论(0) 推荐(0)

UNC路径

摘要： UNC路径UNC（Universal Naming Convention）为了迎合网络化的趋势，Windows的地址风格（C:\ABC\def\ghi及\\计算机名\文件夹\文件）向网络地址风格作了一次兼容变换：file表示协议类型://后面是机器的网络地址（IP地址）/后面是文件夹（目录）和文件阅读全文

posted @ 2018-11-20 21:02 TIMLONG 阅读(5579) 评论(0) 推荐(1)

spark在windows的配置

摘要：在spark-env.cmd添加一行 FOR /F %%i IN ('hadoop classpath') DO @set SPARK_DIST_CLASSPATH=%%i 修改：log4j.properties，去掉spark-shell退出的报错信息bug log4j.logger.org.ap 阅读全文

posted @ 2018-11-20 20:51 TIMLONG 阅读(919) 评论(0) 推荐(0)

2018年11月19日

Oracle系统表整理+常用SQL语句收集（转载）

摘要：原文：https://www.cnblogs.com/jiangxinnju/p/5840420.html-- DBA/ALL/USER/V_$/GV_$/SESSION/INDEX开头的绝大部分都是视图 -- DBA_TABLES意为DBA拥有的或可以访问的所有的关系表。 -- ALL_TABLES意为某一用户拥有的或可以访问的所有的关系表。 -- USER_TABLES意为某一用户所拥有的所... 阅读全文

posted @ 2018-11-19 08:51 TIMLONG 阅读(383) 评论(0) 推荐(0)

2018年11月18日

sbt配置文件

摘要： # Set the java args to high -Xmx512M -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=128m # Set the extra SBT options -Dsbt.log.format=true -Dsbt.boot. 阅读全文

posted @ 2018-11-18 10:22 TIMLONG 阅读(1799) 评论(0) 推荐(0)

2018年11月16日

(转)Flink简介

摘要： 1. Flink的引入这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身阅读全文

posted @ 2018-11-16 15:25 TIMLONG 阅读(255) 评论(0) 推荐(0)

2018年11月11日

spark osx：WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform

摘要： spark-env.sh文件中增加，确保${HADOOP_HOME}/lib/native目录下有libhadoop.so文件 export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native 阅读全文

posted @ 2018-11-11 22:29 TIMLONG 阅读(1132) 评论(0) 推荐(0)

LD_LIBRARY_PATH无效

摘要：在os x 上设置LD_LIBRARY_PATH无效，env命令看不到这个变量，下面的文章说明了这个问题说明：网上基本针对这个值的设置分为两面，Windows派和Linux派，Windows的不说，Linux下只会说设置LD_LIBRARY_PATH即可，但这种方式在Java 8是一个错误的设置，阅读全文

posted @ 2018-11-11 22:27 TIMLONG 阅读(4400) 评论(0) 推荐(0)

spark安装

摘要：配置文件： spark-env.sh export SCALA_HOME=/usr/local/scalaexport SPARK_WORKING_MEMORY=1gexport SPARK_MASTER_IP=macexport HADOOP_HOME=/tim/hadoopexport HADO 阅读全文

posted @ 2018-11-11 20:55 TIMLONG 阅读(157) 评论(0) 推荐(0)

hadoop：/bin/bash: /bin/java: No such file or directory

摘要： In HADOOP_HOME/libexec/hadoop-config.sh look for the if condition below # Attempt to set JAVA_HOME if it is not set Remove extra parentheses in the ex 阅读全文

posted @ 2018-11-11 19:52 TIMLONG 阅读(2457) 评论(1) 推荐(1)

2018年11月10日

spark实现wordcount

摘要： spark-shell --master yarnsc:val lineRDD=sc.textFile("/test/input/test")lineRDD.collect().foreach(println)val wordRDD = lineRDDwordRDD.collect().foreac 阅读全文

posted @ 2018-11-10 16:03 TIMLONG 阅读(670) 评论(0) 推荐(0)

var和val的区别

摘要： var是一个可变变量，这是一个可以通过重新分配来更改为另一个值的变量。这种声明变量的方式和java中声明变量的方式一样。 val是一个只读变量，这种声明变量的方式相当于java中的final变量。一个val创建的时候必须初始化，因为以后不能被改变。阅读全文

posted @ 2018-11-10 15:08 TIMLONG 阅读(1601) 评论(0) 推荐(0)

rdd的元素打印

摘要：在集群上运行spark程序时，rdd的操作都在worker机上，因此输出rdd的元素将在worker机的标准输出上进行，驱动节点上不会运行，故直接才程序中写如下代码 rdd.foreach(println(_)) 并不能产生期望的结果。此时应该先收集数据，再进行打印，即可得到预期结果 rdd.col 阅读全文

posted @ 2018-11-10 15:05 TIMLONG 阅读(1749) 评论(0) 推荐(0)

2018年11月9日

spark报错:invalid token

摘要：启动spark报错，启动container失败，去看yarn的日志，显示invalid token，经过排查是hadoop子节点的配置和主节点的配置不一致导致的，同步之后，问题解决。阅读全文

posted @ 2018-11-09 15:40 TIMLONG 阅读(983) 评论(0) 推荐(0)

2018年10月27日

上交所跨市场ETF申购赎回实时回报

摘要：申购赎回实时回报：1、二级市场过户记录（二级市场代码）2、沪市成分股过户记录（全部成分股）3、非沪市资金记录4、沪市资金记录5、ETF一级市场过户记录（一级市场代码）阅读全文

posted @ 2018-10-27 09:27 TIMLONG 阅读(734) 评论(0) 推荐(0)

2018年10月26日

hadoop配置文件

摘要： 1、启动脚本文件 hadoop-env.sh yarn-env.sh 2、参数配置文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 3、集群主机文件 slaves 文件内容： hadoop-env.sh添加： yarn-env. 阅读全文

posted @ 2018-10-26 11:44 TIMLONG 阅读(383) 评论(0) 推荐(0)

2018年10月25日

CRISP-DM

摘要： CRISP-DM (cross-industry standard process for data mining), 即为"跨行业数据挖掘标准流程". 此KDD过程模型于1999年欧盟机构联合起草. 通过近几年的发展,CRISP-DM 模型在各种KDD过程模型中占据领先位置,采用量达到近60%.( 阅读全文

posted @ 2018-10-25 13:28 TIMLONG 阅读(421) 评论(0) 推荐(0)

公告