随笔分类 -  data

摘要:# Set the java args to high -Xmx512M -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=128m # Set the extra SBT options -Dsbt.log.format=true -Dsbt.boot. 阅读全文
posted @ 2018-11-18 10:22 TIMLONG 阅读(1798) 评论(0) 推荐(0)
摘要:spark-env.sh文件中增加,确保${HADOOP_HOME}/lib/native目录下有libhadoop.so文件 export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native 阅读全文
posted @ 2018-11-11 22:29 TIMLONG 阅读(1131) 评论(0) 推荐(0)
摘要:配置文件: spark-env.sh export SCALA_HOME=/usr/local/scalaexport SPARK_WORKING_MEMORY=1gexport SPARK_MASTER_IP=macexport HADOOP_HOME=/tim/hadoopexport HADO 阅读全文
posted @ 2018-11-11 20:55 TIMLONG 阅读(156) 评论(0) 推荐(0)
摘要:In HADOOP_HOME/libexec/hadoop-config.sh look for the if condition below # Attempt to set JAVA_HOME if it is not set Remove extra parentheses in the ex 阅读全文
posted @ 2018-11-11 19:52 TIMLONG 阅读(2455) 评论(1) 推荐(1)
摘要:spark-shell --master yarnsc:val lineRDD=sc.textFile("/test/input/test")lineRDD.collect().foreach(println)val wordRDD = lineRDDwordRDD.collect().foreac 阅读全文
posted @ 2018-11-10 16:03 TIMLONG 阅读(669) 评论(0) 推荐(0)
摘要:var是一个可变变量,这是一个可以通过重新分配来更改为另一个值的变量。这种声明变量的方式和java中声明变量的方式一样。 val是一个只读变量,这种声明变量的方式相当于java中的final变量。一个val创建的时候必须初始化,因为以后不能被改变。 阅读全文
posted @ 2018-11-10 15:08 TIMLONG 阅读(1601) 评论(0) 推荐(0)
摘要:启动spark报错,启动container失败,去看yarn的日志,显示invalid token, 经过排查是hadoop子节点的配置和主节点的配置不一致导致的,同步之后,问题解决。 阅读全文
posted @ 2018-11-09 15:40 TIMLONG 阅读(978) 评论(0) 推荐(0)
摘要:1、启动脚本文件 hadoop-env.sh yarn-env.sh 2、参数配置文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 3、集群主机文件 slaves 文件内容: hadoop-env.sh添加: yarn-env. 阅读全文
posted @ 2018-10-26 11:44 TIMLONG 阅读(381) 评论(0) 推荐(0)
摘要:hadoop启动检查副本块数,就会进入safemode safemode的相关情况 虽然不能进行修改文件的操作,但是可以浏览目录结构、查看文件内容的。 在命令行下是可以控制安全模式的进入、退出和查看的。 命令 hadoop dfsadmin -safemode get 查看安全模式状态 命令 had 阅读全文
posted @ 2018-10-19 09:26 TIMLONG 阅读(654) 评论(0) 推荐(0)
摘要:https://blog.csdn.net/ytbigdata/article/details/47154529 阅读全文
posted @ 2018-10-18 22:05 TIMLONG 阅读(686) 评论(0) 推荐(0)
摘要:https://blog.csdn.net/chengyuqiang/article/details/77864246 阅读全文
posted @ 2018-10-18 15:55 TIMLONG 阅读(218) 评论(0) 推荐(0)
摘要:解决方案一: #cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64 #源码编译snappy ./configure make & make install #cp libsnappy.so $JAVA_HOME/jre/l 阅读全文
posted @ 2018-10-18 14:55 TIMLONG 阅读(330) 评论(0) 推荐(0)
摘要:1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和Reduce两个阶段进行 处理,非常适合数据密集型计算。 2) Spark:MapReduce计算框架不适合迭代计算和交互式计算,MapReduce是一种磁盘 计算框架,而Spark则是一种内存计算框架,它将数据尽可能放到内存中以 阅读全文
posted @ 2018-10-18 08:49 TIMLONG 阅读(1873) 评论(0) 推荐(0)
摘要:hive简介 hive是一个数据仓库,可以看做是Hadoop的客户端,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,也可以将sql语句转换为MapReduce任务进行运行。要注意的是,hive并不是一个数据库,也不存储实际数据,实际数据都存储在hdfs中,hive只是简化了对 阅读全文
posted @ 2018-10-17 17:03 TIMLONG 阅读(355) 评论(0) 推荐(0)
摘要:方法一(先进入root权限):# /etc/init.d/mysql stop# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &# mysql -u rootmysql> update user set passwor 阅读全文
posted @ 2018-10-17 16:55 TIMLONG 阅读(319) 评论(0) 推荐(0)
摘要:文件操作命令:hdfs dfs -ls /hdfs dfs -mkdir /hdfs dfs -rm -rf /hdfshdfs dfs -duhdfs dfs -get /hdfs /localhdfs dfs -put /local /hdfs 管理命令:hdfs dfsadmin -repor 阅读全文
posted @ 2018-10-17 13:43 TIMLONG 阅读(240) 评论(0) 推荐(0)
摘要:1、创建hadoop用户,作为haoop的运行用户 2、配置JAVA_HOME环境变量,修改/etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_51 export PATH=${JAVA_HOME}/bin:$PATH 3、配置hadoop用户的PATH 阅读全文
posted @ 2018-10-17 09:16 TIMLONG 阅读(1924) 评论(0) 推荐(0)
摘要:我遇到了两个不太容易解决的问题。 问题一: 这个问题就是没有找到Berkeley DB 4.8 版本,我们需要对这个版本的Berkeley DB进行安装。 在http://www.oracle.com/technetwork/database/database-technologies/berkel 阅读全文
posted @ 2018-08-26 21:29 TIMLONG 阅读(404) 评论(0) 推荐(0)
摘要:陷门函数:正向计算是很容易的,但若要有效的执行反向计算则必须要知道一些secret/knowledge/trapdoor(知识?),也称为伪随机置换,可用于构造公钥密码系统。 若 f 为陷门函数,则 y = f (x) 是很容易计算的,但若要计算 x = f(-1) (y) 则是困难的, 若已知一些 阅读全文
posted @ 2018-08-24 16:10 TIMLONG 阅读(3364) 评论(0) 推荐(0)
摘要:混币原理:就是割裂输入地址和输出地址之间的关系。在一个交易中,假如有很多人参与,其中包括大量输入和输出,这样会比较难在输入和输出中找出每个人的对应对,这样一来,输入与输出之间的联系被事实上割裂。多次混币、每次少量币,效果更好。 环签名:简化的类群签名。环中一个成员利用他的私钥和其他成员的公钥进行签名 阅读全文
posted @ 2018-08-24 15:41 TIMLONG 阅读(2857) 评论(0) 推荐(0)