随笔分类 - data
摘要:# Set the java args to high -Xmx512M -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=128m # Set the extra SBT options -Dsbt.log.format=true -Dsbt.boot.
阅读全文
摘要:spark-env.sh文件中增加,确保${HADOOP_HOME}/lib/native目录下有libhadoop.so文件 export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native
阅读全文
摘要:配置文件: spark-env.sh export SCALA_HOME=/usr/local/scalaexport SPARK_WORKING_MEMORY=1gexport SPARK_MASTER_IP=macexport HADOOP_HOME=/tim/hadoopexport HADO
阅读全文
摘要:In HADOOP_HOME/libexec/hadoop-config.sh look for the if condition below # Attempt to set JAVA_HOME if it is not set Remove extra parentheses in the ex
阅读全文
摘要:spark-shell --master yarnsc:val lineRDD=sc.textFile("/test/input/test")lineRDD.collect().foreach(println)val wordRDD = lineRDDwordRDD.collect().foreac
阅读全文
摘要:var是一个可变变量,这是一个可以通过重新分配来更改为另一个值的变量。这种声明变量的方式和java中声明变量的方式一样。 val是一个只读变量,这种声明变量的方式相当于java中的final变量。一个val创建的时候必须初始化,因为以后不能被改变。
阅读全文
摘要:启动spark报错,启动container失败,去看yarn的日志,显示invalid token, 经过排查是hadoop子节点的配置和主节点的配置不一致导致的,同步之后,问题解决。
阅读全文
摘要:1、启动脚本文件 hadoop-env.sh yarn-env.sh 2、参数配置文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 3、集群主机文件 slaves 文件内容: hadoop-env.sh添加: yarn-env.
阅读全文
摘要:hadoop启动检查副本块数,就会进入safemode safemode的相关情况 虽然不能进行修改文件的操作,但是可以浏览目录结构、查看文件内容的。 在命令行下是可以控制安全模式的进入、退出和查看的。 命令 hadoop dfsadmin -safemode get 查看安全模式状态 命令 had
阅读全文
摘要:https://blog.csdn.net/ytbigdata/article/details/47154529
阅读全文
摘要:https://blog.csdn.net/chengyuqiang/article/details/77864246
阅读全文
摘要:解决方案一: #cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64 #源码编译snappy ./configure make & make install #cp libsnappy.so $JAVA_HOME/jre/l
阅读全文
摘要:1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和Reduce两个阶段进行 处理,非常适合数据密集型计算。 2) Spark:MapReduce计算框架不适合迭代计算和交互式计算,MapReduce是一种磁盘 计算框架,而Spark则是一种内存计算框架,它将数据尽可能放到内存中以
阅读全文
摘要:hive简介 hive是一个数据仓库,可以看做是Hadoop的客户端,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,也可以将sql语句转换为MapReduce任务进行运行。要注意的是,hive并不是一个数据库,也不存储实际数据,实际数据都存储在hdfs中,hive只是简化了对
阅读全文
摘要:方法一(先进入root权限):# /etc/init.d/mysql stop# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &# mysql -u rootmysql> update user set passwor
阅读全文
摘要:文件操作命令:hdfs dfs -ls /hdfs dfs -mkdir /hdfs dfs -rm -rf /hdfshdfs dfs -duhdfs dfs -get /hdfs /localhdfs dfs -put /local /hdfs 管理命令:hdfs dfsadmin -repor
阅读全文
摘要:1、创建hadoop用户,作为haoop的运行用户 2、配置JAVA_HOME环境变量,修改/etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_51 export PATH=${JAVA_HOME}/bin:$PATH 3、配置hadoop用户的PATH
阅读全文
摘要:我遇到了两个不太容易解决的问题。 问题一: 这个问题就是没有找到Berkeley DB 4.8 版本,我们需要对这个版本的Berkeley DB进行安装。 在http://www.oracle.com/technetwork/database/database-technologies/berkel
阅读全文
摘要:陷门函数:正向计算是很容易的,但若要有效的执行反向计算则必须要知道一些secret/knowledge/trapdoor(知识?),也称为伪随机置换,可用于构造公钥密码系统。 若 f 为陷门函数,则 y = f (x) 是很容易计算的,但若要计算 x = f(-1) (y) 则是困难的, 若已知一些
阅读全文
摘要:混币原理:就是割裂输入地址和输出地址之间的关系。在一个交易中,假如有很多人参与,其中包括大量输入和输出,这样会比较难在输入和输出中找出每个人的对应对,这样一来,输入与输出之间的联系被事实上割裂。多次混币、每次少量币,效果更好。 环签名:简化的类群签名。环中一个成员利用他的私钥和其他成员的公钥进行签名
阅读全文