随笔分类 - data
摘要：# Set the java args to high -Xmx512M -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=128m # Set the extra SBT options -Dsbt.log.format=true -Dsbt.boot.
阅读全文
摘要：spark-env.sh文件中增加，确保${HADOOP_HOME}/lib/native目录下有libhadoop.so文件 export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native
阅读全文
摘要：配置文件： spark-env.sh export SCALA_HOME=/usr/local/scalaexport SPARK_WORKING_MEMORY=1gexport SPARK_MASTER_IP=macexport HADOOP_HOME=/tim/hadoopexport HADO
阅读全文
摘要：In HADOOP_HOME/libexec/hadoop-config.sh look for the if condition below # Attempt to set JAVA_HOME if it is not set Remove extra parentheses in the ex
阅读全文
摘要：spark-shell --master yarnsc:val lineRDD=sc.textFile("/test/input/test")lineRDD.collect().foreach(println)val wordRDD = lineRDDwordRDD.collect().foreac
阅读全文
摘要：var是一个可变变量，这是一个可以通过重新分配来更改为另一个值的变量。这种声明变量的方式和java中声明变量的方式一样。 val是一个只读变量，这种声明变量的方式相当于java中的final变量。一个val创建的时候必须初始化，因为以后不能被改变。
阅读全文
摘要：启动spark报错，启动container失败，去看yarn的日志，显示invalid token， 经过排查是hadoop子节点的配置和主节点的配置不一致导致的，同步之后，问题解决。
阅读全文
摘要：1、启动脚本文件 hadoop-env.sh yarn-env.sh 2、参数配置文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 3、集群主机文件 slaves 文件内容： hadoop-env.sh添加： yarn-env.
阅读全文
摘要：hadoop启动检查副本块数，就会进入safemode safemode的相关情况 虽然不能进行修改文件的操作，但是可以浏览目录结构、查看文件内容的。 在命令行下是可以控制安全模式的进入、退出和查看的。 命令 hadoop dfsadmin -safemode get 查看安全模式状态 命令 had
阅读全文
摘要：https://blog.csdn.net/ytbigdata/article/details/47154529
阅读全文
摘要：https://blog.csdn.net/chengyuqiang/article/details/77864246
阅读全文
摘要：解决方案一： #cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64 #源码编译snappy ./configure make & make install #cp libsnappy.so $JAVA_HOME/jre/l
阅读全文
摘要：1） MapReduce:是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行 处理，非常适合数据密集型计算。 2） Spark:MapReduce计算框架不适合迭代计算和交互式计算，MapReduce是一种磁盘 计算框架，而Spark则是一种内存计算框架，它将数据尽可能放到内存中以
阅读全文
摘要：hive简介 hive是一个数据仓库，可以看做是Hadoop的客户端，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，也可以将sql语句转换为MapReduce任务进行运行。要注意的是，hive并不是一个数据库，也不存储实际数据，实际数据都存储在hdfs中，hive只是简化了对
阅读全文
摘要：方法一(先进入root权限)：# /etc/init.d/mysql stop# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &# mysql -u rootmysql> update user set passwor
阅读全文
摘要：文件操作命令：hdfs dfs -ls /hdfs dfs -mkdir /hdfs dfs -rm -rf /hdfshdfs dfs -duhdfs dfs -get /hdfs /localhdfs dfs -put /local /hdfs 管理命令：hdfs dfsadmin -repor
阅读全文
摘要：1、创建hadoop用户,作为haoop的运行用户 2、配置JAVA_HOME环境变量，修改/etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_51 export PATH=${JAVA_HOME}/bin:$PATH 3、配置hadoop用户的PATH
阅读全文
摘要：我遇到了两个不太容易解决的问题。 问题一： 这个问题就是没有找到Berkeley DB 4.8 版本，我们需要对这个版本的Berkeley DB进行安装。 在http://www.oracle.com/technetwork/database/database-technologies/berkel
阅读全文
摘要：陷门函数：正向计算是很容易的，但若要有效的执行反向计算则必须要知道一些secret/knowledge/trapdoor（知识？）,也称为伪随机置换，可用于构造公钥密码系统。 若 f 为陷门函数，则 y = f (x) 是很容易计算的，但若要计算 x = f(-1) (y) 则是困难的， 若已知一些
阅读全文
摘要：混币原理：就是割裂输入地址和输出地址之间的关系。在一个交易中，假如有很多人参与，其中包括大量输入和输出，这样会比较难在输入和输出中找出每个人的对应对，这样一来，输入与输出之间的联系被事实上割裂。多次混币、每次少量币，效果更好。 环签名：简化的类群签名。环中一个成员利用他的私钥和其他成员的公钥进行签名
阅读全文
浙公网安备 33010602011771号