下士闻道

摘要： HBase的BulkLoad有两种方式： thinrow的机制是flatmap把cell的信息进行flatmap；适合少于1万列的数据集；thinrow的涵义就是少行多列； bulkload的机制则是flatmap的是行，把行在拆分为cell是在map里面做的。适合多余1万列的数据集。 thinro 阅读全文

摘要： 构建镜像 添加jdk引用（可以使用yum进行安装）； 安装SSH 碰到一个问题，执行systemctl的时候发生了异常： Failed to get D-Bus connection 解决这个问题的方式就是： docker run --privileged -ti -e "container=doc 阅读全文

摘要： sudo docker pull daocloud.io/registry 安装仓库（registry） 使用daocloud/aliyun镜像吧，官网仓库真心没法用 sudo docker run --name registry --restart=always -d -p 5000:5000 r 阅读全文

摘要： 1. HFile的LoadIncrement卡住 原来是因为权限，我一直以为，load函数之后是要删除文件的，但是hdfs://slave1:8020/test/info文件夹所有的是只读权限，而且考出来附加到HFile的时候可能也需要改文件，但是权限不够，所以导致卡在了那个地方。 2.df.rdd 阅读全文

摘要： 在windows下面，csv文件另存为UTF-8，在excel中打开中文是乱码，如果另存为utf-8 Big + BOM，Excel打开则是正常显示 阅读全文

摘要： 1.下载oracle客户端； 配置安装路径到PATH，我的是首先定义了一个环境变量ORACLE_CLIENT_PATH（这个路径其实就是官网下来的zip包解压缩后的路径）,然后将这个变量附加到PATH后面，好处是以后修改/升级路径简单方便； 还要记得配置TNS_ADMIN，这一点和v11.x是不一样 阅读全文

摘要： 如果是使用了Cloudera来安装到此路径下： /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/bin 执行： sudo ./yarn application -kill application_XXXX 阅读全文

摘要： java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 这是因为代码中调用的是spark2.0的接口，但是提交任务采用的是sp 阅读全文

摘要： 当通过marathon提交了一个任务后，发现一直处于waiting状态； 回到mesos，执行MASTER=$(mesos-resolve `cat /etc/mesos/zk`) & mesos-execute --master=$MASTER --name="cluster-test" --co 阅读全文

摘要： 采用rpm方式安装你了mesos，碰到zookeeper（采用了cloudera的zookeeper）的IP地址变化了，肿么办？ 在master机器中： /etc/mesos/zk进行编辑修改zk路径改为zookeeper集群地址（注意，开头标志zk://，结尾添加/mesos即可，中间是zooke 阅读全文