淡季的风

摘要： 1.单机模式 1）下载zookper，解压 2.将conf目录下的zoo_sample.cfg重命名或复制一份为zoo.cfg 3.修改zoo.cfg 写入如图内容，保存。 4.编辑环境变量，将zookeeper地址加入PATH 5.zkServer.sh start <zoo.cfg>启动zook 阅读全文

摘要： 1.rdd to dataframe rdd.toDF(schema=None, sampleRatio=Non) session.createDataFrame(data, schema=None, samplingRatio=None, verifySchema=True) rdd转换为data 阅读全文

摘要： 1. map与 mapPartitions的异同 map与mapPartitions的作用相同,map是对每一个element应用func, mapPartitions是对每一个partition应用func. partition是指分区，对数据的切分，类似hadoop的split， 比如一份数据有 阅读全文

摘要： core site.xml hadoop.tmp.dir hadoop临时文件，不要放到/tmp下面，要不然每次重启就丢失了 fs.defaultFs 必须， 单机模式下是本地文件的路径， 伪分布式和分布式模式下，都是hdfs主节点路径 阅读全文

摘要： 1.环境变量 上图的写到.bashrc或/etc/profile 同步至其他节点 2. hostname 3台虚拟机，分别如下： 域名 hostname node* 分别设置主机名 修改/etc/hosts(ubuntu) 并同步至其他节点 3. ssh免密码登录 在node1上，生成公钥， ssh 阅读全文

摘要： HBase版本：1.2.6 Hadoop版本：2.7.4 Java版本： 1.8.00 os: ubuntu16.04 server 前提： 先装好java, hadoop，参考hadoop搭建 安装 下载 hbase-1.2.6-bin.tar.gz 解压 通用配置 conf/hbase-env. 阅读全文

摘要： hadoop版本：2.7.4 java版本:1.8.0 os: ubuntu16.04 server 安装： 1.安装java。 2.下载haddop-2.7.4-bin.tar.gz, 解压，如图 hadoop的配置文件位于 hadoop安装目录下的 etc/hadoop下 通用配置 1.JAVA 阅读全文

摘要： vars 如果传参数，等同于__dict__ __all__ 对于module和package，只对from *.py import * 这种方式有效， 这时候只会列出包含在__all__中的属性或方法 阅读全文

摘要： 1. 运行单个go文件，包名必须是main，否则会报错：“cannot run non-main package” 2.go没有类似python的自动解包机制，比如函数返回多个值并赋值给一个变量，就会报错“multiple-value contact2() in single-value conte 阅读全文

摘要： 1.第一种，归纳法，一个台阶的时候只有1中方法，2个台阶的时候2种方法，3个台阶的时候可以分为2部分，将前面两个台阶认为是1个，相当于2个台阶，还是2种方法，再乘以前面一部分的方法数量就是3个台阶的方法数量，以此类推，每增加一个台阶，走的方法是少一个台阶时候的2倍，因此这个算法可以这样写： 2. 阅读全文