随笔分类 - 大数据
摘要：Hbase的优缺点 1 列的可以动态增加，并且列为空就不存储数据,节省存储空间. 2 Hbase自动切分数据，使得数据存储自动具有水平scalability. 3 Hbase可以提供高并发读写操作的支持 Hbase的缺点： 1 不能支持条件查询，只支持按照Row key来查询. 2 暂时不能支持Ma
阅读全文
摘要：1. 启动hive metastore 2. 启动hive thrift接口 参考：http://www.cnblogs.com/kisf/p/7497261.html 3. 下载presto server 4. 配置 config.properties 该配置将coordinate与worker配
阅读全文
摘要：1. flume安装 (1)下载：wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.1.tar.gz (2)解压：tar zxvf flume-ng-1.6.0-cdh5.7.1.tar.gz (3)环境变量： sou
阅读全文
摘要：https://yq.aliyun.com/articles/50487?spm=5176.100239.blogcont43566.18.uawbnY
阅读全文
摘要：quota分为两种： 1. 目录下的文件数限制 2. 目录下的空间大小 列对应：QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT 计算公式： QUOTA – (DIR_COUNT + FILE_C
阅读全文
摘要：1. 下载 官网下载地址刷不出来： https://www.mongodb.com/download-center 打开网页源码能找到下载地址：https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.5.13.tgz 2. 解压安装 3. 设置
阅读全文
摘要：spark客户端提交任务至yarn，后台抛错，FinalStatus:UNDEFINED. ./spark-submit --class org.apache.spark.examples.SparkPi --conf spark.eventLog.dir=hdfs://jenkintest/tmp
阅读全文
摘要：配置container-executor.cfg 注意：这个配置文件是通过C语言解析的，编码格式等很敏感。曾踩在坑里很久才出来。提示“yarn.nodemanager.linux-container-executor.group”配置找不到。 配置文件是否正确、和权限是否正确，可通过 ./bin/c
阅读全文
摘要：在 hadoop1生成ca并拷贝至hadoop2,hadoop2。 （密码随便设置，大于6位即可。如adminadmin） 在每一条机器上生成 keystore，和trustores 将最终keystore,trustores放入合适的目录，并机上后缀 hdfs-site.xml 配置ssl-cli
阅读全文
摘要：前提：完成hadoop + kerberos安全环境搭建。 安装配置spark client： 1. wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz 2. 配置 指定hadoop路径 配置环境变量： 分
阅读全文
摘要：10.112.28.240 prestocli 10.183.225.158 perstoser hive-site.xml useUnicode=true&characterEncoding=UTF-8&autoReconnect=true 启动协调者： 查看hdfs文件： presto-cli查
阅读全文
摘要：机器规划： 前置条建： kerberos部署：http://www.cnblogs.com/kisf/p/7473193.html Hadoop HA + kerberos部署：http://www.cnblogs.com/kisf/p/7477440.html mysql安装：略 添加hive用户
阅读全文
摘要：kerberos相关： hadoop相关： 命令行操作： -help 功能：输出这个命令参数手册 -ls 功能：显示目录信息 示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -->hadoop fs -ls
阅读全文
摘要：新扩容机器规划： 1. 修改/etc/hosts 增加新扩容机器的hostname 2. 将/etc/hosts同步到其他服务器 3. 将hadoop拷贝至slave3 4. 将jsvc拷贝至slave3(安全模式datanode需要通过jsvc启动) 5. kadmin添加pricipal 6.
阅读全文
摘要：IP、主机名规划 hadoop集群规划： kerberos集群规划： 用户权限规划： 前提是hadoop集群和kerberos服务器都安装完毕： hadoop集群搭建：http://www.cnblogs.com/kisf/p/7460235.html kerberos服务器搭建：http://ww
阅读全文
摘要：1. 常见问题 （1）hostname设置问题。vi /etc/sysconfig/network （2）集群/etc/hosts没有统一。 （3）yarn slave需要单独启动。./sbin/yarn-daemon.sh start resourcemanager （4）namenode格式化需
阅读全文
摘要：1. 安装kerberos server client 2. hosts 3. 修改配置文件 /etc/krb5.conf /var/kerberos/krb5kdc/kdc.conf 4. 初始化数据库 等待一会，输入设定密码。 5. 添加principal 输入设定密码。 6. 修改acl 7.
阅读全文
摘要：可先完成hadoop namenode HA的搭建：http://www.cnblogs.com/kisf/p/7458519.html 搭建yarnde HA只需要在namenode HA配置基础上修改yarn-site.xml。 1. 修改yarn-site.xml (yarn另一台机器上一定要
阅读全文
摘要：hadoop集群搭建(namenode是单点的) http://www.cnblogs.com/kisf/p/7456290.html HA集群需要zk, zk搭建：http://www.cnblogs.com/kisf/p/7357184.html zk可视化管理工具：http://www.cnb
阅读全文
摘要：一、Hadoop NameNode 高可用 (High Availability) 实现解析 https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/
阅读全文
浙公网安备 33010602011771号