我的空中楼阁

摘要：echo #CENTOS7echo #1.最小化安装之后需要做的事echo 2.配置echo 2.1 安装网络yum install net-tools -yecho 2.2 更新机器名echo hdp1.student >/etc/hostname echo 2.3.配置防火墙 echo #关闭防 阅读全文

摘要：在项目中使用spark-stream读取kafka数据源的数据,然后转成dataframe,再后通过sql方式来进行处理,然后放到hive表中, 遇到问题如下,hive-metastor在没有做高可用的情况下,有时候会出现退出,这个时候,spark streaminG的微批作业就会失败, 然后再启重 阅读全文

摘要：yarn node labels 特性给节点打标签可以把特性类似的节点分成一组,这样可以指定特定的应用执行在特定的机器群上.现在我们只支持节点划分,1.一个节点仅能有一个节点划分,即一个节点只能打一个标签.这样一个集群就可以被划分成多个不相交的子集群,默认的,节点属于一个叫default的分区.2. 阅读全文

摘要：表存储的内容本身上没有类型,都是字节数组.存储的每一条数据都有一个行键,根据行键来划分给对应的regionserver来负责.它是面向列的存储,具体来说是面向列族的存储,每一个列族的数据,根据rowkey进行分发,分给特定的region.Hbase 是面向列族存储的，同属一个列族的数据是存在一起的。 阅读全文

摘要：YARN最初的思想是把hadoop1中的job tracker的功能拆分出来,把它的资源管理与任务调度功能分成两个单独的进程.yarn体系结构中有两个进程,resource manager和nodemanger.前者主要负责资源分配,后者nodemanager在每一个机器中都有一个进程,负责cont 阅读全文

摘要：maven shade plugin插件小用 项目中一直使用assembly插件来整合依赖包到一个胖jar,在做这个akka http项目的时候,在scala ide的run/debug中都执行正常,打包后执行就一直报报不到configuration项目的问题. 判断是assembly在解压合并相关 阅读全文