loading

随笔分类 -  hadoop

hive 表分类
摘要：内部表 元数据被删，hdfs文件夹目录也被删除 外部表 元数据被删，hdfs文件夹目录文件不会被删 分区表 为表建立分区（可以是内部表，也可以是外部表），将表分为多个分区，查的时候，去具体的一个小分区中去查，速度更快。分区表实际上将表文件分成多个有标记的小文件以方便查询 桶表 分区表是将大文件划分为 阅读全文
posted @ 2020-10-07 20:16 EaApple 阅读(232) 评论(0) 推荐(0)
spark 运行wc-demo报错归总（saveAsTextFile方法）
摘要：核心报错日志 org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor 错误原因 在linux上运行成功的demo,代码放到win 阅读全文
posted @ 2020-09-17 21:02 EaApple 阅读(369) 评论(0) 推荐(0)
配置单机实验版hbase环境
摘要：HADOOP https://hadoop.apache.org/docs/stable/hadcd oop-project-dist/hadoop-common/SingleCluster.html JAVA_HOME export JAVA_HOME=/root/app/jdk1.8.0_161 阅读全文
posted @ 2020-08-16 18:28 EaApple 阅读(126) 评论(0) 推荐(0)
centos7 copy虚拟机之后,对网络的配置
摘要：无涉及Linux网卡驱动和core之间的配置,只是简单的网卡配置. 1 ifconfig 查看当前系统的网卡是eth0还是ens33,如果报错,可以先不管,等配置好网络后,下载对应的组件. 2 cd /etc/sysconfig/network-scripts/ 3 ls -al 查看当前的网卡 4 阅读全文
posted @ 2020-07-24 23:29 EaApple 阅读(98) 评论(0) 推荐(0)