hadoop - 随笔分类 - Flink菜鸟

Apache Atlas 安装，配置 HiveHook

摘要：Apache Atlas 安装，配置 HiveHook 下载源码 Apache Atlas 官网只提供源码包下载： Download 直接下载最新版本： 2.2.0 venn@venn git % wget https://downloads.apache.org/atlas/2.2.0/apach 阅读全文

posted @ 2022-03-24 15:41 Flink菜鸟阅读(2219) 评论(0) 推荐(0)

hadoop 有那些发行版本

摘要：hadoop发行版本 1. apache hadoop http://hadoop.apache.org/ 2. cloudera hadoop(CDH) https://www.cloudera.com/ 3. hortonworks hadoop(HDP) https://hortonworks 阅读全文

posted @ 2019-01-03 14:15 Flink菜鸟阅读(2034) 评论(0) 推荐(0)

idea执行mapreduce报错 Could not locate Hadoop executable: C:\hadoop-3.1.1\bin\winutils.exe

摘要：java.io.FileNotFoundException: Could not locate Hadoop executable: C:\hadoop-3.1.1\bin\winutils.exe org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 阅读全文

posted @ 2018-12-03 21:40 Flink菜鸟阅读(1161) 评论(0) 推荐(0)

/bin/bash: /bin/java: Is a directory 解决

摘要：Hadoop执行 mapreduce报错 wtf？看了下hadoop-env.sh 里面的JAVA_HOME，也没问题算了，没有就给你一个吧建个软连接，把Java指过去，搞定。阅读全文

posted @ 2018-11-29 22:47 Flink菜鸟阅读(4116) 评论(0) 推荐(0)

hadoop报错：java.io.IOException(java.net.ConnectException: Call From xxx/xxx to xxx:10020 failed on connection exception: java.net.ConnectException: 拒绝连接

摘要：任务一直报错现象比较奇怪，部分任务可以正常跑，部分问题报错报错信息如下： yarn报错，任务不能访问jobhistory，启动historyserver就行阅读全文

posted @ 2018-09-09 21:52 Flink菜鸟阅读(1406) 评论(0) 推荐(0)

Hadoop3集群搭建之——hive添加自定义函数UDTF （一行输入，多行输出）

摘要：上篇： Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop，配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF 阅读全文

posted @ 2018-07-09 23:16 Flink菜鸟阅读(1143) 评论(0) 推荐(0)

使用Hadoop API 解压缩 HDFS文件

摘要：接上篇：使用Hadoop API 压缩HDFS文件压缩完了，当然需要解压缩了。直接上代码：打包执行：文件大小： 249.4 M ，解压后大小：1.4 G，执行时间 39 s，很不错项目地址：码云阅读全文

posted @ 2018-06-18 10:53 Flink菜鸟阅读(683) 评论(0) 推荐(0)

使用Hadoop API 压缩HDFS文件

摘要：下篇解压缩：使用Hadoop API 解压缩 HDFS文件起因：集群磁盘剩余空间不足。删除了存储在HDFS上的，一定时间之前的中间结果，发现并不能释放太多空间，查看计算业务，发现，每天的日志存在数量竟然是10份。/惊恐 /a/log=20180101 #每日原始日志 /b/log=201801 阅读全文

posted @ 2018-06-18 10:52 Flink菜鸟阅读(2429) 评论(0) 推荐(0)

hadoop 修改datanode balance带宽使用限制

摘要：前段时间，一个客户现场的Hadoop看起来很不正常，有的机器的存储占用达到95%，有的机器只有40%左右，刚好前任的负责人走了，这边还没有明确接班人的时候。我负责的大数据计算部分，又要依赖Hadoop的基础平台，要是Hadoop死了，我的报表也跑不出来（专业背锅）。做下balance，让各个节点阅读全文

posted @ 2018-06-18 10:33 Flink菜鸟阅读(1174) 评论(0) 推荐(0)

yum 安装报错：Could not retrieve mirrorlist http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra=stock error was 14: curl#6 - "Could not resolve host: mirrorlist.centos.org; Unknown error"

摘要：找不到DNS服务器。解决办法：配置/etc/resolv.conf 加入如下内容：重新执行。搞定阅读全文

posted @ 2018-05-26 10:48 Flink菜鸟阅读(6502) 评论(3) 推荐(0)

Hadoop3集群搭建之——hive添加自定义函数UDTF

摘要：hive UDTF函数阅读全文

posted @ 2018-05-20 16:15 Flink菜鸟阅读(684) 评论(0) 推荐(0)

Hadoop3集群搭建之——hive添加自定义函数UDF

摘要：hive udf函数阅读全文

posted @ 2018-05-20 15:45 Flink菜鸟阅读(1484) 评论(0) 推荐(0)

Hadoop3集群搭建之——hbase安装及简单操作

摘要：hbase安装及简单操作阅读全文

posted @ 2018-05-17 23:36 Flink菜鸟阅读(10540) 评论(0) 推荐(0)

Hadoop3集群搭建之——hive安装

摘要：Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop，配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hbase安装及简单操作现在到hive了。 hive安装比较简单。下载个包，解压，配置hive-site.xml、hive-en 阅读全文

posted @ 2018-05-01 21:58 Flink菜鸟阅读(2212) 评论(1) 推荐(0)

Hadoop3集群搭建之——配置ntp服务

摘要：搭建ntp服务器阅读全文

posted @ 2018-04-25 23:27 Flink菜鸟阅读(1424) 评论(0) 推荐(0)

Hadoop3集群搭建之——安装hadoop，配置环境

摘要：centos7安装hadoop3 阅读全文

posted @ 2018-04-24 21:56 Flink菜鸟阅读(11927) 评论(0) 推荐(0)

Hadoop3集群搭建之——虚拟机安装

摘要：centos7安装hadoop3 阅读全文

posted @ 2018-04-23 22:05 Flink菜鸟阅读(5565) 评论(5) 推荐(3)

hadoop web管理界面不能打开问题

摘要：hadoo web界面，yarn web界面，hdfs web界面阅读全文

posted @ 2018-04-06 11:44 Flink菜鸟阅读(19044) 评论(0) 推荐(1)

hadoop mapreduce 写入hbase报错 Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect

摘要：现象：map任务构造数据正常，reduce任务，开始也正常，速度很快，在hbase 的管理界面，可以看到，5W以上的请求数当reduce 执行到 70% 左右的时候，就堵住了，查看yarn的web界面，可以找到如下报错信息。不会尝试使用SASL认证。连接被拒绝。错误原因，找不到zookee 阅读全文

posted @ 2017-12-04 14:08 Flink菜鸟阅读(6725) 评论(0) 推荐(0)

随笔分类 - hadoop