随笔分类 - hadoop
关于hadoop
摘要：Constructor threw exception; nested exception is java.lang.ClassCastException: com.fasterxml.jackson.datatype.jsr310.JavaTimeModule cannot be cast to
阅读全文
摘要：将hadoop-lzo.jar放入hadoop/share/hadoop/common/ 修改core-site.xml <property> <name>io.compression.codecs</name> <value> org.apache.hadoop.io.compress.GzipC
阅读全文
摘要：vim sqoop-env.sh export HADOOP_HOME=/apps/hadoop export HADOOP_MAPRED_HOME=/apps/hadoop export HIVE_HOME=/apps/hive export ZOOKEEPER_HOME=/apps/zookee
阅读全文
摘要：注意看后面的报错类型 1.文件不存在 -- 在对应服务器添加文件 2. 文件没有执行权限 -- chmod 777 xxx 3.文件格式不是unix -- 在notepad++ 将文件改成unix
阅读全文
摘要：1.上传tez.tar.gz至hdfs的/tez，随后在本地目录解压 2.在hive的conf目录下创建tez-site.xml 输入： <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="con
阅读全文
摘要：1.首先确保sqoop路径正确且命令没有敲错。 2. 可执行命令必须全部是蓝色 如果某行开始出现白色，那里肯定是找不到的 解决：在蓝色命令末尾回车，重新打一遍命令，一般情况下会变成蓝色。 记住把白色的命令行删掉
阅读全文
摘要：1. 解压 2.vim config/server.properties 找到下列参数位置，并修改 #broker 的全局唯一编号，不能重复 broker.id=0 #kafka 运行日志存放的路径 log.dirs=/opt/module/kafka/logs #配置连接 Zookeeper 集群
阅读全文
摘要：1.解压 2.配置flume-env.sh文件: 将 flume/conf 下 的 flume-env.sh.template 文 件 修 改 为 flume-env.sh ， 并 配 置 flume-env.sh 文件, 声明jdk路径 export JAVA_HOME=/opt/module/j
阅读全文
摘要：前言：网上很多博客都没说到点子上，当时遇到这个问题也困扰了我好久，决定专门写篇博客帮大家脱离苦海。 不加载自定义配置文件无外乎2大情况： 1.使用其他环境的配置文件而没有使用hive/conf下的hive-site.xml配置文件（解决方案：删除非hive/conf下的配置文件） 2.使用了hive
阅读全文
摘要：原因在hadoop-daemon.sh找不到pid文件了 pid文件一般默认存放在/tmp，而服务器会定期清理/tmp 首先关闭hadoop 通过修改hadoop-daemon.sh 改变pid存放路径： yarn的则是修改yarn-daemon.sh： 注意：每台服务器都要配置 详情请见：http
阅读全文
摘要：新建一个driver jar包可以通过maven进行下载，配置好存放jar包的仓库 maven配置如下： <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc --><dependency> <groupId>org.ap
阅读全文
摘要：解压hive.tart.gz 将其命名为hive 1. cd hive/conf/ 2. cp hive-default.xml hive-site.xml 3. vim hive-site.xml 注意修改主机名，mysql用户名，和密码 且要保证mysql 能被远程登录，用户拥有足够权限，在这里
阅读全文
摘要：先stop-all.sh 删除hdfs-site.xml中的这两个目录 然后删除core-site.xml 中的这个目录 然后格式化hdfs hdfs namenode -format 即可启动成功 注意：顺序不要错，很多人namnode起不来都是顺序错了
阅读全文
摘要：https://www.cnblogs.com/biehongli/p/8734574.html
阅读全文
摘要：解压hbase后 cd conf vim hbase-site.xml <configuration><property><name>hbase.rootdir</name><value>hdfs://ubuntu-00:9000/hbase</value></property> <property
阅读全文
摘要：tar -xvf zookeeper安装包 cd zookeeper/conf cp zoo_sample.cfg zoo.cfg vim zoo.cfg 设置dataDir,末尾添加server 然后将zookeeper安装包scp到其他服务器 注意：dataDir目录需要自己手动生成 并且在da
阅读全文
摘要：在8088端口可以看到日志文件（主要看error），操作如下： 1.window jdk版本最好和linux jdk 版本一致，不然容易出现莫名奇妙的bug 之前出现一个bug: UnsupportedClassVersionError: ....... 就是版本错误引起的，花了好长的时间才搞定 2
阅读全文
摘要：1.删除hdfs-site.xml中dfs.namenode.name.dir目录和dfs.datanode.data.dir目录 然后 hdfs namenode -format 不然将无法启动namenode和datanode 2.重装jdk后，发现hadoop找不到java： 很可能是java
阅读全文
摘要：修改hadoop的配置文件yarn-site.xml： <configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name>
阅读全文
摘要：hdfs dfs -put ./a.txt / #复制本地./a.txt文件到hdfs文件系统的/ hdfs dfs -get ./b.txt / aaa #复制hdfs文件系统的根目录下的b.txt到本地目录/aaa hdfs dfs -cp ./b.txt / aaa/a.txt #将hdfs的
阅读全文
浙公网安备 33010602011771号