随笔分类 - 大数据
spark
摘要:问题 上传文件到Hadoop异常,报错信息如下: 解决 1、查看问题节点的进程情况: DataNode进程没有启动 2、查看Hadoop datanode.log信息 报错的信息为,namenode clusterID 与 datanode clusterID 不一致! 分别为: 回想了下,出现这个
阅读全文
摘要:在上一章 "《环境搭建》" 基础上,本章对各个模块做个测试 Mysql 测试 1、Mysql节点准备 为方便测试,在mysql节点中,增加点数据 进入主节点 进入数据库节点 创建数据库 创建数据表 增加几条数据,主键让其自增: 2、Zeppelin配置 配置驱动及URL地址: 使zeppelin导入
阅读全文
摘要:一、软件准备 1、基础docker镜像:ubuntu,目前最新的版本是18 2、需准备的环境软件包: 二、ubuntu镜像准备 1、获取官方的镜像: 2、因官方镜像中的apt源是国外资源,后续扩展安装软件包时较麻烦。先修改为国内源: (1)启动ubuntu容器,并进入容器中的apt配置目录 (2)先
阅读全文

浙公网安备 33010602011771号