02 2020 档案

postgres登录失败Connection refused与SSL off失败
摘要：连接失败问题 使用postgres数据库连接工具测试，遇到两次失败 第一个登录失败问题 这语句翻译下，用户名密码是正确的，但是tcp/ip的连接失败了。这个解决方法其实就是去建立tcp/ip连接过程。 原因是宿主机并没有监听其他的主机接口，因此没有建立连接。 解决方法 第二个登录失败问题 这个问题也 阅读全文
posted @ 2020-02-28 19:23 碧海潮心 阅读(7529) 评论(1) 推荐(0)
linux find命令
摘要：查找100m大文件 查找文件 阅读全文
posted @ 2020-02-28 12:44 碧海潮心 阅读(414) 评论(0) 推荐(0)
docker运行安装mysql postgres
摘要：安装mysql 安装postgres 阅读全文
posted @ 2020-02-28 11:39 碧海潮心 阅读(247) 评论(0) 推荐(0)
linux下postgres创建hive数据库
摘要：操作步骤 阅读全文
posted @ 2020-02-27 20:43 碧海潮心 阅读(406) 评论(1) 推荐(0)
linux创建用户组、用户
摘要：创建用户组 创建用户 阅读全文
posted @ 2020-02-27 20:36 碧海潮心 阅读(170) 评论(0) 推荐(0)
spark-env.sh增加HADOOP_CONF_DIR使得spark运行文件是hdfs文件
摘要：spark env.sh增加HADOOP_CONF_DIR使得spark读写的是hdfs文件 刚装了spark,运行wordcount程序，local方式，执行的spark submit，读和写的文件都是宿主机，而不是hdfs。测试命令修改了spark env.sh导致spark submit命令执 阅读全文
posted @ 2020-02-24 22:29 碧海潮心 阅读(5192) 评论(0) 推荐(0)
spark wordcount程序
摘要：spark wordcount程序 IllegalAccessError错误 这个错误是权限错误，错误的引用方法，比如方法中调用private,protect方法。 当然大家知道wordcount业务很简单，都是调用依赖的方法，最后在一篇博客讲了错误: "spark 2.2 读取 Hadoop3.0 阅读全文
posted @ 2020-02-24 10:58 碧海潮心 阅读(1205) 评论(0) 推荐(0)
hive内表和外表的创建、载入数据、区别
摘要：创建表 创建内表 创建外表 载入数据 查看文本数据 查看数据库数据 区别 因为我hive也是刚开始了解，所以只讲一部分 1.内表主要放在hdfs中默认的hive目录。外表指定了location 2.删除内表，重新创建一个一样的内表，数据不会装载 删除外表，重新创建一个一样的外表，数据会自动的装载 删 阅读全文
posted @ 2020-02-20 17:22 碧海潮心 阅读(2038) 评论(0) 推荐(1)
Postgresql查询表和表结构
摘要：查询表名 或者 查询表结构 阅读全文
posted @ 2020-02-20 11:48 碧海潮心 阅读(2437) 评论(0) 推荐(0)
spring boot 整合mapreduce运行的ClassNotFoundException
摘要：问题 一个wordcount运行总是报错 java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.hadoop.mapreducedemo1.mapreducedemo.mapper.MyMapperTask 网 阅读全文
posted @ 2020-02-14 21:29 碧海潮心 阅读(626) 评论(0) 推荐(0)
设计模式外观设计模式
摘要：外观设计模式 定义：为子系统提供一个一致的界面，定义一个高层接口，使得子系统更容易使用 外观模式（Facade Pattern）是经常使用的设计模式 例子 以大话设计模式为例，散户自己操盘，也可以通过基金经理来操盘，通过基金经理操盘就体现了外观模式 股票类 国债类 基金类 测试类 运行结果 例子说明 阅读全文
posted @ 2020-02-03 22:39 碧海潮心 阅读(132) 评论(0) 推荐(0)
设计模式之模板设计模式
摘要：模板设计模式 定义：固定算法的骨架，将部分具体的实现放在子类中。模板方法使得子类可以不改变一个算法的结构而改变算法 的实现。 好处：调用的时候不关心实现，对外暴露的父类接口是一样的，实现代码的复用 例子 以《大话设计模式》中的例子。老师出试卷，学生抄试卷并回答为例。 分析：试卷应该都是一样的，学生需 阅读全文
posted @ 2020-02-02 13:56 碧海潮心 阅读(284) 评论(0) 推荐(0)