07 2020 档案

Fastjson @JsonField注解使用
摘要：【引言】 在开发中，不论是前后端联调，还是与第三方对接，有时候难免会遇到对方定义的json数据中的key值与自己后端定义的实体字段不一致的情况，也有时候会遇到前端传的日期数据需要进行格式转换的问题。本篇博客接下来要总结的这个注解，可以很方便的处理我们的问题，下面就一起看看如何使用。 【实例】 一. 阅读全文
posted @ 2020-07-30 12:04 cknds 阅读(2111) 评论(1) 推荐(0)
kafka发送消息的三种方式
摘要：package com.zl.kafkademo; import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache 阅读全文
posted @ 2020-07-30 11:45 cknds 阅读(5666) 评论(0) 推荐(0)
Flink使用SideOutPut替换Split实现分流
摘要：以前的数据分析项目(版本1.4.2)，对从Kafka读取的原始数据流，调用split接口实现分流.新项目决定使用Flink 1.7.2，使用split接口进行分流的时候，发现接口被标记为depracted(后续可能会被移除).搜索相关文档，发现新版本Flink中推荐使用带外数据进行分流. 预先建立O 阅读全文
posted @ 2020-07-30 10:07 cknds 阅读(425) 评论(0) 推荐(0)
kettle连接CDH的hive存取数据
摘要：一开始下载了最新版的kettle8.2，经过各种百度，下载hive配置和jar包，但是总是连接不上hive，报各种错误，不一一举例了。 折腾很久才发现，原来是版本不匹配 因为kettle连接hadoop集群，分为连接CDH还是apache hadoop，从目录\data-integration\pl 阅读全文
posted @ 2020-07-26 02:46 cknds 阅读(2090) 评论(1) 推荐(0)
CDH 删除Agent节点
摘要：环境 centos 6.5 JDK 8 CDH 5.16CDH 通过CM安装,而不是独立安装组件包;CM移除节点登录web管理界面执行: 主机->所有主机->勾选主机->已选定的操作:停止主机上的角色执行: 主机->所有主机->勾选主机->从群集中删除:勾选"解除授权角色"和"跳过管理角色"执行: 阅读全文
posted @ 2020-07-24 13:51 cknds 阅读(843) 评论(0) 推荐(0)
maven 编译命令
摘要：从别处拷贝来的maven项目，有时候会出现不能debug关联的情况，即按住ctrl键后不能跳转到相应的类或方法，这是需要eclipse环境生成 Eclipse 项目文件的。 可以在cmd命令窗口下进入到maven项目包含pom.xml文件的目录下，运行 mvn eclipse:eclipse 命令即 阅读全文
posted @ 2020-07-22 16:24 cknds 阅读(2996) 评论(0) 推荐(0)
python数据探索
摘要：数据质量分析 脏数据包括：缺失值；异常值；不一致的值；重复数据及含有特殊符号的数据； 1.缺失值处理 统计缺失率，缺失数 2.异常值处理 （1）简单统计量分析 （2）3Q原则 正态分布情况下，小概率事件为异常值 不服从正太分布的，可以用原离平均值多少倍标准差来分析 （3）箱线图分析 使用descri 阅读全文
posted @ 2020-07-22 13:57 cknds 阅读(280) 评论(0) 推荐(0)
Cloudera Manager(CDH5)内部结构、功能包括配置文件、目录位置等
摘要：1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/share/cmf/ : 程序安装目录。/usr/lib64/cmf/ : Agent程序代码。/var/lib/cloudera 阅读全文
posted @ 2020-07-11 19:17 cknds 阅读(381) 评论(0) 推荐(0)
cloudera manager 群集中有 副本不足的块
摘要：这个问题是由什么引起的呢？如果集群中，有二个datanode，而有3个副本的话，就会出现这样的问题。 1，副本数据小于等于datanode数 2，命令修改已有的副本数 修改副本数后不会若自动删除多余副本，怎需要执行以下命令 su - hdfs # "/" 指的是hdfs目录 hadoop fs -s 阅读全文
posted @ 2020-07-11 18:44 cknds 阅读(4396) 评论(0) 推荐(0)
IDEA调试常用快捷键
摘要：1、F7 单步调试，进入函数内部。 相当于eclipse的f5就是 进入到代码 2、F8 单步调试，不进入函数内部。 相当于eclipse的f6 跳到下一步3、F9 继续执行，进入下一个断点或执行完程序 4、Shift+F7 选择要进入的函数5、Shift+F8 跳出函数 6、Alt+F8 执行表达 阅读全文
posted @ 2020-07-10 17:16 cknds 阅读(2042) 评论(0) 推荐(0)
Mysql将学生分数行转列并求和
摘要：建表 CREATE TABLE `score` ( `id` INT(5) NOT NULL AUTO_INCREMENT, `name` VARCHAR(20) NULL DEFAULT NULL COLLATE 'utf8_general_ci', `obj` VARCHAR(20) NULL 阅读全文
posted @ 2020-07-09 17:30 cknds 阅读(709) 评论(0) 推荐(0)