scala json fastjson json4s

最近有个spark任务涉及到scala操作json,大概流程是这样:从hbase取数据,每条数据先parse json,然后删除一个多余的key,最后在弄成json字符串,输出到hdfs。 json大概长这样,{“@type”:{"version":"1.0.2","name":"applicati ...

MySql的回顾十:TCL与事务的展示

山随宴坐图画出,水作夜窗风雨来。观水观山皆得妙,更将何物污灵台。经过风雨的洗礼,对面山上的树,路两旁的花草更加的鲜艳动人,路边的树又抽出新的枝芽,树下还有几朵菌类上的雨露显得熠熠动人,就是天气有几许丝凉。各位看官注意添加衣物。 今天继续有我带领读者们继续学习MySql的TCL语言,废话不多说直接上概 ...

MySql密码操作

设置密码: 在安装mysql时会提示设置自己的密码,我的设置为默认的user = root,passworld = root; 修改密码: 命令修改: 格式:mysql> set password for 用户名@localhost = password('新密码'); 可视化工具修改: 在你有可视 ...

MYSQL(一)

mysql服务: 启动:net start nysql 停止:net stop mysql 注:服务一般默认就是启动的,只有在启动服务时才需要用管理员方式运行cmd。 操作数据库: 登录数据库:mysql -uroot -proot u代表用户名,p代表密码(这样会暴露密码) // -->所以mys ...

DEM 安装部署

DEM 安装部署一、环境概述操作系统:Red Hat Enterprise Linux Server release 6.9 (Santiago) 中间件:tomcat-8JDK:操作系统自带jdk1.8.0_211 (/usr/java/jdk1.8.0_211-amd64)数据库:达梦8DEM包 ...

sql中count(1)、count(*)与count(列名)的区别

1. count(1) and count(*) 当表的数据量大些时,对表作分析之后,使用count(1)还要比使用count(*)用时多了!从执行计划来看,count(1)和count(*)的效果是一样的。但是在表做过分析之后,count(1)会比count(*)的用时少些(1w以内数据量),不过 ...

ELK~fluentd将日志文件增量读到es里

之前的文章说过通过sidecar实现fluentd插件在容器上的挂载,直接将容器某个目录的log文件收集到es里,(相关文章:https://www.cnblogs.com/lori/p/12559323.html)在这里就不在重复说了,今天主要说一下关于fluentd.config的配置,就是在k ...

MySQL 8.X 主从配置

Desc ✏️ 本文以基于GTID的复制示例 GTID(Global Transaction ID)是对于一个已提交事务的唯一编号,并且是一个全局(主从复制)唯一的编号。 它的官方定义如下: GTID = source_id :transaction_id 7E11FA47-31CA-19E1-9E ...

MySQL数据库的设计

什么是数据库设计? 数据库设计就是将数据库中的数据实体及这些数据实体之间的关系进行规划和结构化的过程.. 下面的数据库模型图就反应了四个数据实体之间的关系. 数据库的设计很重要 糟糕的数据库设计表现在以下两个方面: 效率低下 更新和检索数据时会出现很多问题 良好的数据库设计表现在以下几个方面: 效率 ...

postgresql 和 mysql 数据库备份恢复以及时区问题

概要 postgesql 12 备份/恢复脚本 时区设置 mysql 5.6 备份/恢复脚本 时区设置 概要 postgresql 和 mysql 是最常用的 2 种开源关系数据库, 很多项目也会优先选用这 2 种数据库. 通过 docker 来使用这 2 种数据库的时候, 部署非常方便, 没什么好 ...

HBase~hbase-shaded-client解决包冲突问题

对于springboot操作hbase来说,我们可以选择官方的依赖包hbase-client,但这个包的google类库很多时候会和你的项目里的google类库冲突,最后就是你的程序缺少类而无法启动,解决这个问题的方法很多,而最彻底的就是自己封装一个shade包,或者使用人家封装好的shade包,s ...

DM8 MPP安装笔记

修改系统时间,保持一致date -s 16:58:30hwclock -w1.MPP集群规划本集群打算使用2台服务器实例名 MAL_INST_HOST MAL_INST_PORT MAL_HOST MAL 端口 MPP_SEQNOHNSI01 10.120.130.92 5236 192.168.1 ...

HBase~读写操作的过程

读和写是Hbase的两种常见的基本操作,这两种操作都会涉及到Hfile和Meta表,我们依次看看。 Hfile HFile是Hbase在HDFS中存储数据的格式,它有如下特性: 主标识是一个行健 key按照有序的方式进行存储 HFile仅仅分配给一个Region 行存储在Hfile上面,通过排好序的 ...

ElasticSearch实战系列七: Logstash实战使用-图文讲解

前言 在上一篇中我们介绍了Logstash快速入门,本文主要介绍的是ELK日志系统中的Logstash的实战使用。实战使用我打算从以下的几个场景来进行讲解。 时区问题解决方案 在我们使用logstash将采集的数据传输到ES中的时候,会发现采集的时间@timestamp的时间和我们本地的不一致,这个 ...

[20200814]8K数据库最大行号.txt

[20200814]8K数据库最大行号.txt--//昨天听别人上课,对方想演示ITL槽不足出现的阻塞和死锁情况,讲到oracle 8K的数据块最大行号不能超过736.实际上--//比较准确的提法是1块(数据块大小8k)最多仅仅容纳736条记录,实测733.估计采用mssm模式可以达到736条(注: ...

同行分析优化

优化源于痛点(┬_┬) 有没有痛点取决于业务场景的需求;有多痛取决于当前方案对业务的契合度 让我们从业务场景①、当前方案②切入,联立①②来推导当前痛点③吧! 话不多说,开始分析 ①业务场景: 1.同一时间段内出现在同一摄像头下的用户即为同行关系(不需要两个人同步出现在摄像头下,因为我司暂不支持在一张 ...

<1···101112···200>