SparkStreaming两种方式连接Flume

博主头像 SparkStreaming 连接Flume的两种方式分别为:Push(推)和Pull(拉)的方式实现,以Spark Streaming的角度来看,Push方式属于推送(由Flume向Spark推送数据);而Pull属于拉取(Spark 拉取 Flume的输出数据); Flume向SparkStre ...

SQL Server使用脚本实现自动备份

博主头像 因服务器安装的SQL Server版本不支持自动定时备份,需自行实现,大概思路为: 创建备份数据库的脚本 创建批处理脚本执行步骤一中的脚本 创建Windows定时任务执行步骤二中的脚本 1. 创建SQL脚本 新建db_backup.sql文件,填入以下内容。 -- 定义需要备份的数据库 DECLAR ...

python拼接mysql语法时in的问题

mysql的in语句后面的值类似python的元祖,正常情况下直接传元祖进入也可以。 比如我们有一个元祖:tmp_tup = ("xiaoming", "xiaohua") 格式化字符串 sql = f"select * from tb where name in {tmp_tup}" 这样是没有问 ...

Redis入门到放弃系列-redis cluster集群原理

Redis Cluster Redis Cluster是redis的分布式解决方案,在redis 3.0版本推出后有效的解决了reids分布式方面的需求。Redis Cluster的主要特性有: 数据进行分片,在每个master上保存一部分数据 内置高可用支持,部分master不可用时,仍可提供服务 ...

gpload的配置与使用

博主头像 启动服务(gpfdist) 因为gpload是对gpfdist的封装,因此使用gpload之前必须开启gpfdist的服务,不然无法使用 gpfdist -d /home/admin -p 8181 -l /tmp/gpfdist.log & 编写gpload的yml文件 VERSION: 1.0. ...

postgresql 如何手动清理归档文件(pg_wal)

博主头像 背景 发现数据库宕机,排查原因发现数据磁盘爆满,经排查发现是数据库数据目录下,pg_wal目录占用过大导致。 pg_wal(Write-AHead Logging) 说明 wal日志位置: $PGDATA/pg_wal(pg10之前叫pg_xlog) # #wal日志文件命名规则: #我们看到的wa ...

MYSQL - JDBC连接

使用JDBC进行MYSQL数据库连接 一共有六个步骤 1. 加载注册驱动 使用IDEA建立maven工程时,可以直接在pom文件中进行mysql驱动包的导入;若不使用maven进行jar包导入,可自行进行添加; MySQL驱动的maven坐标: <dependency> <groupId>mysql ...

linux安装mysql

博主头像 软件提取 资料:取码: 525u 网速镜像wget下载慢时候,或内网安装时,可开先下载文件直接安装。 安装编译工具及库文件 yum -y install gcc gcc-c++ make autoconf libtool-ltdl-devel gd-devel freetype-devel libx ...

BI解决方案 – 基于MS SQL SERVER生态圈

博主头像 微软体系中的SSIS, SSAS, SSRS是一套相辅相成的工具,组成了微软的BI(商业智能)解决方案。 架构举例,SQL SERVER 2012 BI体系配置如下: 简单来说: SSIS 是ETL工具,将 数据库的数据抽取到数据仓库; SSAS 是Cube(多维数据库)工具,将数据仓库转换成多维数 ...

OLAP引擎:基于Druid组件进行数据统计分析

博主头像 与现在相对热门的Clickhouse引擎相比,Druid对高并发的支持相对较好和稳定,但是Clickhouse在任务队列模式中的数据查询能力十分出色,但是对高并发支持不够友好,需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多,在数据的查询引擎层通常都具有两种或者以上的OLAP引擎,选... ...

Redis常见面试题

博主头像 ##1.什么是redis Redis 是一个基于内存的高性能key-value数据库。整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作,Redis的性能非常出色,每秒可以处理超过 10万次读写操作,是已知性能最快的Key-Value DB ...

Java连接MySQL8.0——JDBC(IDEA版本)

博主头像 一.导入jar包 1.下载jar包:https://dev.mysql.com/downloads/ 2.导入 在项目文件夹下新建一个名为lib的文件夹 将下载好的jar包放入lib文件夹,然后右击lib文件夹,选择Add as Library...,然后点击ok 二.代码部分 1.加载驱动 Cla ...

HBase 学习二(最佳实践).

博主头像 一、Rowkey 优化 Rowkey 是行的主键,它是以字典顺序排序的。所以 Rowkey 的设计是至关重要的, 关系到你应用层的查询效率。 整规化 Rowkey 有时作为 Rowkey 的字段长度不一样,比如 user_id, 而通过对 Rowkey 进行规整化,能够避免 Rowkey 长度不一致 ...

mysql prompt用法详解

当我们用mysql client连接mysql实例的时候我们想要显示我们连接的是那个实例、用哪个账号登录的、现在在哪个database中、现在系统时间等等很多信息的时候,那么mysql prompt将需要配置,以下将介绍prompt的配置详解,以及配置方法: 1、我们可以放在默认配置文件的mysql ...

MongoDB Shell的输出问题案例

博主头像 最近遇到一个案例,使用MongoDB Shell命令的时候,它总会将你输入的命令重复输出,如下截图所示 而且你在MongoDB Shell中输错了命令,选择回退/删除的时候,它也不行。折腾了半天,从MongoDB Shell的选项到Linux的环境变量.....折腾到我快放弃的时候,终于一道曙光从天 ...

MongoDB 那些事(一文以蔽之)

前言 身边一直都有小伙伴在问:MongoDB到底是什么?它有到底什么特性?有什么与众不同?在什么情况下使用MongoDB最合适?以什么样的姿势是最好的?难道就一定要用吗?....说实话,这些问题都问到精髓了,也看得出来你们的急切和真切。有时候大家都比较忙,很难抽出一天的时间,坐而论道,把这些问题掰扯 ...

MySQL实战45讲,丁奇带你搞懂

博主头像 之前,你大概都是通过搜索别人的经验来解决问题。如果能够理解MySQL的工作原理,那么在遇到问题的时候,是不是就能更快地直戳问题的本质? 以实战中的常见问题为切入点,带你剖析现象背后的本质原因。为你串起各个零散的知识点,再由线到面带你构建MySQL知识体系。旨在给你一个从理论到实战的系统性指导,让你少 ...

HBase 学习一(基础入门).

博主头像 一、HBase 是什么? HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统” 。就像 Bigtable 利用了 Google 文件系统(File System)所提供的分布式数据存储一样 ...

SqlServer触发器的创建与使用

博主头像 前言 上期我们介绍了SqlServer的视图和存储过程创建与使用,这期我们介绍一下触发器。 有需要回顾的可以电梯直达看一下: SqlServer视图的创建与使用 SqlServer存储过程的创建与使用 触发器的定义 触发器(Trigger)是针对某个表或视图所编写的特殊存储过程,它不能被显式地调用, ...

<1···91011···200>