七星6609

摘要： 今天产品问了一个问题，问懵了 产品：canal在开通mysql权限时需要哪些权限 我：SELECT, REPLICATION SLAVE, REPLICATION CLIENT 产品：那SELECT权限要开通到表级还是库级（我们使用canal同步数据时最终选择到表） 我：en..... 晚会给你答案 阅读全文

摘要： spring是在开发中使用比较广泛的开发套件，开箱即用，很是方便，比如在开发定时任务时，只需要使用@Schedule就可以轻松配置，简直不要很方便，但是如果开发了很多定时任务，而且有的定时任务执行时间比较长，如果没有设置线程池，可能会出现定时任务执行时间和实际指定的时间不一致的问题，下面是我们遇到的 阅读全文

摘要： DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 具体介绍这里不再赘述，官网和其他博客都很多：https://www.jianshu.com/p/f5f0d 阅读全文

摘要： 一、简述 Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。有如下特性： 高可靠性 去中心化的多Master和多Worker, 自身支持HA功能, 采用任务队列来 阅读全文

摘要： 使用VMware虚拟机由于电脑关机时，虚拟机没关闭，导致虚拟机被挂起，再打开电脑继续运行虚拟机时，时间就变为上次关闭电脑的时间，导致虚拟机时间不对，下面使用ntp来处理时间同步问题 1.安装ntp yum -y install ntp 2.设置开机自启并启动ntp服务 systemctl enabl 阅读全文

摘要： 1.错误描述 我在Windows 10 系统下打包dolphinscheduler，上传到centos7解压之后，执行脚本报如下错误： -bash: ./dolphinscheduler-daemon.sh: /bin/sh^M: 坏的解释器: 没有那个文件或目录 ^M是什么东东，为什么会有^M 通 阅读全文

摘要： 通过配置VIP，在进行主备切换时，出现的报错信息： 1.当主备节点当前binlog文件名称相同时，原主节点的position小于主备切换后的position，出现如下报错： 2020-07-02 15:08:09,332 INFO [destination = 1-236 , address = / 阅读全文

摘要： 对于spark前来围观的小伙伴应该都有所了解，也是现在比较流行的计算框架，基本上是有点规模的公司标配，所以如果有时间也可以补一下短板。 简单来说Spark作为准实时大数据计算引擎，Spark的运行需要依赖资源调度和任务管理，Spark自带了standalone模式资源调度和任务管理工具，运行在其他资 阅读全文

摘要： 有时候我们下载开源软件时，由于国外站点网速很慢，简直是龟速，下面是搜集到的镜像网站，速度杠杠的： 全球的开源镜像站点 国内高校的开源镜像站 中国科学技术大学(debian.ustc.edu.cn) 上海交通大学(ftp.stju.edu.cn) 大连理工大学(mirror.dlut.edu.cn) 阅读全文

摘要： 无论是传统行业，还是互联网行业，数据可用性都是至关重要的，虽然现在已经步入大数据时代，nosql比较流行，但是作为数据持久化及事务性的关系型数据库依然是项目首选，比如mysql。 现在几乎所有的公司项目，不说可用性必须达到5个9，至少也要要求，数据库出现问题，不能丢失数据，能够快速响应异常处理，下面 阅读全文

摘要： 当我们在线上运行项目时，依赖很多jar包，有时候某个类的全限定名，在多个包中出现，而某个包中的类的方法没有，而且在类加载时，刚好加载了这个类，可能会报找不到方法，或者找不到类的异常，这种情况就可能是类冲突： 如： java.lang.NoSuchMethodError: com.google.com 阅读全文

摘要： 平时在处理一个或几个机器运行环境时，一个机器一个机器处理也能接受，但是如果是一批机器，几十或几百台，要是一台一台去安装环境，光是输入同一的命令，估计你自己都想吐，所有聪明的人会想一些偷懒的办法，确实可以找到一些省时省力的方法，比如写一个批量处理shell脚本，这几天在处理一批（八九十台）机器环境，找 阅读全文

摘要： 在进行数据交换时，如果主键不是整型，需要对字符串，或联合主键拼接为字符串，进行hash，再进行取模分片，使用的是String自带的hashCode()方法，本来是件很方便的事，但是有些字符串取hashCode竟然是负数，使得分片为负数，找不到对应的分片，我们先看一下String 生成hashCode 阅读全文

摘要： 在安装完hive之后（hadoop-2.10.0安装hive-2.3.6），已经迫不及待的想尝试一下hive的一些用法，我们最常用的就是直接输入hive回车，使用的是cli（Command Line Interface ）模式，下面介绍一下hive的使用以及一些常用的命令 1.首先查看hive帮助， 阅读全文

摘要： 公司建立数仓，hive是必不可少的，hive是建立在hadoop基础上的数据库，前面已经搭建起了hadoop高可用，要学习hive，先从搭建开始，下面梳理一下hive搭建过程 1.下载hive安装包 ，下载地址：https://hive.apache.org/downloads.html 找到自己h 阅读全文