johnny233

摘要： 最近在反思工作第四年的深度，故而写此系列。 其他Java系列文章： Java学习之编译、反编译以及字节码入门Java学习之StringJava学习之JDK9新特性 位操作，简单确强大，有一两拨千金奇效；可是平时工作中用得真心不多，故此文章也有备份回顾之意。 在计算机中所有数据都是以二进制的形式储存的 阅读全文

摘要： 概述 给定一个二维数组和目标数字，数组的每行或者每列都是有序的，判断数字是否在二维数组里面。 如数组[[1, 3, 4, 7], [3, 5, 10, 20], [7, 8, 15, 30], [10, 15, 20, 50]]，判断10是否在二维数字中。 分析 思路1：两次for循环，肯定可以解决 阅读全文

摘要： 概述 垃圾进，垃圾出（garbage in，garbage out）。数据质量定义： 数据质量可能不是数据治理的最核心部分，但可能会成为数据治理落地的最大障碍。 评估 一般从以下6个方面评估数据质量： 完整性：数据的记录和信息是否完整，是否存在缺失情况；一致性：数据的记录是否符合规范，是否与前后及其 阅读全文

摘要： 概述 XXL-JOB通过一个中心式的调度平台，调度多个执行器执行任务，调度中心通过 DB 锁保证集群分布式调度的一致性，这样扩展执行器会增大 DB 的压力，然而大部分公司的任务数，执行器并不多；XXL-JOB提供非常好用的监控、告警功能。不同于 ElasticJob，XXL-JOB在使用时依赖MyS 阅读全文

摘要： 概述 对于一个企业级的平台或系统或站点，权限模块或系统是必不可少的。权限管控，即权力限制，不同的人由于拥有不同权力，他所看到的、能使用的东西不一样。对应到一个应用系统，其实就是一个用户可能拥有不同的数据权限（看到的）和操作权限（使用）。数据包括：菜单、列表、记录详情等，操作包括：新增，查看，编辑，删 阅读全文

摘要： 索引文件是按照不同的数据结构来存储的，数据结构的不同也产生不同的索引类型： 全文索引空间数据索引(R-Tree)哈希索引树索引 全文索引 全文索引主要用于海量数据的搜索，MySQL从5.6开始支持InnoDB引擎的全文索引，功能没有专业的搜索引擎如Sphinx或Solr丰富。需求比较简单时可以试用。 阅读全文

摘要： 概述 在做后台网站(平台/系统)业务开发时，经常遇到层级概念。比如我最近在全权负责（开发+测试+产品）的一款数据产品就有分类的层级概念，层级有3层；另外有数据集、图表、看板、组合看板、数据推送等功能点（概念），这些功能点名称都有层级的概念。 举个例子：创建一个一级分类（最顶级）数据集。背景知识：数据 阅读全文

摘要： 概述 最近在全权负责的数据产品平台。简单来说，就是基于JDBC去执行SQL。支持各种不同的数据源如，Hive，Impala，MySQL，ClickHouse等。 问题 某次发布后，数据推送失败，报错Parameter #1 is unset，具体的报错日志： java.sql.SQLExceptio 阅读全文

摘要： 概述 使用MongoDB的过程中，发现会出现磁盘空间爆满的问题，因此简单调研得到此文。 查询版本：db.version(); 获取全量集合名：db.getCollectionNames(); 统计 在Mongodb中有两个和stats相关的方法：db.stats()和db.collection.st 阅读全文

摘要： 背景 最近在全职负责的报表开发平台，有一个看板订阅功能，即按照设置的调度时间定时把看板数据加载为字节流发送到用户配置的指定邮箱。 然后偶发性地出现邮件发送失败问题，执行日志截图： 排查 上面报错日志： ERROR MailService - sendEmail error org.apache.co 阅读全文