johnny233

摘要： 概述 crontab为Linux下的计划任务程序，对应的服务为crond。crond是一个守护进程，每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务。Linux系统上面原本就有非常多的计划性工作，故而，这个系统服务是默认启动的。 入门 配置定时任务的方式有两种，对应的Cron 阅读全文

摘要： 概述 最近在全职负责一款数据产品的升级改造。因旧版平台的代码写得太乱，简直惨不忍睹；别说增加功能，已有问题的定位与修复都无从下手。用户提交的，在旧版平台能执行的SQL语句，在新版平台执行报错。 此为背景。 UDF ERROR: Cannot divide decimal by zero 报错信息如下 阅读全文

摘要： 背景 DataGrip作为一款超级强悍的数据库工具，支持MongoDB是一件必然的事情。早期版本应该不支持；另外，IDEA内嵌简单版本的数据库连接插件。测试验证下来，IDEA 2020.1.4版本支持连接MongoDB，DataGrip 2021.1.2 版本支持连接MongoDB（更早版本应该也支 阅读全文

摘要： 背景 最近在维护的一款数据产品，有一个数据推送功能，就是把数据从A数据源同步到B数据源。通过SQL指定A数据源里面的数据表，和字段。 前面有SQL编辑框，可以提交语法无误的SQL。上面截图中的字段，表示期望推送到下游数据源的字段。左侧提供一个自动生成字段的功能，当然，右侧提供一个控件，支持用户手动输 阅读全文

摘要： 背景 在做数据推送功能遇到的一个问题。具体来说，通过SQL查询语句，将Impala中100多万条数据写入到MongoDB时报错。大致的报错信息如下： java.lang.Exception: org.springframework.dao.DuplicateKeyException: Bulk wr 阅读全文

摘要： 概述 LDAP是一种协议，Lightweight Directory Access Protocol，轻量级目录访问协议，用于提供目录信息查询服务，基于TCP/IP协议。 目录服务：是一种特殊的数据库系统，其专门针对读取，浏览和搜索操作进行特定的优化。目录一般用来包含描述性的，基于属性的信息并支持精 阅读全文

摘要： 概述 企业微信作为一款即时办公通讯工具，在企业级应用中有很多功能场景，如：告警触达，数据推送，登录验证。其中登录验证方式，可以替换手机短信验证码登录方式，能够一定程度上为公司节约一笔费用支出。本文就登录验证这一功能，设计较为详细的一整套解决方案。 设计 登录界面设计： 大致交互设计： 登录账号，即域 阅读全文

摘要： 问题 业务人员在使用我最近全职维护的数据产品时，反馈的一个问题。 这个功能模块，支持各种类型的数据源，如：Hive，MySQL，SQL Server，Oracle，ClickHouse，Impala等。支持多段SQL，多段SQL子句以英文分号分隔，且最后一个SQL子句必须是select查询子句；se 阅读全文

摘要： 不喜，勿喷。 概述 看过源码后，就能清楚明白，很简单的一个问题，本文记录一下。幸好在发布上线之前，自己在本地自测时，发现这个问题并修复。非常简单的代码，简单到自以为是，根本不需要验证，结果啪啪啪打脸。但若上线后，将是不可预知的损失与后果。告诫自己，一定要自测自测自测。 场景 queryTo是一个Ma 阅读全文

摘要： 概述 最近在全职负责一款数据产品，从后端研发，到前端研发（半吊子），到测试验证（近乎全职），到产品功能交互等设计（又是半吊子），几乎只有我一个人。之所以是这样的局面，是因为被具备中国特色社会主义的公司老板压榨着。 设计 功能浅析 世面上的数据产品，很多很多。其中有不少产品，都大体上可以理解为，基于数 阅读全文