微威

摘要： spark读取关系型数据库大表jdbc OOM 除非获取大小设置为Integer.MIN_VALUE ，否则JDBC驱动程序总是获取所有行. 默认情况下，ResultSets被完全检索并存储在内存中。 在大多数情况下，这是最有效的操作方式，并且由于MySQL网络协议的设计更容易实现。 如果您正在使用 阅读全文

摘要： 问题日志 02-23 14:49:12 INFO o.s.c.s.PostProcessorRegistrationDelegate$BeanPostProcessorChecker: Bean 'org.springframework.transaction.annotation.ProxyTra 阅读全文

摘要： 报错信息 2020-06-19 16:57:44: ==〇^^^L\ = = Sqoop执行不成功！ Warning: /usr/hdp/2.5.3.0-37/accumulo does not exist! Accumulo imports will fail. Please set SACCUM 阅读全文

摘要： 为什么要查询表数据量 在做数据仓库管理时，数据导入hive或向表生成数据形成的数据资产，表里的数据量和占用存储空间是重要的元数据属性。为方便数据使用时计算资源的分配，对数据要有基本的了解，所以需要对表的数据量做统计。 使用 analyze table 主动生成元数据信息 analyze table 阅读全文

摘要： 背景 数据处理平台从oracle迁移到hadoop平台后，原有的数据处理过程需要改写为sparkSql。由于sparkSql执行环境和数据的不确定，经常有资源竞争导致处理过程意外停止，数据倾斜导致任务执行失败。 为减少出错概率，需要对sparkSql进行规范与优化。 转换 exist 转换 为 le 阅读全文

摘要： 版本信息： Oracle GoldenGate Command Interpreter Version 12.2.0.1.160419 OGGCORE_12.2.0.1.0OGGBP_PLATFORMS_160430.1401 Linux, x64, 64bit (optimized), Gener 阅读全文

摘要： 数据治理 数据质量规则 目的 数据治理分析的重要前提是有数据且有正确的数据可以提供分析。数据质量的把控，应是后续工作的重中之重。为数据挖掘、预测、数据分析算法的合理使用、多维查询、即席分析、数据可视化等工作做好支撑，让数据质量不再是空中楼阁。数据质量不高表现为数据以多种格式，杂乱无序的存在于内外部的 阅读全文

摘要： 题目规则 规则 1：对于连续顺序4位及以上的字母，中间使用“~”替换。 例如：ahhhhhhbcdefko, 替换后为ahhhhhhb~fko。 规则2：对于连续重复出现3个及以上的字母，以该字母+重复的个数替换。 例如：ahhhhhhbcdefko，替换后为ah6bcdefko。 总体示例： 输入 阅读全文

摘要： 是在使用分页查询时 this.jobReadMapper.beginPager(pageParam);XXXXXXXXXXXXXXXXXXXXXXXXthis.xxxReadMapper.queryById(xxx); this.jobReadMapper.endPager(this.jobRead 阅读全文

摘要： 错误信息： ERROR 2019-09-05 10:29:05,700 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)ERROR 2019-09-05 10:29:05,700 NetUtil.py:97 - SS 阅读全文