代码工匠

摘要： 项目中存在问题 资产变更通知模块，用户在配置了变更通知之后，系统会根据该表的血缘信息生成一个附件，附件内容为该表所影响到的下游数据信息。 因为公司的数据体量大，表的血缘信息也比较复杂，某一张表的信息影响到的下游都有十万张表。因此在生产Excel的过程，用户需要等待十多分钟。 分析以及优化 因为某一张 阅读全文

摘要： mybatis 中xml 编写遇到的坑 阅读全文

摘要： 一 正常的写数据流程 源码注释： * DFSOutputStream creates files from a stream of bytes. * * The client application writes data that is cached internally by * this st 阅读全文

摘要： Rowkey设计时需要遵循三大原则： 1. 唯一性原则 rowkey在设计上保证其唯一性。rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。 2. 长度原则 rowkey是一个二进制码流，可以是 阅读全文

摘要： 1）提请在map端进行combiner,减少传入的数据量 在mapper加上combiner相当于提前进行reduce，即把一个Mappper中的相同key进行了聚合，减少shuffle过程中传输数据量，以及reducer端的计算量。【注意：map端的提前聚合不能影响最终的结果，eg:求平均值的就不 阅读全文

摘要： 小文件影响： 存储小文件时会降低NN的服务能力，NameNode的资源是非常宝贵的。 解决方法： ①采用har 归档，将小文件归档。 ②采用CombineTextInputFormat ③开启jvm重用 阅读全文

摘要： user=root password=root url=jdbc:mysql://localhost:3306/数据库名字?useSSL=false driverClass=com.mysql.jdbc.Driver 阅读全文

摘要： 冒泡排序算法的原理如下： 比较相邻的元素。如果第一个比第二个大，就交换他们两个。 [ 对每一对相邻元素做同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。 针对所有的元素重复以上的步骤，除了最后一个。 持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较 阅读全文

摘要： 1.说明：产生随机数的代码封装为一个静态函数，可以直接调用函数，传入两个参数。两个参数用于指定范围。 参数1：start 为指定区间的开始，参数2：end 为指定区间的结束。 2.代码： public class TestRandom { public static void main(String 阅读全文

摘要： 1.核心配置文件： generatorConfig.xml generatorConfig.xml 放的位置 看图 数据库的连接信息修改成你自己的连接信息 生成的实体类，接口，xml 映射文件 生成的包路径可以自己修改成你自己的包下 在与表的映射时候，我们可以定义实体类的名字，但是 首字母一定要大写 阅读全文