刁兆建

摘要： public static boolean checkidcard(String idcard) { String idcardnum=idcard.trim(); int len=idcardnum.length(); //身份证权重 int weight[]= {7,9,10,5,8,4,2,1,6,3,7,... 阅读全文

摘要： 1 DataStreamAPI1.1 DataStream Data Sources source是程序的数据源输入，你可以通过StreamExecutionEnvironment.addSource(sourceFunction)来为你的程序添加一个source。 flink提供了大量的已经实现好 阅读全文

摘要： 1 shuffle原理 1.1 mapreduce的shuffle原理 1.1.1 map task端操作 1.1.2 reduce task端操作 1.2 spark现在的SortShuffleManager 2 Shuffle操作问题解决 2.1 数据倾斜原理 2.2 数据倾斜问题发现与解决 2 阅读全文

摘要： RDD 介绍 RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指定 阅读全文

摘要： 本文对Redis的过期机制简单的讲解一下 讲解之前我们先抛出一个问题，我们知道很多时候服务器经常会用到redis作为缓存，有很多数据都是临时缓存一下，可能用过之后很久都不会再用到了（比如暂存session，又或者只存放日行情股票数据）那么就会出现一下几个问题了 之前一直接触Redis不是很深入，最近 阅读全文

摘要： ES即简单又复杂，你可以快速的实现全文检索，又需要了解复杂的REST API。本篇就通过一些简单的搜索命令，帮助你理解ES的相关应用。虽然不能让你理解ES的原理设计，但是可以帮助你理解ES，探寻更多的特性。 其他相关的内容参考：Elasticsearch官方文档翻译 样例数据 为了更好的使用和理解E 阅读全文

摘要： 摘要 最近做的一个项目涉及到了多条件的组合查询，数据存储用的是HBase，恰恰HBase对于这种场景的查询特别不给力，一般HBase的查询都是通过RowKey(要把多条件组合查询的字段都拼接在RowKey中显然不太可能)，或者全表扫描再结合过滤器筛选出目标数据(太低效)，所以通过设计HBase的二级 阅读全文

摘要： 学习了C语言之后，关于指针部分看了无数遍，有时候明明觉得自己看懂了，指针就是地址，但是总是在看代码时候糊里糊涂的搞不明白，最近又关于指针强化了一把。 大部分情况下对于程序中指针糊涂是因为不明白指针符“*”有两个作用: 第一，作为标识符，定义变量为指针，如int *p；//只是说明变量p是指针变量，而 阅读全文

摘要： 测试： 阅读全文

摘要： 数据加密、解密在安全领域非常重要。对程序员而言，在数据库中以密文方式存储用户密码对入侵者剽窃用户隐私意义重大。 有多种前端加密算法可用于数据加密、解密，下面我向您推荐一种简单的数据库级别的数据加密、解密解决方案。 在表中插入加密数据 以MySQL数据库为例，它内建了相应的加密函数... 数据加密、解 阅读全文