摘要：
task的parallelism可以在Flink的不同级别上指定。四种级别是：算子级别、执行环境（ExecutionEnvironment）级别、客户端（命令行）级别、配置文件（flink-conf.yaml）级别* 每个operator、data source或者data sink都可以通过调用setParallelism()方法来指定* 运行环境的默认并发数可以通过调用setParalleli... 阅读全文
摘要：
org.apache.httpcomponents httpclient 4.5.6public class HttpUtil { public static String doGet(String url) throws Exception { HttpGet httpGet = new HttpGet(url); return execute(htt... 阅读全文
摘要：
location / { content_by_lua_file "lua/dispatch.lua"; } location @user_profile_api12 { content_by_lua_block { ngx.say("xxxx") } ... 阅读全文
摘要：
使用docker构建分布式接口服务docker的安装·# 更新软件包，线上环境慎用yum update# 安装dockeryum install -y docker# 启动docker 服务systemctl start docker# 查看docker版本docker version# 查看运行的docker服务docker ps # 查看所有的docker服务docker ps -a# 查... 阅读全文
摘要：
org.apache.flink flink-table-planner_2.11 1.9.0 org.apache.flink flink-table-api-java-bridge_2.11 1.9.0 org.apache.flink fl... 阅读全文
摘要：
大数据技术发展2012年以前，大多数企业的数据仓库主要还是构建在关系型数据库上，例如Oracle、Mysql等数据库之上。但是随着企业数据量的增长，关系型数据库已经无法支撑大规模数据集的存储和分析，这种情况在一线互联网公司尤为明显，也是当时急需要解决的问题。随着2012年Hadoop技术框架的成熟和稳定，一线互联网公司纷纷使用Hadoop技术栈来构建企业大数据分析平台，随后两年基于大数据的应用如雨... 阅读全文
摘要：
public class RedisPoolFactory { private static HashMap poolFactory = new HashMap(); public static JedisPool getPool(String hostname, int port) { String key = hostname + port; if (!poolFa... 阅读全文
摘要：
Apache Kudu的基本思想、架构和与Impala实践Apache Kudu是一个为了Hadoop系统环境而打造的列存储管理器，与一般的Hadoop生态环境中的其他应用一样，具有能在通用硬件上运行、水平扩展性佳和支持高可用性操作等功能。在Kudu出现之前，Hadoop生态环境中的储存主要依赖HDFS和HBase，追求高吞吐批处理的用例中使用HDFS，追求低延时随机读取用例下用HBase，而Ku... 阅读全文
摘要：
1、普通tar压缩命令tar -zcvf cm-11.tar.gz cm-11//将cm-11文件夹压缩成cm-11.tar.gz2、压缩后的文件太大，需要将cm-11.tar.gz分割成N个指定大小的文件，怎么办？一条命令搞定split -b 4000M -d -a 1 cm-11.tar.gz cm-11.tar.gz.//使用split命令，-b 4000M 表示设置每个分割包的大小，单位还... 阅读全文
摘要：
Kudu+Impala介绍概述Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目。Kudu作为底层存储，在支持高并发低延迟kv查询的同时，还保持良好的Scan性能，该特性使得其理论上能够同时兼顾OLTP类和OLAP类查询。Impala作为老牌的SQL解析引擎，其面对即席查询(Ad-Hoc Query)类请求的稳定性和速度在工业界得到过广泛的验证，Impala并没有自己的存... 阅读全文