摘要：
配置参数管理 待补充。。。 资源分配管理（Admission Control） Impala有资源池的概念，允许某些查询在特定的资源池执行，不过在白天不跑批/晚上不跑adhoc的DSS系统中，该机制并不常用（oracle、cgroup性质都类似），有兴趣可以参考《Impala Guide 中的Adm
阅读全文
posted @ 2019-04-07 18:00
zhjh256
阅读(470)
推荐(0)
摘要：
参考：Apache Impala Guide--Impala SQL Language Reference。 Impala使用和Hive一样的元数据存储，Impala可以访问使用原生Impala CREATE TABLE创建的表和Hive DDL创建的表； Impala支持和HiveQL类似的DML
阅读全文
posted @ 2019-04-07 18:00
zhjh256
阅读(1239)
推荐(0)
摘要：
架构 Hadoop整体由HDFS、YARN、MapReduce三大部分组成，推荐架构参考：https://www.cnblogs.com/zhjh256/p/10573684.html。 注：2.x的时候引入了YARN、并调整了一系列进程，其性能较差，本文主要讲解2.0体系。1.0可以参考https
阅读全文
posted @ 2019-04-07 17:59
zhjh256
阅读(345)
推荐(0)
摘要：
CDH quickstart vm包含了单节点的全套hadoop服务生态，可从https://www.cloudera.com/downloads/quickstart_vms/5-13.html下载。如下： 对应的节点如下（不包含Cloudera Navigator）： 要学习完整的hadoop生
阅读全文
posted @ 2019-04-06 22:43
zhjh256
阅读(2113)
推荐(0)
摘要：
一个线上环境出现异常，不是spring boot。 解决方法： server.xml中加上maxHttpHeaderSize="8192" springBoot 1.x则是在application.properties文件中配置【server.tomcat.max-http-header-size=
阅读全文
posted @ 2019-04-03 13:19
zhjh256
阅读(3791)
推荐(0)
摘要：
所谓康威定律 有一位叫康威的人，提出一个观点：设计系统的组织，其产生的设计等同于组织之内、组织之间的沟通结构。其实，这里的系统并不局限于软件领域的系统。康威对其定律又做了具体解读： 组织沟通方式会通过系统设计表达出来。 时间再多一件事情也不可能做得完美，但总有时间做完一件事情。 线型系统和线型组织架
阅读全文
posted @ 2019-04-01 08:38
zhjh256
阅读(421)
推荐(0)
摘要：
概述 微服务架构是一种非常流行的新概念，即便可供以借鉴的经验比较少，当然不能阻挡它成为热门话题与研究对象。 令人惊讶地是，其实微服务的概念早在五十多年前就已经被提出，多年来，很久研究表明了这些观点的准确性。这就是本文所介绍的——康威定律。现在已经有很多企业正在尝试使用它创建高效的微服务架构。 在这篇
阅读全文
posted @ 2019-04-01 07:29
zhjh256
阅读(554)
推荐(0)
摘要：
oracle网络服务之beq协议和SDU优化（性能提升可达30%） 12.3.1 BEQ协议 如果Oracle数据库服务端和客户端在同一台机器上，可以使用BEQ连接，BEQ连接采用进程间直接通信，不需要走网络监听，对于大数据量的导入导出来说性能更高。BEQ协议可以通过在tnsnames.ora 配置
阅读全文
posted @ 2019-03-29 19:26
zhjh256
阅读(1044)
推荐(0)
摘要：
首先，看动物矩形框，它代表一个类（Class）。类图分三层，第一层显示类的名称，如果是抽象类，则就用斜体显示。第二层是类的特性，通常就是字段和属性。第三层是类的操作，通常是方法或行为。前面的符号，+ 表示public，- 表示private，# 表示protected。 右下角的飞翔，它表示一个接口
阅读全文
posted @ 2019-03-29 15:33
zhjh256
阅读(295)
推荐(0)
摘要：
今天一个spring boot应用windows跑起来后页面显示乱码，加上jvm启动参数为utf-8后，页面显示正常。
阅读全文
posted @ 2019-03-27 12:54
zhjh256
阅读(2234)
推荐(0)
摘要：
最近学习hadoop以及生态，顺便看到了这篇文章，总结的很到位，转载下。 我今天要讲这三个话题，一个是云计算，一个大数据，一个人工智能，我为什么要讲这三个东西呢？因为这三个东西现在非常非常的火，它们之间好像互相有关系，一般谈云计算的时候也会提到大数据，谈人工智能的时候也会提大数据，谈人工智能的时候也
阅读全文
posted @ 2019-03-27 07:45
zhjh256
阅读(440)
推荐(1)
摘要：
java poi导出excel报了网络错误，信息已经写回到chrome浏览器（IE/FF均无此问题）。如下所示： 从chrome的network大小部分也可以看出是正确的。 网上很多答案说将file.length()设置为response的Content-Length即可，经我们测试，当excel超
阅读全文
posted @ 2019-03-27 07:26
zhjh256
阅读(4205)
推荐(0)
摘要：
rabbitmq的RabbitMQ Web MQTT插件可以用来支持将rabbitmq作为MQTT协议的服务器，而websocket支持mqtt协议通信实现消息推送。因为我们目前使用rabbitmq，所以采用其作为ws的服务端（原来有过activemq的做法，其原生也支持MQTT协议）。 首先安装R
阅读全文
posted @ 2019-03-18 08:35
zhjh256
阅读(7905)
推荐(0)
摘要：
官方文档https://mariadb.com/kb/en/library/mariadb-columnstore/ 推荐使用最新1.2.x最新版本。 先决条件 安装1.0的jemalloc，可下载rpm包如jemalloc-3.6.0-1.el7.x86_64.rpm。 安装（单机） 推荐下载li
阅读全文
posted @ 2019-03-15 08:33
zhjh256
阅读(1472)
推荐(0)
摘要：
优化器生成正确执行计划的前提条件是要有正确的统计信息，不准确的统计信息往往会导致错误的执行计划。当通过SQL和基数推断出的执行计划和实际执行计划不同时，就可以借助10053事件。10053事件是用来诊断优化器如何估算成本和选择执行计划的，用它产生的trace文件提供了Oracle如何选择执行计划，为
阅读全文
posted @ 2019-03-13 15:10
zhjh256
阅读(623)
推荐(0)
摘要：
在运用CAS做Lock-Free操作中有一个经典的ABA问题： 线程1准备用CAS将变量的值由A替换为B，在此之前，线程2将变量的值由A替换为C，又由C替换为A，然后线程1执行CAS时发现变量的值仍然为A，所以CAS成功。但实际上这时的现场已经和最初不同了，尽管CAS成功，但可能存在潜藏的问题，例如
阅读全文
posted @ 2019-03-05 07:32
zhjh256
阅读(247)
推荐(0)
摘要：
1.下载erlang 官网地址 http://www.erlang.org/download 挑选合适的版本 然后 建议20.3运行命令 wget http://erlang.org/download/otp_src_20.3.tar.gz 2.使用yum安装下必须的配件： yum install
阅读全文
posted @ 2019-03-04 12:06
zhjh256
阅读(1322)
推荐(0)
摘要：
"Settings" > "Build, Execution, Deployment" > "Compiler" > "Java Compiler" > add "-parameters" as "Additional command line parameters". <plugin> <!--
阅读全文
posted @ 2019-03-01 13:19
zhjh256
阅读(3105)
推荐(0)
摘要：
本文描述spring boot基于Atomikos+DruidXADameSource分布式事务配置（100%纯动态），也就是增加、减少数据源只需要修改application.properties文件，无需动态增加或减少Bean。 有时候我们一个应用会有N份部署，每个需要访问多个数据源，A环境可能只
阅读全文
posted @ 2019-02-21 13:04
zhjh256
阅读(903)
推荐(0)
摘要：
Oracle sqlldr LOAD DATAINFILE *INTO TABLE testFIELDS TERMINATED BY X'9'TRAILING NULLCOLS( c2 "upper(:c2)", c3 date "yyyymmdd", --这里指定日期格式 c1 "SEQ_test
阅读全文
posted @ 2019-02-16 20:48
zhjh256
阅读(326)
推荐(0)
摘要：
最近在测试jdbc数据导入大量数据的性能，发现PreparedStatement传进null值会报错。 解决方法： setObject(int parameterIndex, Object x, int targetSqlType) 如：preparedStatement.setObject(10,
阅读全文
posted @ 2019-02-16 20:31
zhjh256
阅读(766)
推荐(0)
摘要：
解决方法： 禁止IM FastStart exec DBMS_INMEMORY_ADMIN.FASTSTART_DISABLE(); exec DBMS_INMEMORY_ADMIN.FASTSTART_DISABLE();
阅读全文
posted @ 2019-02-14 14:28
zhjh256
阅读(203)
推荐(0)
摘要：
很多开发人员之所以编写出低效的应用，有一大原因是并不理解怎样编写高效的SQL。以订单查询为例，我们经常需要查询某个用户的订单以及订单明细，并且以树形方式展现如下： 对于这种性质的功能，很多开发人员的做法是先查询主表，然后根据主表去循环子表，如下所示： 这种做法就是典型的过程性编程思维，它不仅在更改查
阅读全文
posted @ 2019-02-02 15:12
zhjh256
阅读(2067)
推荐(2)
摘要：
Oracle 11.2.0.2里新增了一个新特性——用户重命名(Rename User)，在这个版本之前要想重命名用户，需要按用户导出，再fromuser touser（imp）或remap_schem（impdp）。还可以通过修改数据字典user$的方式来重命名用户，但这种方法可能会带来风险。有了
阅读全文
posted @ 2019-02-01 15:06
zhjh256
阅读(3530)
推荐(0)
摘要：
昨晚，包发到测试环境中，出现redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketException: 断开的管道 (Write failed)，如下所示： [] 2019-01-30 22:01:39 [43
阅读全文
posted @ 2019-01-31 17:27
zhjh256
阅读(11606)
推荐(0)
摘要：
当项目中使用单点登录功能时，通常会使用cookie进行信息的保存，这样就可以在多个子域名上存取用户信息。 比如有三个domain分别为test.com,cml.test.com,b.test.com这三个域名下的cookie是需要互相访问的。这时会在response上写入cookie信息 Cooki
阅读全文
posted @ 2019-01-28 21:36
zhjh256
阅读(2368)
推荐(0)
摘要：
本文主要考虑单点登录场景，登录由其他系统负责，业务子系统只使用shiro进行菜单和功能权限校验，登录信息通过token从redis取得，这样登录验证和授权就相互解耦了。 用户、角色、权限进行集中式管理。网上不少这样的提问，但是没有解决方案、抑或只是说明如何做，并没有完整的现成解决方法。 Apache
阅读全文
posted @ 2019-01-25 13:19
zhjh256
阅读(3085)
推荐(0)
摘要：
有时候需要往一个MAP中写入一些记录，但又怕无限制地写入会导致内存爆掉，所以得限制这个MAP的大小。 实现：LinkedHashMap提供了简单的方法。 首先，定义一个最大数，比如1000，然后new LinkedHashMap的时候，重写一下removeEldestEntry()方法： int m
阅读全文
posted @ 2019-01-25 11:13
zhjh256
阅读(1675)
推荐(0)
摘要：
yum install -y subversion svn checkout使用示例： 先创建一个目录，例如：mkdir test 检出到test目录下 svn checkout svn://192.168.231.1/SVNHome ./test 或： svn checkout https://1
阅读全文
posted @ 2019-01-22 13:37
zhjh256
阅读(949)
推荐(0)
摘要：
IDEA自身日志文件 C:\Users\zjhua\.IntelliJIdea2018.3\system\log 永久破解IDEA（很多license服务器都是非永久性的，太麻烦了） https://www.cnblogs.com/iathanasy/p/9469280.html，亲测。 在我们为
阅读全文
posted @ 2019-01-22 13:23
zhjh256
阅读(559)
推荐(0)
摘要：
在平时的时候，遇到一些问题总会在metalink上提交SR（Service Request，SR，过去也叫Technical Assistance Request，TAR ），我们提交sr的时候，总是希望早点能够得到问题的解答。那么我们该如何提交sr，提交sr后该如何提高解答的速度呢？ 1.sr分为
阅读全文
posted @ 2019-01-08 08:12
zhjh256
阅读(810)
推荐(0)
摘要：
我们有个系统使用了Oracle flashback data archive闪回数据归档特性来作为基于时间点的恢复机制，在频繁插入、更新期间发现SYS_FBA_HIST_NNNN表中的XID被两个事务重用了，导致start_scn相同，于是在执行as of scn/timestamp查询的时候，相同
阅读全文
posted @ 2019-01-07 13:19
zhjh256
阅读(398)
推荐(1)
摘要：
昨天一测试环境出现异常ORA-55617: Flashback Archive "XXXXX" runs out of space and tracking on "XXXX"，其解释如下： Description: Flashback Archive "string" runs out of sp
阅读全文
posted @ 2018-12-25 08:40
zhjh256
阅读(634)
推荐(0)
摘要：
几年前记得整理过，@Transacitonal注解的方法被另外一个方法调用的时候，事务是不生效的，其原因在于spring @Transactional是通过动态代理实现的，可以参见https://blog.csdn.net/yangquanwa/article/details/88578357。 如
阅读全文
posted @ 2018-12-13 20:00
zhjh256
阅读(3640)
推荐(1)
摘要：
结构化分级基金 金融产品的结构化说白了就是一类投资者和另一类投资者的资金合并运作，两类投资者之间的收益分配模式和比例不同。券商和信托公司推出的结构化产品有一个共同点，其中一类投资者和投资管理人为同一主体，而国投瑞银推出的结构化分级基金的两类投资者都和基金管理人没有直接的利益关系。 基金A类份额和C类
阅读全文
posted @ 2018-12-10 14:07
zhjh256
阅读(932)
推荐(0)
摘要：
Instagram可以说是网拍App的始祖级应用，也是当前最火热的拍照App之一，Instagram的照片数量已经达到3亿，而在Instagram里，我们需要知道每一张照片的作者是谁，下面就是Instagram团队如何使用Redis来解决这个问题并进行内存优化的。 首先，这个通过图片ID反查用户UI
阅读全文
posted @ 2018-12-10 10:44
zhjh256
阅读(297)
推荐(0)
摘要：
早上一到，发现oracle连不上。 到主机上，发现只有oracleora11g一个进程，其他进程全没了。 Nov 14 23:33:30 hs-test-10-20-30-15 kernel: INFO: task sadc:14833 blocked for more than 120 secon
阅读全文
posted @ 2018-12-07 23:30
zhjh256
阅读(576)
推荐(0)
摘要：
yum无法安装的pdksh，本地pdksh-5.2.14-37.el5_8.1.x86_64.rar，点击下载。
阅读全文
posted @ 2018-12-07 23:26
zhjh256
阅读(2131)
推荐(1)
摘要：
select * from v$pq_sesstat; select * from v$px_process; select * from v$active_session_history; https://www.cnblogs.com/linjiqin/archive/2012/05/23/25
阅读全文
posted @ 2018-12-07 23:26
zhjh256
阅读(470)
推荐(0)
摘要：
在一个与我们平行的世界中，有一个软件开发公司。这个公司所做的产品用户量近期增长的十分迅猛，但是令CTO头疼的是公司的两大部门：开发部和运维部近期也是“掐”得厉害。为解决这个问题，CTO决定倒入现在十分流行的DevOps，并且CTO还请来了Gary来当顾问。项目管理者联盟 听到这个消息，开发部经理 “
阅读全文
posted @ 2018-12-07 23:25
zhjh256
阅读(761)
推荐(0)
浙公网安备 33010602011771号