下士闻道

摘要： AutoCommit设置为true（大多数JDBCdrive的默认配置），则每次执行的SQL语句执行完成后都会落实到数据库中；如果想要在跨语句事务，则需要添加Begin Transiction，Commit/RollBack； 如果设置为false，执行的SQL语句，当前仅当COMMIT的时候才会执 阅读全文

摘要： 在用BoneCP的时候，发现一个JVM日志中报了一个异常，大意是“探测（detect）到有数据库链接没有关闭”（不得不说JVM的强大），但是我用的是连接池里面的链接啊，怎么会需要关闭呢？ 有问题首先找官网。 于是我上官网又看了一遍Demo，但是只是一个简单的Demo，历史的BoneCP的sample 阅读全文

摘要： 直接在for下面remove/delete都会引发异常：ConcurrentModificationException下面是解决方案：利用迭代器进行删除； 收集删除项，最后一并删除 阅读全文

摘要： 原文：https://www.cnblogs.com/justcxtoworld/archive/2013/11/15/3425656.html 一：经验风险 机器学习本质上是一种对问题真实模型的逼近，这种近似模型也叫做一个假设。因为真实模型肯定是无法得到的，那我们的假设肯定与真实情况之间存在误差， 阅读全文

摘要： base revision（基本版本）：代表的是最近一次从svn服务器上面获取的版本内容；本质还是本地版本，只不过这个版本是上次从服务器上面获取的。 lastest from resource(资源库的最新版本）：代表svn服务器的最新版； 其实通过console也可以看出端倪，如果执行了base 阅读全文

摘要： Ambari所有的服务的组件列表： {"service_name":"HDFS","component_name":"DATANODE","hosts":"c6401.ambari.apache.org"},{"service_name":"HDFS","component_name":"HDFS_ 阅读全文

摘要： 外表关联parquet文件 1. 为什么关联了一次数据文件就不能二次被使用； 2. 为什么删除了employee，select还是可以而且有数据，1,2可能是一个问题 外表drop只是metadata表内容删除，hdfs的/user/hive/warehouse中依然有此表；但是如果是manage 阅读全文

摘要： spark-shell用户 spark-shell只能spark用户来进行初始化，如果用hdfs或者root将会卡在spark-shell的初始化那个地方。可以用这两个用户来验证spark安装时成功地；但是如果想要通过shell来执行code、command，那么还是要用spark用户。 但是如果s 阅读全文

摘要： 到底什么是框架？ 框架其实是一种约束，实现的是某种行为的机制；框架最大的价值是基于生命周期的概念，就是软件提供的服务，在服务从构建到销毁的过程中，生命周期各个节点功能实现层面上面所要遵循的约束和机制。 组件（kafaka，log4j）是为了框架的低成本实现（可复用）的产物，可以说是框架的一个实现；但 阅读全文

摘要： 每当研究一个新技术，你应该关注的是这个技术背后的东西，比如kudu使用的raft算法，研究大数据的时候，应该看看Google的三篇论文；研究微服务，你要学的是分布式的原理原则，最佳实践。总之你要跳出技术本身来学习其理念，这才是学习技术。 阅读全文