摘要：
前言： 一、背景介绍 二、大数据介绍 正文： 一、大数据相关的工作介绍 二、大数据工程师的技能要求 三、大数据学习规划 四、持续学习资源推荐（书籍，博客，网站） 五、项目案例分析（批处理+实时处理） 前言 一、背景介绍 本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Ja 阅读全文
posted @ 2018-12-24 11:22
雨中飞鹭
阅读(440)
评论(0)
推荐(0)
摘要：
1、hadoop模型如下： （上图为Hadoop1.x的布局） (Hadoop2.x较Hadoop1.x，多了YARN) Hadoop框架，是一个庞大的生态系统。 或者我们可以这样理解： 可以把整个体系，看成一个操作系统XP，win7，win8，win10。 HDFS和MapReduce为操作系统的 阅读全文
posted @ 2018-12-20 11:06
雨中飞鹭
阅读(233)
评论(0)
推荐(0)
摘要：
(一) HDFS主要是用于做什么的？ (二) HDFS的优缺点比较 HDFS 的优点： 1、高容错性 1)数据自动保存多个副本。它通过增加副本的形式，提高容错性2)某一个副本丢失以后，它可以自动恢复，这是由 HDFS 内部机制实现的，我们不必关心。 2、适合批处理 1)它是通过移动计算而不是移动数据 阅读全文
posted @ 2018-12-20 10:49
雨中飞鹭
阅读(3105)
评论(0)
推荐(1)
摘要：
几个表 几个表 employees 表： employees 表： EMPLOYEE_ID NUMBER(6) EMPLOYEE_ID NUMBER(6) FIRST_NAME VARCHAR2(20) FIRST_NAME VARCHAR2(20) LAST_NAME VARCHAR2(25) L 阅读全文
posted @ 2018-11-13 16:53
雨中飞鹭
阅读(6226)
评论(0)
推荐(0)
摘要：
一、元数据介绍 元数据指的是"数据库"、"表"、"列"的定义信息。 1.1、DataBaseMetaData元数据 Connection.getDatabaseMetaData()获得代表DatabaseMetaData元数据的DatabaseMetaData对象。 DataBaseMetaData 阅读全文
posted @ 2016-07-18 11:25
雨中飞鹭
阅读(271)
评论(0)
推荐(0)
摘要：
一、应用程序直接获取数据库连接的缺点 用户每次请求都需要向数据库获得链接，而数据库创建连接通常需要消耗相对较大的资源，创建时间也较长。假设网站一天10万访问量，数据库服务器就需要创建10万次连接，极大的浪费数据库的资源，并且极易造成数据库服务器内存溢出、拓机。如下图所示： 二、使用数据库连接池优化程 阅读全文
posted @ 2016-07-18 11:24
雨中飞鹭
阅读(373)
评论(0)
推荐(0)
摘要：
一、事务的概念 事务指逻辑上的一组操作，组成这组操作的各个单元，要不全部成功，要不全部不成功。 例如：A——B转帐，对应于如下两条sql语句 update from account set money=money+100 where name='B'; update from account set 阅读全文
posted @ 2016-07-18 11:16
雨中飞鹭
阅读(216)
评论(0)
推荐(0)
摘要：
测试脚本如下： 测试代码： 阅读全文
posted @ 2016-07-18 11:15
雨中飞鹭
阅读(441)
评论(0)
推荐(0)
摘要：
在实际的项目开发中，有时候需要向数据库发送一批SQL语句执行，这时应避免向数据库一条条的发送执行，而应采用JDBC的批处理机制，以提升执行效率。 JDBC实现批处理有两种方式：statement和preparedstatement 一、使用Statement完成批处理 1、使用Statement对象 阅读全文
posted @ 2016-07-18 11:05
雨中飞鹭
阅读(211)
评论(0)
推荐(0)
摘要：
一、Oracle中大数据处理 在Oracle中，LOB（Large Object，大型对象）类型的字段现在用得越来越多了。因为这种类型的字段，容量大（最多能容纳4GB的数据），且一个表中可以有多个这种类型的字段，很灵活，适用于数据 量非常大的业务领域（如图象、档案等）。 LOB类型分为BLOB和CL 阅读全文
posted @ 2016-07-18 10:49
雨中飞鹭
阅读(209)
评论(0)
推荐(0)
浙公网安备 33010602011771号