xingoo

摘要： 本篇文档是介绍如何快速使用spark，首先将会介绍下spark在shell中的交互api，然后展示下如何使用java,scala,python等语言编写应用。可以查看 "编程指南" 了解更多的内容。 为了良好的阅读下面的文档，最好是结合实际的练习。首先需要 "下载spark" ,然后安装hdfs，可 阅读全文

摘要：  阅读全文

摘要： Sqoop是一款用于把关系型数据库中的数据导入到hdfs中或者hive中的工具，当然也支持把数据从hdfs或者hive导入到关系型数据库中。 Sqoop也是基于Mapreduce来做的数据导入。 关于sqoop的原理 sqoop的原理比较简单，就是根据用户指定的sql或者字段参数，从数据库中读取数据 阅读全文

摘要： 存储过程是保存可以接受或返回用户提供参数的SQL语句集合。在日常的使用中，经常会遇到复杂的业务逻辑和对数据库的操作，使用存储过程可以进行封装。可以在数据库中定义子程序，然后把子程序存储在数据库服务器，之后通过名称调用。 特点 1 提高性能 存储过程是预先编译过，进行优化后，存储在SQL的内存中，使用 阅读全文

摘要： 早晨起得太早，昨晚睡得太晚，一天都迷迷糊糊的。中午虽然睡了半个小时，可是依然没有缓过来。整个下午都在混沌中....不过今天下载了一款手游——《剑侠情缘》，感觉不错，喜欢这种类型的游戏。 今天主要的工作还是做业务需求，不过下午状态不好，看了下《Effective java》，正好重构了下代码。 eff 阅读全文

摘要： 今天在编写mybatis的mapper.xml时，发现对sql的配置还不是很熟，有很多一坨一坨的东西，其实是可以抽取成服用的。不过良好的组织代码，还是更重要的。 阅读全文

摘要： 这章讲述了Spark编程中的高级部分，比如累加器和广播等，以及分区和管道... 阅读全文

摘要： 今天大部分时间都在写业务代码，然后算是从无到有的配置了下spring与mybatis的集成。 SpringMVC+Mybatis Web开发流程 配置数据源 在applicationContext.xml中引入数据源的配置： 在spring my datasource.xml中配置数据源相关的内容： 阅读全文

摘要： 由于Spark是在Hadoop家族之上发展出来的，因此底层为了兼容hadoop,支持了多种的数据格式。如S3、HDFS、Cassandra、HBase，有了这些数据的组织形式，数据的来源和存储都可以多样化~ 阅读全文

摘要： 周日没怎么休息好，周一一天都迷迷糊糊的，不过还算是干了不少的活。 总结一下，大致有以下几点内容： 1 使用poi以及mysql jdbc实现了一个复杂excel的导入 2 基于工程原有的代码，书写spring mvc的业务代码以及测试用例 使用POI以及jdbc POI是用于处理excel文件很常用 阅读全文