摘要： 作为函数的参数 一个匿名的函数传递给一个方法或者函数的时候，scala会尽量推断出参数类型。例如一个完整的匿名函数作为参数可以写为 scala> def compute(f: (Double)=>Double) = f(3) compute: (f: Double => Double)Double 阅读全文

摘要： http://www.51niux.com/ 一、Hive介绍 Hive官网：https://hive.apache.org/ 1.1 hive简介 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询 阅读全文

摘要： StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。 1.构造函数 public StringTokenizer(String str) public StringTokenizer(String str, String delim) public Stri 阅读全文

摘要： MapReduce Join 对两份数据data1和data2进行关键词连接是一个很通用的问题，如果数据量比较小，可以在内存中完成连接。 如果数据量比较大，在内存进行连接操会发生OOM。mapreduce join可以用来解决大数据的连接。 1 思路 1.1 reduce join 在map阶段, 阅读全文

摘要： 1、MapReduce计数器是什么？ 计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。 2、MapReduce计数器能做什么？ MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduc 阅读全文

摘要： hadoop 简单来说就是用 java写的分布式 ，处理大数据的框架，主要思想是 “分组合并” 思想。 分组：比如 有一个大型数据，那么他就会将这个数据按照算法分成多份，每份存储在 从属主机上，并且在从属主机上进行计算，主节点主要负责Hadoop两个关键功能模块HDFS、Map Reduce的监督。 阅读全文

摘要： 一 进程与线程的概念 1.1 进程 考虑一个场景：浏览器，网易云音乐以及notepad++ 三个软件只能顺序执行是怎样一种场景呢？另外，假如有两个程序A和B，程序A在执行到一半的过程中，需要读取大量的数据输入（I/O操作），而此时CPU只能静静地等待任务A读取完数据才能继续执行，这样就白白浪费了CP 阅读全文

摘要： Java.io.URL 1、编写java程序 2、打包为javaWrkspace.jar 3、simon@simon-Lenovo-G400:~/software/hadoop$ bin/hadoop jar /home/simon/javaWrkspace/out/artifacts/javaWr 阅读全文

摘要： 下载https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3.tar.gz 1、配置环境变量 vim /etc/proflie export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64exp 阅读全文

摘要： 安装mysql sudo apt-get install mysql-server sudo apt install mysql-client sudo apt install libmysqlclient-dev 测试是否成功 sudo netstat -tap | grep mysql 如何启动 阅读全文