摘要： 今天，大数据部老大交给我一项任务——抓取股票历史数据。于是乎，我自行在网上找了一下，发现wget真真是一个非常强大的linux下载工具。我已经被深深震撼到了。下面叙述今天的一些过程，还是比较坎坷的。 首先，我利用公司现在存在的股票数据，使用hive查询所有的股票代码并导入本地： PS:上面这一步骤， 阅读全文

摘要： 前些天用maven编译打包spark，搞得焦头烂额的，各种错误，层出不穷，想想也是醉了，于是乎，换种方式，使用sbt编译，看看人品如何！ 首先，从官网spark官网下载spark源码包，解压出来。我这边使用的是1.4.0版本。 然后，我们需要把sbt配置好，配置很简单，无非就是SBT_HOME什么的 阅读全文

摘要： 今天第一天实习，感觉还不错，带我的技术主管是个女的，人很好，对我也不错。加油，加油！ 阅读全文

摘要： 下面给出的是spark集群搭建的环境： 操作系统：最小安装的CentOS 7（下载地址） Yarn对应的hadoop版本号：Hadoop的Cloudera公司发行版Hadoop2.6.0-CDH5.4.0（下载地址） Java版本号：JDK1.8（下载地址） Scala版本号：Scala2.10.4 阅读全文

摘要： 1、从官网下载git这个软件.msi格式，然后安装。 2、找到你的git的安装目录，并记录下来 3、配置环境变量：在path里加入—— ;你的git的安装目录\bin;你的git的安装目录\libexec\git-core; ——切勿丢了前面的小分号哦！ 阅读全文

摘要： 1、集群启动的时候，从节点的datanode没有启动 问题原因：从节点的tmp/data下的配置文件中的clusterID与主节点的tmp/data下的配置文件中的clusterID不一致，导致集群启动时，hadoop会杀死从节点的datanode进程。 解决方案： a) 将... 阅读全文

摘要： 我这边给出我的集群环境是由一台主节点master和三台从节点slave组成： master 192.168.1.2 slave1 192.168.1.3 slave2 192.168.1.4 slave3 192.168.1.5 申明：我搭建的这个集群不是在普通用户，所以一下操作都是在超级用户roo 阅读全文

摘要： 随着基于内存的大数据计算框架——spark的火爆流行，用于编写spark内核的Scala语言也随之流行开来。由于其编写代码的简洁性，受到了越来越多程序员的喜爱。我今天给大家展示的时Scala2.10.4在CentOS 7下的安装与配置：一、Scala下载我们需要在Scala官网下载Scala2.10... 阅读全文

摘要： 自从2014年3月19日甲骨文公司发布Java 8.0的正式版以来，面向对象的Java语言不仅朝着一个更好的方向发展，而且吸取了当前比较流行的函数式编程的特性——Java 8.0加入了函数式编程的特点。可以说是Java 8比Java 7有一个更好的性质。今天我将为大家演示一下Jdk 8在CentOS 阅读全文

摘要： 其实，安装这个lrzsz真的很简单，开一个随笔真是暴殄天物了，只需要在超级用户下打一句命令：yum install lrzsz或者，在普通用户打一句命令，需要输入超级用户密码：sudo yum install lrzsz 阅读全文