摘要： 下面是hive基本练习，持续补充中。 Hive导出数据有几种方式，如何导出数据 1.insert 2.hadoop命令 数据使用hive保存后存在于hdfs，也可以直接从hdfs将数据拉到本地，使用get命令。 hdfs dfs get /user/hive/warehouse/student/st 阅读全文

摘要： 下面是hive基本练习，持续补充中。 简述Hive工作原理 hive是基于hadoop，可以管理hdfs上的数据的工具，它本质上是执行MapReduce程序，只是使用了类sql语句更加方便开发，hive驱动器会将类sql语句转换成MapReduce的task来执行，因此执行速度会比较慢。 hive的 阅读全文

摘要： 现在互联网web项目一般离不开分布式，访问量大的情况下，单台服务器一般是扛不住大量负载访问的(如单台tomcat目前最多能抗住200-500的并发量)，既然一台不行那就搭建多台，性能不够，数量来凑。那接下来访问就可能有问题了，难道需要用户准备多个ip地址或者访问地址吗，显然这是不友好的，这样一个管理 阅读全文

摘要： Maven是Java中开发流行的项目管理工具，其他同类产品还有ant（见过工厂制造执行系统MES中使用ant打包）和gradle（Spring源码使用的gradle管理），目前来说maven是最广泛使用的，下面简单记录一下。 Maven安装和配置 maven可以管理项目的生命周期，包括编译、测试、打 阅读全文

摘要： Mac下使用IDEA远程连接Hadoop调试MapReduce程序，参考网上博客，总会出现如题报错，下面是我在mac下的一种解决办法，可以参考。 前期准备 如果想远程调试，需要做一些准备工作，简单罗列下。 （1）在本地准备一份了hadoop(有博主直接从集群中copy一份)，设置环境变量。 （2）I 阅读全文

摘要： Linux下可以添加一次性计划任务和长期性计划任务，下面简单了解下，后面对构建自己的云主机上的项目可能会有帮助。 一次性计划任务 使用at 时间命令来设置一次性计划任务，at -l命令可以查看任务，atrm 任务序号可以删除任务。 交互式方式添加任务 默认就是交互式的方式，使用at 时间命令，在at 阅读全文

摘要： Shell是人和计算机之间交流的''翻译官''，通过Shell终端解释器，可以访问到系统内核的服务，Shell执行需要脚本解释器，以及一个编写脚本的工具，一般解释器使用/bin/bash，脚本工具使用vim。Shell跟其他编程语言一样，也支持参数和变量、流程控制、分支等特性，下面简单了解一下。 脚 阅读全文

摘要： 参考博主''迹忆''的文章，对linux下命令判断的使用有了初步的认识，命令执行判断是使用&&和||将多条命令联系到一起，执行的时候会通过判断上一条命令的执行结果，来决定下一条命令的执行'命运'。 $? $?即上一条命令执行后的回传值，如果执行正确则返回0，如果执行错误则返回一个非0的数字。 &&和 阅读全文

摘要： Linux下将本来应该在屏幕输出的内容保存在其他的地方，如保存在硬盘中，这就是数据流重定向。 正确输出错误输出 执行一个命令正确后返回的即为标准正确输出，错误则为标准错误输出。 数据重导向 将正确输出和错误输出保存到文件为输出，将用户输入信息保存到文件为标准输入。 （1）标准输出，对应编号1，>为覆 阅读全文

摘要： Linux下使用rpm和yum都可以实现的软件的安装，一般rpm用于安装只有单个离线安装包的软件，yum用于安装有很多依赖的软件，它们的具体细节这里离暂时没做记录，先记录基本用法。 rpm rpm是redhat package manager的缩写，是红帽开发的一款包管理工具，它的前身是Debian 阅读全文