笙歌散尽，醉挽清风

摘要： package project.etl.core.util; import java.io.FileNotFoundException;import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org 阅读全文

摘要： 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/u010176083/article/details/52464558———————————————— 实现代码 要导入的包： 版权声明：本文 阅读全文

摘要： HDFS基本操作 一、hadoop搭建 1、修改主机名 2、ip等 3、主机映射 4、关闭防火墙(两种) 5、ssh免密登录(免密脚本) 6、安装jdk 配置环境变量 7、安装hadoop 配置文件的修改 hadoop-env.sh JAVA_HOME core-site.xml 客户端参数 nam 阅读全文

摘要： CDH集群添加Kerberos并使用Java代码调用HDFS和Spark on YARN 2018-04-12 21:58:50 小小Tiny 阅读数 1289更多 分类专栏： 大数据 CDH集群添加Kerberos并使用Java代码调用HDFS和Spark on YARN 2018-04-12 2 阅读全文

摘要： 使用Java Api 操作HDFS 如题 我就是一个标题党 就是使用JavaApi操作HDFS，使用的是MAVEN，操作的环境是Linux 首先要配置好Maven环境，我使用的是已经有的仓库，如果你下载的jar包 速度慢，可以改变Maven 下载jar包的镜像站改为 阿里云。 贴一下 pom.xml 阅读全文

摘要： 译 MongoDB高级查询用法 2018年09月04日 18:52:43 小小小辉happy 阅读数 752更多 分类专栏： 数据库 译 MongoDB高级查询用法 2018年09月04日 18:52:43 小小小辉happy 阅读数 752更多 分类专栏： 数据库 译 MongoDB高级查询用法 阅读全文

摘要： JDK路径下目录的介绍 JDK路径下目录的介绍 JDK路径下目录的介绍 JDK路径下目录的介绍 安装JDK1.7后路径下目录文件有哪些及功能介绍 要想编译和运行Java程序，离不开Java的编译和运行环境。Sun公司提供了自己的一套Java开发环境，通常称为JDK(Java Development 阅读全文

摘要： 首先阐述一下为什么要隐藏项目： 主要是方便我们管理项目，当我们项目过多时，Eclipse左边项目栏显示较多项目，不利于操作当前需要开发的项目，所以我们有必要隐藏一些旧项目。 1、首先选择需要隐藏项目右击，以Ajax项目为例（Close Project 隐藏当前项目，Close Unrelated P 阅读全文

摘要： 这个问题是Linux系统缺少工具包，在确保网络正常情况下执行：yum -y install lrzsz 命令，它会直接在线下载安装。 安装完成后就可以使用了 阅读全文

摘要： 首先问题很明确，当我对一个没有建索引的字段做find，然后做sort的时候，可能触发sort的size的32MB限制,而mongodb的sort操作是把数据拿到内存中再进行排序的，为了节约内存，默认给sort操作限制了最大内存为32Mb，当数据量越来越大直到超过32Mb的时候就自然抛出异常了！ 解决 阅读全文