摘要： 之前常使用本地ubuntu和远程的centos服务器或者是本地mac和远程centos服务器通过命令scp或者nc来进行文件的传输。 现在用的是windows系统，欲将服务器的某文件load到本地。 查了资料，在windows安装xshell的情况下，且服务器安装sz、rz服务的情况下，使用sz进行 阅读全文

摘要： 1、在yarn模式下运行spark作业 （1）如果想让spark作业可以运行在yarn上，那么首先必须在配置文件spark-env.sh文件中，配置HADOOP_CONF_DIR或者YARN_CONF_DIR属性，因为再使用spark-submit提交spark作业时，要先给yarn的resourc 阅读全文

摘要： map算子 flatMap算子 mapParitions算子 filter算子 mapParttionsWithIndex算子 sample算子 distinct算子 groupByKey算子 reduceByKey算子 1、map算子 （1）任何类型的RDD都可以调用map算子；在java中，ma 阅读全文

摘要： 【问题背景】 卸载安装的Ambari，之前都是因为卸载不干净。这次重写安装，卸载完之后，发现httpd无法启动，所以想卸载httpd进行重新安装，但是执行命令yum list | grep httpd报错。 【遇到的问题】 配置过程很简单，去https://opsx.alibaba.com/mirr 阅读全文

摘要： 【安装】 https://blog.csdn.net/Happy_Sunshine_Boy/article/details/86595945#commentBox https://www.jianshu.com/p/f62947a88527 【卸载】 需要卸载干净才能进行安装，否则会出很多问题，卸载 阅读全文

摘要： 写mapreduce程序时，如果reduce个数>1，想要实现全排序需要控制好map的输出，详见Hadoop简单实现全排序。 现在学了hive，写sql大家都很熟悉，如果一个order by解决了全排序还用那么麻烦写mapreduce函数吗？ 事实上，hive使用order by会默认设置reduc 阅读全文

摘要： 理解分组，可以这样：对GROUP BY子句后面跟随的列名进行分组，然后对每一个分组而不是整个表进行操作。 举例：在产品表中，检索每一个供应商提供的商品的数量。 结果：+ + +| vend_id | num_prods |+ + +| 1001 | 3 || 1002 | 2 || 1003 | 7 阅读全文

摘要： 【问题背景】 要在自己的阿里云上搭伪分布式，用来复习和强化hive相关的知识，在执行脚本 sh start-dfs.sh后，jps后： 然后查看name的日志，报错如下： 【解决方法】 网上的很多方法，例如查看9000端口是否被占用等都没有起作用。后来才知道原来阿里云服务器不支持绑定公网ip（云服务 阅读全文

摘要： java.math.BigDecimal.subtract(BigDecimal subtrahend) 返回一个BigDecimal，其值为 (this - subtrahend), 精度为 max(this.scale(), subtrahend.scale()). 声明 以下是声明java.m 阅读全文

摘要： 【转自：https://blog.csdn.net/bruce128/article/details/46777567】并进行总结 今天写了一个统计sql，在一个近亿条数据的表上执行，200s都查不出结果。SQL如下： 执行explain,发现这个sql扫描了8000W条记录到磁盘上。然后再进行筛选 阅读全文