LestatZ

摘要： 记得之前连接i-Shanghai时都能自动弹出登陆页面，但是最近使用时，虽然登陆页面能够弹出，但是该页面并不能正常打开。检查了一下，原来是因为之前设置了DNS，导致域名解析失效。解决步骤如下：在网络设置中，删掉自定义的DNS配置并保存。断开i-Shangha... 阅读全文

摘要： 文章目录 前言 主要症状 可能的原因 可能的解决方法 总结 参考资料 文章目录 前言 主要症状 可能的原因 可能的解决方法 总结 参考资料 前言 主要症状 可能的原因 可能的解决方法 总结 参考资料 主要症状 可能的原因 可能的解决方法 前言 在优化应用程序时，这类问题非常常见，大多数时候可能是由于 阅读全文

摘要： 文章目录 Spark中的多任务处理 一个顺序作业的例子 一个有缺陷的并发作业的例子 一个优化过的并发作业的例子 参考资料 文章目录 Spark中的多任务处理 一个顺序作业的例子 一个有缺陷的并发作业的例子 一个优化过的并发作业的例子 参考资料 Spark中的多任务处理 一个顺序作业的例子 一个有缺陷 阅读全文

摘要： 文章目录 前言 Spark作业无法启动 运行前的出现错误 运行中出现错误 参考资料 文章目录 前言 Spark作业无法启动 运行前的出现错误 运行中出现错误 参考资料 前言 Spark作业无法启动 运行前的出现错误 运行中出现错误 参考资料 前言 Spark作业无法启动 运行前的出现错误 运行中出现 阅读全文

摘要： 关于SparkSession 任何Spark程序的第一步都是先创建SparkSession。在Spark-Shell或者其他交互模式中，SparkSession已经预先被创建好了，但在正常编写的Spark程序中，我们必须手动创建SparkSession。 在一些遗留的Spark代码中，我们一般使用 阅读全文

摘要： 文章目录 什么是Checkpointing 为什么使用Checkpointing 哪些RDD需要使用Checkpointing Checkpointing和Cache的区别 参考资料 文章目录 什么是Checkpointing 为什么使用Checkpointing 哪些RDD需要使用Checkpoi 阅读全文

摘要： 文章目录前言主要步骤安装mysql配置hive元数据库Hive安装设置环境变量设置配置文件准备mysql-connector-java初始化元数据启动metastore测试前言之前已经完成了hadoop集群的安装，测试了HDFS的使用，现在准备在此基础上，继... 阅读全文

摘要： 文章目录前言下载hadoop安装hadoop配置hadoophadoop-env.shyarn-env.shslaves更新*.xml配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml将had... 阅读全文

摘要： 文章目录前言准备工作安装虚拟机虚拟机网络设置设置静态ip更新hosts文件设置SSH免密测试前言准备在自己的MBP上搭建一个小的Hadoop集群玩玩，顺便看看会遇到什么坑。初步打算设置三个节点，其中将MBP设置为master节点，另外用虚拟机创建两个slav... 阅读全文

摘要： 前言今天准备利用自己的MBP搭建一个Hadoop小集群，结果在Mac上配置完ssh免密登陆的时候，使用ssh localhost测试时，总是弹出输入密码的提示。研究了一番, 记录下解决过程解决过程首先使用ssh -v localhost 观察debug信息,... 阅读全文