摘要:HDP 3.1.0 集成 Sqoop2 本文原始地址:https://sitoi.cn/posts/65261.html 环境 由三台主机组成的 HDP 3.1.0 集群 配置好时间同步 步骤 下载 的安装包 解压安装包到 目录下 修改 环境变量 修改 配置 导入第三方 包 配置第三方 包引用路径 阅读全文
posted @ 2019-11-08 13:42 Sitoi 阅读(352) 评论(0) 推荐(0) 编辑
摘要:HDP 3.1.0 集成 Sqoop2 踩坑问题记录 本文原始地址:https://sitoi.cn/posts/65261.html 问题一 原因: 未设置该环境 ${hdp.version} 解决: 修改 Ambari 组件 MapRduce2 配置 将 替换成实际 的版本: |配置项|参数名| 阅读全文
posted @ 2019-11-08 13:42 Sitoi 阅读(508) 评论(0) 推荐(0) 编辑
摘要:Spark Bench 教程 本文原始地址:https://sitoi.cn/posts/19752.html 系统环境配置 操作系统: 环境要求:安装 , , ,`mvn` 运行环境 步骤 1. 安装测试工具 1. 安装 2. 安装 基准测试组件 3. 单机环境安装方式 2. 根据实际环境配置测试 阅读全文
posted @ 2019-11-08 13:41 Sitoi 阅读(573) 评论(0) 推荐(0) 编辑
摘要:PySpark DataFrame 添加自增 ID 本文原始地址:https://sitoi.cn/posts/62634.html 在用 处理数据的时候,经常需要给全量数据增加一列 ,在存入数据库的时候, 也常常是一个很关键的要素。 在 DataFrame 的 API 中没有实现这一功能,所以只能 阅读全文
posted @ 2019-11-08 13:41 Sitoi 阅读(1473) 评论(0) 推荐(0) 编辑
摘要:Spark 安装教程 本文原始地址:https://sitoi.cn/posts/45358.html 安装环境 Fedora 29 openjdk version "1.8.0_191" 安装步骤 1. 下载 安装包 2. 解压 安装包 目录 3. 修改 配置 4. 修改 配置 下载 Spark 阅读全文
posted @ 2019-11-08 13:41 Sitoi 阅读(627) 评论(0) 推荐(1) 编辑
摘要:yum localinstall 解决本地 rpm 包的依赖问题 本文原始地址:https://sitoi.cn/posts/13384.html 使用命令: 这样安装可能会出现很多依赖关系需要解决。为了能使软件安装过程中自动解决依赖关系,我们可以使用命令: 在安装的同时自动解决有关依赖关系。 阅读全文
posted @ 2019-11-08 13:40 Sitoi 阅读(1794) 评论(0) 推荐(0) 编辑
摘要:https://sitoi.cn/posts/51270.html APP 影视类 影视大院 地址: "https://www.vfans.fun" 描述:没有上架应用商店,需要安装信任企业证书,VIP资源视频等;多分辨率;支持离线下载 麻花影视 地址: "https://www.imahua.tv 阅读全文
posted @ 2019-11-08 13:39 Sitoi 阅读(395) 评论(0) 推荐(0) 编辑
摘要:MongoDB 安装 本文原始地址:https://sitoi.cn/posts/37161.html 安装环境 Fedora 29 安装步骤 1. 安装 和 2. 启动服务 安装 MongoDB 和 MongoDB Server 启动服务 启动 服务 设置开机自动启动 阅读全文
posted @ 2019-11-08 13:30 Sitoi 阅读(242) 评论(0) 推荐(0) 编辑
摘要:本文原始地址:https://sitoi.cn/posts/12544.html 名称配额(Name Quota) 名称配额是在对应的目录下所有文件和目录名称的数量上的限制。 当超过这个配额的时候,文件或目录就会创建失败, 重命名后 名称配额 仍然有效 。 步骤 1. 创建一个测试目录 2. 设置创 阅读全文
posted @ 2019-11-08 13:27 Sitoi 阅读(255) 评论(0) 推荐(0) 编辑
摘要:Hadoop 单机安装教程 本文原始地址:https://sitoi.cn/posts/24540.html 安装环境 Fedora 29 openjdk version "1.8.0_191" 安装步骤 创建 帐号 下载 安装包 解压 安装包 配置环境变量 配置 文件 启动集群 查看状态 创建 H 阅读全文
posted @ 2019-11-08 13:26 Sitoi 阅读(105) 评论(0) 推荐(0) 编辑