摘要: ImportError: cannot import name 'sysconfig' 错误来源 使用pip3安装第三方组件时产生 解决方案 sudo vim /etc/apt/sources.list #加入以下内容 ⬇ deb http://cn.archive.ubuntu.com/ubunt 阅读全文
posted @ 2020-10-28 21:27 -拂石- 阅读(1820) 评论(0) 推荐(0) 编辑
摘要: intellij搭建scala环境 安装intellij 前往官网下载合适的版本 https://www.jetbrains.com/zh-cn/idea/promo/?utm_source=baidu&utm_medium=cpc&utm_campaign=cn-bai-pro-intellij- 阅读全文
posted @ 2020-10-24 14:41 -拂石- 阅读(181) 评论(0) 推荐(0) 编辑
摘要: error: object kafka is not a member of package org.apache.spark.streaming scala + kafka + spark环境 如果你使用的版本是kafka-0-10版本,需要将原来导包时的kafka修改成kafka010。 原因是 阅读全文
posted @ 2020-10-23 21:39 -拂石- 阅读(1482) 评论(0) 推荐(0) 编辑
摘要: spark启动失败纠错 说明 hadoop集群是用ambari搭建的,照理来说不会出现配置错误的问题 错误出现在使用spark-shell指令启动的时候 按网上说的看了很多,错误原因无非网络,配置失误,内存不够等等,也做过一些修改的尝试,均失败 最后发现自己眼瞎,第五行就写着perimission 阅读全文
posted @ 2020-10-03 00:00 -拂石- 阅读(810) 评论(0) 推荐(0) 编辑
摘要: Zerotier_MOON配置 Z moon是什么,对于zerotier来说有什么作用 zerotier用于搭建虚拟局域网,但是其根服务器在国外,使用人数又多,因此通常压力巨大。 moon(月球)其名字本身就比较好地反映了其作用,用于搭建一个国内的“卫星”作为中转服务器,作为根节点速度慢,不稳定的一 阅读全文
posted @ 2020-10-01 23:09 -拂石- 阅读(3478) 评论(0) 推荐(0) 编辑
摘要: ZeroTier搭建虚拟局域网 解决内网穿透问题 下载ZeroTier Linux: curl -s https://install.zerotier.com/ | sudo bash Windows: 去官网下载安装包后安装即可 注册账号并创建网络 前去官网创建账号之后点开network,点击创建 阅读全文
posted @ 2020-09-16 12:07 -拂石- 阅读(2140) 评论(0) 推荐(0) 编辑
摘要: Android Studio 模拟器启动黑屏问题 使用Android Studio新创建的模拟器可以正常使用,当重新启动Android Studio之后,模拟器可以启动,但一直黑屏,没有显示Android字样,无论怎么操作都不会出现变化 修改方法 在模拟器编辑界面,点击“Show Advanced 阅读全文
posted @ 2020-09-15 22:09 -拂石- 阅读(801) 评论(0) 推荐(0) 编辑
摘要: Spark 相关题目 1、下面哪个不是 Spark 的四大组件(D) A B C D Spark Streaming Mlib Graphx Spark 2、下面哪个不是 RDD 的特点(C) A B C D 可分区 可序列化 可修改 可持久化 3、DataFrame API的write接口不支持以 阅读全文
posted @ 2020-09-01 21:32 -拂石- 阅读(490) 评论(0) 推荐(0) 编辑
摘要: Spark SQL 扩展开发入门 Spark SQL 背景介绍 Spark SQL 扩展的功能 Spark SQL 扩展的API 逻辑计划->物理计划 如何部署开发好的插件 阅读全文
posted @ 2020-08-31 21:50 -拂石- 阅读(567) 评论(0) 推荐(0) 编辑
摘要: 基于Spark快速构建数仓项目 重点问题 数据仓库解决了什么业务问题,它和传统数据库的区别是什么? 对数据仓库的基础架构有大致的了解。 使用 Spark 可以构建数据仓库的哪些核心能力? 如何使用 Spark Core/Streaming 扩展数据源? 如何使用 Spark 进行 OLAP? 哪些操 阅读全文
posted @ 2020-08-29 22:36 -拂石- 阅读(1655) 评论(0) 推荐(1) 编辑