拂石

摘要： ImportError: cannot import name 'sysconfig' 错误来源 使用pip3安装第三方组件时产生 解决方案 sudo vim /etc/apt/sources.list #加入以下内容 ⬇ deb http://cn.archive.ubuntu.com/ubunt 阅读全文

摘要： intellij搭建scala环境 安装intellij 前往官网下载合适的版本 https://www.jetbrains.com/zh-cn/idea/promo/?utm_source=baidu&utm_medium=cpc&utm_campaign=cn-bai-pro-intellij- 阅读全文

摘要： error: object kafka is not a member of package org.apache.spark.streaming scala + kafka + spark环境 如果你使用的版本是kafka-0-10版本，需要将原来导包时的kafka修改成kafka010。 原因是 阅读全文

摘要： spark启动失败纠错 说明 hadoop集群是用ambari搭建的，照理来说不会出现配置错误的问题 错误出现在使用spark-shell指令启动的时候 按网上说的看了很多，错误原因无非网络，配置失误，内存不够等等，也做过一些修改的尝试，均失败 最后发现自己眼瞎，第五行就写着perimission 阅读全文

摘要： Zerotier_MOON配置 Z moon是什么，对于zerotier来说有什么作用 zerotier用于搭建虚拟局域网，但是其根服务器在国外，使用人数又多，因此通常压力巨大。 moon（月球）其名字本身就比较好地反映了其作用，用于搭建一个国内的“卫星”作为中转服务器，作为根节点速度慢，不稳定的一 阅读全文

摘要： ZeroTier搭建虚拟局域网 解决内网穿透问题 下载ZeroTier Linux: curl -s https://install.zerotier.com/ | sudo bash Windows: 去官网下载安装包后安装即可 注册账号并创建网络 前去官网创建账号之后点开network，点击创建 阅读全文

摘要： Android Studio 模拟器启动黑屏问题 使用Android Studio新创建的模拟器可以正常使用，当重新启动Android Studio之后，模拟器可以启动，但一直黑屏，没有显示Android字样，无论怎么操作都不会出现变化 修改方法 在模拟器编辑界面，点击“Show Advanced 阅读全文

摘要： Spark 相关题目 1、下面哪个不是 Spark 的四大组件（D） A B C D Spark Streaming Mlib Graphx Spark 2、下面哪个不是 RDD 的特点（C） A B C D 可分区 可序列化 可修改 可持久化 3、DataFrame API的write接口不支持以 阅读全文

摘要： Spark SQL 扩展开发入门 Spark SQL 背景介绍 Spark SQL 扩展的功能 Spark SQL 扩展的API 逻辑计划->物理计划 如何部署开发好的插件 阅读全文

摘要： 基于Spark快速构建数仓项目 重点问题 数据仓库解决了什么业务问题，它和传统数据库的区别是什么? 对数据仓库的基础架构有大致的了解。 使用 Spark 可以构建数据仓库的哪些核心能力? 如何使用 Spark Core/Streaming 扩展数据源? 如何使用 Spark 进行 OLAP? 哪些操 阅读全文