摘要: 1.什么spark?Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。 2.spark生态spark core:spark 的核心计算spark sql :对历史数据的交互式查询(即席查询)spark Streaming:近实时计算(微批处理)spark Graphx:图计算 不仅关注事 阅读全文
posted @ 2020-09-28 19:57 小徐小徐从不摸鱼 阅读(290) 评论(0) 推荐(0)
摘要: 1.什么scala Scala是一门以jvm为运行环境并将 面向对象 和 函数式编程 的最佳特性结合在一起的 静态类型编程语言2.scala特点? Scala是一门多范式的编程语言,Scala支持面向对象和函数式编程 Scala源代码会被编译成Java字节码,然后运行于jvm之上,并可以调用现有的J 阅读全文
posted @ 2020-09-15 16:10 小徐小徐从不摸鱼 阅读(318) 评论(0) 推荐(0)
摘要: Hadoop三大组件内容 1. Hdfs 1.1. HDFS定义 1.1.1. HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。 1.1.2 阅读全文
posted @ 2020-07-26 19:41 小徐小徐从不摸鱼 阅读(586) 评论(0) 推荐(0)
摘要: 1.重启虚拟机:在终端输入reboot 2.一般用root用户进入,权限比较大,普通用户权限比较小,切换root用户,在终端输入:su root,若切换成功,前缀会显示root 3.ll展示文件内容比ls更细致,更全面 4.linux下一切皆文件 5.rm -rf 强制删除非空文件、文件目录,不展示 阅读全文
posted @ 2020-07-02 23:43 小徐小徐从不摸鱼 阅读(111) 评论(0) 推荐(0)