摘要： 键值对RDD通常用来进行聚合计算。通过ETL将数据转化为键值对形式。 PairRDD是很多程序的构成要素，提供了并行操作各个键或跨节点重新进行数据分组的操作接口。 pair RDD提供reduceByKey()可以分别规约每个键对应的数据，join()把两个RDD中键相同的元素组合到一起。 Pair 阅读全文

摘要： HDFS组成架构 NameNode 管理HDFS的名称空间 配置副本策略，fsimage和edit 管理数据块block映射信息 处理客户端读写请求 DataNode 存储实际的数据块 执行数据块的读写操作 Client 文件切分，split成block 与NameNode交互，获取数据块位置信息 阅读全文

摘要： RDD创建 每个RDD被分为多个分区，这些分区运行在集群的不同节点上。 用户可以使用两种方法创建RDD：读取一个外部数据集，或在驱动器程序里driver分发驱动器程序中的对象集合（list和set）。textFile()和parallelize(). RDD支持两种类型的操作：转换操作和行动操作。惰 阅读全文

摘要： 查看数据库表信息 查询语句 DISTINCT 检索出不同值的列 LIMIT 限制返回的行数 排序检索 使用ORDER BY 和LIMIT 可以找出列中最高或最低的值 SELECT COLUMN1 FROM TABLE1 ORDER BY COLUMN1 LIMIT 1; 过滤数据 WHERE搜索条件 阅读全文

摘要： 外模式包括若干视图，模式包括基本表，内模式包括如存储文件。 内模式改变，不影响模式，即数据的物理独立性。模式外变，不影响外模式，即数据的逻辑独立性。 模式SCHEMA、表TABLE、视图VIEW、索引INDEX。其中模式和视图不能修改，只能删除重新创建。模式关于数据库和表的布局及特性的信息。 视图 阅读全文

摘要： MySQL安装 终端输入 启动和关闭mysql服务器 进入mysql shell界面 在Ubuntu18.04第一次安装mysql进入Shell时，需要设置密码 得到一系列信息： 1. user 2. password 用mysql u debian sys maint p和相应的密码登录mysql 阅读全文

摘要： 最高层客户端，中间是服务器（sql查询及解析器），最底层是存储引擎（MySQL是InnoDB），通过API访问，执行事务。 当客户端连接到MySQL服务器时，服务器需要对其进行认证。认证基于用户名、原始主机信息、密码。连接成功后，会验证该客户端是否具有执行某个查询的权限。 服务器层和存储引擎层的并发 阅读全文

摘要： 根据[http://dblab.xmu.edu.cn/blog/804 2/]的安装步骤 1. 安装ubuntu18.04 2. 更换国内源，更新apt get 3. 安装shh，配置免密登录 4. 安装Java 5. 安装Hadoop，配置为伪分布式 6. 安装Spark，配置环境变量 最后形成H 阅读全文

摘要： Spark运行架构 基本概念 RDD：分布式内存的抽象概念，高度受限的共享内存模型 DAG：有向无环图，反应RDD的依赖关系 Executot：运行在工作节点的一个进程，负责运行任务，存储数据 任务Task：运行在Executor上的工作单元 作业：一个作业包含多个RDD及作用于相应RDD的操作 阶 阅读全文

摘要： 判断一个整数是否是回文数。 题解 普通解法：将整数转为字符串，然后对字符串做判断。 我的解法代码 取出后半段数字进行翻转 每次进行取余操作，取出最低数字 将最低数字加到取出数的末尾 每取一位最低数，x就要/10 判断x是否小于取出数，小于时代表已经对半 如果是偶数，则两者相等，如果是奇数，需要/10 阅读全文