十一vs十一 - 博客园

2020年10月30日

摘要： jdbc&连接池&事务预备知识: 一、数据库的基本知识 1. 数据库概述 l 什么是数据库数据库就是存储数据的仓库，其本质是一个文件系统，数据按照特定的格式将数据存储起来，用户可以对数据库中的数据进行增加，修改，删除及查询操作。 l 什么是数据库管理系统数据库管理系统（DataBase Man 阅读全文

posted @ 2020-10-30 21:35 十一vs十一阅读(158) 评论(0) 推荐(0)

maven 没用

摘要： maven 一、Maven基本介绍 1. 什么是maven Maven是项目进行模型抽象, 充分运用的面向对象的思想, maven可以通过一小段描述信息来管理项目的构建, 报告和文档的软件项目管理工具。maven除了以程序构建能力为特色之外, 还提供高级项目管理工具。由于maven的缺省规则有较高的阅读全文

posted @ 2020-10-30 21:34 十一vs十一阅读(194) 评论(0) 推荐(0)

爬虫综合案例

摘要：爬虫综合案例一、网络爬虫基础 1. 网络爬虫介绍随着互联网的迅速发展，网络资源越来越丰富，信息需求者如何从网络中抽取信息变得至关重要。目前，有效的获取网络数据资源的重要方式，便是网络爬虫技术。简单的理解，比如您对百度贴吧的一个帖子内容特别感兴趣，而帖子的回复却有1000多页，这时采用逐条复制的方阅读全文

posted @ 2020-10-30 21:20 十一vs十一阅读(615) 评论(0) 推荐(0)

2020年10月28日

hadoop面试100道收集（带答案）

摘要： 1.列出安装hadoop流程步骤 a) 创建hadoop账号 b) 更改ip c) 安装java 更改/etc/profile 配置环境变量 d) 修改host文件域名 e) 安装ssh 配置无密码登录 f) 解压hadoop g) 配置hadoop conf下面的配置文件 h) Hadoop na 阅读全文

posted @ 2020-10-28 22:43 十一vs十一阅读(595) 评论(0) 推荐(0)

数据抽取

摘要：数据抽取是什么数据抽取是指从源数据源系统抽取目的数据源系统需要的数据。实际应用中，数据源较多采用的是关系数据库。数据抽取的方式一、全量抽取增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL 使用过程中，增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对阅读全文

posted @ 2020-10-28 22:34 十一vs十一阅读(476) 评论(0) 推荐(0)

大数据面试题之------Flink高级

摘要： Flink高级 1、Flink Job的提交流程 2、Flink所谓"三层图"结构是哪几个"图"？ 3、JobManger在集群中扮演了什么角色？ 4、JobManger在集群启动过程中起到什么作用？ 5、TaskManager在集群中扮演了什么角色？ 6、TaskManager在集群启动过程中起到阅读全文

posted @ 2020-10-28 17:39 十一vs十一阅读(556) 评论(0) 推荐(0)

大数据面试题------Flink中级

摘要： Flink中级 1、Flink是如何支持批流一体的？ 2、Flink是如何做到高效的数据交换的？ 3、Flink是如何做容错的？ 4、Flink 分布式快照的原理是什么？ 5、Flink是如何保证Exactly-once语义的？ 6、Flink 的 kafka 连接器有什么特别的地方？ 7、说说 F 阅读全文

posted @ 2020-10-28 17:37 十一vs十一阅读(449) 评论(0) 推荐(0)

大数据面试题------Flink初级

摘要： Flink初级 1、简单介绍一下 Flink 2、Flink相比传统的Spark Streaming区别? 3、Flink的组件栈有哪些？ 4、Flink 的运行必须依赖 Hadoop组件吗？ 5、你们的Flink集群规模多大？ 6、Flink的基础编程模型了解吗？ 7、Flink集群有哪些角色？各阅读全文

posted @ 2020-10-28 17:33 十一vs十一阅读(543) 评论(0) 推荐(0)

大数据面试题之葵花宝典------flume

摘要：葵花宝典 flume 1. Flume组成，Put事务，Take事务 2. Flume拦截器 3. Flume Channel选择器 4. Flume监控器 5. Flume采集数据会丢失吗?（防止数据丢失的机制） 6. Flume内存 7. FileChannel优化 1. Flume组成，Put 阅读全文

posted @ 2020-10-28 17:32 十一vs十一阅读(156) 评论(0) 推荐(0)

mapreduce和spark的原理及区别阿善有用

摘要： Mapreduce和spark是数据处理层两大核心，了解和学习大数据必须要重点掌握的环节，根据自己的经验和大家做一下知识的分享。首先了解一下Mapreduce，它最本质的两个过程就是Map和Reduce，Map的应用在于我们需要数据一对一的元素的映射转换，比如说进行截取，进行过滤，或者任何的转换操阅读全文

posted @ 2020-10-28 17:29 十一vs十一阅读(813) 评论(0) 推荐(0)

公告