随笔分类 -  传传传传大数据

摘要:今日内容:1) HDFS基本的概念 架构中相关的机制 -- 理解2) HDFS的shell命令的操作: --唯一的操作 3) HDFS的基本原理: 4) hdfs的工作机制: 记忆 (能够拿自己的话出来) hdfs的写数据的流程 hdfs的读数据的流程5) hdfs的元数据辅助管理机制 记忆 1) 阅读全文
posted @ 2020-11-12 21:14 十一vs十一 阅读(399) 评论(0) 推荐(0)
摘要:一、大数据课程导论 1. 大数据概念 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,大数据是当前很热的一个词。这几年来,云计算、继而大数据,成了整个社会的热点,大数据究竟是什么东西?有哪些相关技术?对普通人的生活会有怎样的影响?我们来一步步弄清这些问题。 在讲什么是大数据之前,我们首先需要厘 阅读全文
posted @ 2020-11-08 23:29 十一vs十一 阅读(204) 评论(0) 推荐(0)
摘要:大数据环境统一与zookeeper 一、集群环境准备 1. 三台虚拟机创建 第一种方式:通过iso镜像文件来进行安装(不推荐) 第二种方式:直接复制安装好的虚拟机文件(强烈推荐) 在课程资料里边已经提供了一个安装好的虚拟机node1(注意,为了大家以后环境的统一,尽量使用课程资料中提供的已经安装好的 阅读全文
posted @ 2020-11-06 22:55 十一vs十一 阅读(183) 评论(0) 推荐(0)
摘要:第一章 Linux高级命令和Shell编程 1. Linux高级命令 该章节的所有操作都在/export/data/shell目录进行,请提前创建该目录. mkdir -p /export/data/shell/ 1.1. 重定向命令 1、重定向> Linux 允许将命令执行结果重定向到一个文件,本 阅读全文
posted @ 2020-11-06 22:54 十一vs十一 阅读(317) 评论(0) 推荐(0)
摘要:一、移动光标 h,j,k,l 上,下,左,右ctrl-e 移动页面ctrl-f 上翻一页ctrl-b 下翻一页ctrl-u 上翻半页ctrl-d 下翻半页w 跳到下一个字首,按标点或单词分割W 跳到下一个字首,长跳,如end-of-line被认为是一个字e 跳到下一个字尾E 跳到下一个字尾,长跳b 阅读全文
posted @ 2020-11-06 22:50 十一vs十一 阅读(103) 评论(0) 推荐(0)
该文被密码保护。
posted @ 2020-11-06 16:58 十一vs十一 阅读(78) 评论(0) 推荐(0)
摘要:案例: 演示序列化流之 发序列化操作. 反序列化详解: 概述: 反序列化指的是从文件中 加载对象. 涉及到的流是: ObjectInputStream(对象反序列化流) 构造方法: public ObjectInputStream(InputStream is); 成员方法: public Obje 阅读全文
posted @ 2020-10-31 00:42 十一vs十一 阅读(45) 评论(0) 推荐(0)
摘要:案例: 演示线程控制之 守护线程.. 涉及到的Thread类中的成员方法: public void setDaemon(boolean falg); 设置线程为守护/非守护线程, true: 守护线程, false: 非守护线程. 细节: 1. 每个线程默认都是: 非守护线程. 2. 当非守护线程执 阅读全文
posted @ 2020-10-31 00:37 十一vs十一 阅读(63) 评论(0) 推荐(0)
摘要:案例: 客户端给服务器端上传一个 文本文件, 多线程版服务器端 客户端思路: 1. 创建客户端Socket对象. 2. 获取可以往服务器端写数据的流. 3. 将第2步获取到的 字节流 -> 字符流 -> 字符缓冲流. 4. 创建 高效字符输入流对象, 用来读取 文件文件中的数据. 5. 具体读写的操 阅读全文
posted @ 2020-10-31 00:29 十一vs十一 阅读(247) 评论(0) 推荐(0)
摘要:类加载器简介: 概述: 它主要是用来加载 类的字节码文件进内存的, 并为之创建与其对应的 Class对象(字节码文件对象). 类加载器的加载机制: 全盘加载: 父类委托: 缓存机制: 分类: BootStrapClassLoader: 叫 根类加载器, 负责加载: jre/lib/rt.jar 相关 阅读全文
posted @ 2020-10-31 00:26 十一vs十一 阅读(29) 评论(0) 推荐(0)
摘要:案例: 演示通过PreparedStatement接口的预编译功能 解决 SQL注入攻击问题. SQL注入攻击问题的产生原因: 因为用户录入的非法字符, 符号, 单词等, 被我们的SQL语句识别为关键字了, 从而修改了我们SQL语句的格式, 从而造成了安全隐患. SQL注入攻击问题的解决思路: 采用 阅读全文
posted @ 2020-10-30 23:52 十一vs十一 阅读(84) 评论(0) 推荐(0)
摘要:package com.itheima.demo01_jdbc_transaction; import com.itheima.utils.JDBCUtils; import java.sql.Connection;import java.sql.SQLException;import java.s 阅读全文
posted @ 2020-10-30 21:48 十一vs十一 阅读(98) 评论(0) 推荐(0)
摘要:package com.itheima.demo02_httpclient; import org.apache.http.Header;import org.apache.http.HttpEntity;import org.apache.http.client.entity.UrlEncoded 阅读全文
posted @ 2020-10-30 21:47 十一vs十一 阅读(365) 评论(0) 推荐(0)
摘要:案例1: 解析传智播客官网的 所有大学学历以上的 所能报考的 学科信息. 爬虫的具体流程: 1. 明确首页URL. 2. 发送请求, 获取数据. 3. 解析数据. 4. 释放资源. */public class Demo01 { public static void main(String[] ar 阅读全文
posted @ 2020-10-30 21:43 十一vs十一 阅读(621) 评论(0) 推荐(0)
摘要:1. 多线程 我们在之前,学习的程序在没有跳转语句的前提下,都是由上至下依次执行,那现在想要设计一个程序,边打游戏边听歌,怎么设计?a 要解决上述问题,咱们得使用多进程或者多线程来解决. 1.1 并发与并行 并行:指两个或多个事件在同一时刻发生(同时发生)。 并发:指两个或多个事件在同一个时间段内发 阅读全文
posted @ 2020-10-30 21:40 十一vs十一 阅读(55) 评论(0) 推荐(0)
摘要:1. Junit单元测试 测试分类: – 黑盒测试:不需要写代码,给输入值,看程序是否能够输出期望的值。 – 白盒测试:需要写代码的。关注程序具体的执行流程。 1.1 Junit介绍 Junit是一个Java语言的单元测试框架,属于白盒测试,简单理解为可以用于取代java的main方法。Junit属 阅读全文
posted @ 2020-10-30 21:38 十一vs十一 阅读(93) 评论(0) 推荐(0)
摘要:jdbc&连接池&事务 预备知识: 一、数据库的基本知识 1. 数据库概述 l 什么是数据库 数据库就是存储数据的仓库,其本质是一个文件系统,数据按照特定的格式将数据存储起来,用户可以对数据库中的数据进行增加,修改,删除及查询操作。 l 什么是数据库管理系统 数据库管理系统(DataBase Man 阅读全文
posted @ 2020-10-30 21:35 十一vs十一 阅读(157) 评论(0) 推荐(0)
摘要:maven 一、Maven基本介绍 1. 什么是maven Maven是项目进行模型抽象, 充分运用的面向对象的思想, maven可以通过一小段描述信息来管理项目的构建, 报告和文档的软件项目管理工具。maven除了以程序构建能力为特色之外, 还提供高级项目管理工具。由于maven的缺省规则有较高的 阅读全文
posted @ 2020-10-30 21:34 十一vs十一 阅读(194) 评论(0) 推荐(0)
摘要:爬虫综合案例 一、网络爬虫基础 1. 网络爬虫介绍 随着互联网的迅速发展,网络资源越来越丰富,信息需求者如何从网络中抽取信息变得至关重要。目前,有效的获取网络数据资源的重要方式,便是网络爬虫技术。简单的理解,比如您对百度贴吧的一个帖子内容特别感兴趣,而帖子的回复却有1000多页,这时采用逐条复制的方 阅读全文
posted @ 2020-10-30 21:20 十一vs十一 阅读(615) 评论(0) 推荐(0)
摘要:如果maven上网下载jar包 下载一半断网了. 在maven库中搜索 .lastuptate 结尾的文件删除 就重新下载了 阅读全文
posted @ 2020-10-28 16:35 十一vs十一 阅读(65) 评论(0) 推荐(0)