10 2021 档案

程序员修炼之道阅读笔记1
摘要：第一章 注重实效的哲学 1 我的源码让猫给吃了 提供各种选择，不要寻找借口。 2 软件的熵 一句话:不以善小而不为,勿以恶小而为之. 破窗户理论：一扇破窗户给人废弃感，慢慢人们也开始不关心周围的居住环境，开始乱丢垃圾，乱抹乱画，整个社区就废弃了。 3 石头汤与煮青蛙 先出一个『石头』一样的版本，催化 阅读全文
posted @ 2021-10-30 23:48 禁小呆 阅读(48) 评论(0) 推荐(0)
今日学习总计
摘要：vue学习 我们可以在 Vue.js 的官网上直接下载 vue.min.js 并用 <script> 标签引入。 认识Vue.jsVue是一个渐进式的框架 渐进式意味着你可以将Vue作为你应用的一部分嵌套其中Vue的核心库以及其生态系统Core + Vue-router + VuexVue特点和We 阅读全文
posted @ 2021-10-29 22:09 禁小呆 阅读(37) 评论(0) 推荐(0)
今日学习总计
摘要：layui学习 layui（谐音：类 UI) 是一套开源的 Web UI 解决方案，采用自身经典的模块化规范，并遵循原生 HTML/CSS/JS 的开发方式，极易上手，拿来即用。其风格简约轻盈，而组件优雅丰盈，从源代码到使用方法的每一处细节都经过精心雕琢，非常适合网页界面的快速开发。layui 区别 阅读全文
posted @ 2021-10-28 18:59 禁小呆 阅读(39) 评论(0) 推荐(0)
今日学习总计
摘要：（1）修改hbase-env.sh [hadoop@hadoop1 conf]$ vi hbase-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_73export HBASE_MANAGES_ZK=false （2）修改hbase-site.xml [had 阅读全文
posted @ 2021-10-26 19:56 禁小呆 阅读(42) 评论(0) 推荐(0)
今日学习总计
摘要：HBase简介 HBase 是 BigTable 的开源（源码使用 Java 编写）版本。是 Apache Hadoop 的数据库，是建 立在 HDFS 之上，被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的 NoSQL 的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。 HBas 阅读全文
posted @ 2021-10-25 19:01 禁小呆 阅读(61) 评论(0) 推荐(0)
今日学习总计
摘要：5、 一定要记得加入 MySQL 驱动包（mysql-connector-java-5.1.40-bin.jar）该 jar 包放置在 hive 的根路径下的 lib 目录 6、 安装完成，配置环境变量 [hadoop@hadoop3 lib]$ vi ~/.bashrc #Hive export 阅读全文
posted @ 2021-10-24 17:25 禁小呆 阅读(52) 评论(0) 推荐(0)
今日学习总计
摘要：Hive的下载 下载地址http://mirrors.hust.edu.cn/apache/ 选择合适的Hive版本进行下载，进到stable-2文件夹可以看到稳定的2.x的版本是2.3.3 回到顶部 Hive的安装 1、本人使用MySQL做为Hive的元数据库，所以先安装MySQL。 MySql安 阅读全文
posted @ 2021-10-22 22:22 禁小呆 阅读(39) 评论(0) 推荐(0)
今日学习总计
摘要：Hive的架构 从上图看出hive的内部架构由四部分组成： 1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface CLI，Shell 终端命令行（Command Line Interface），采用交互形式使用 Hive 命令行与 Hi 阅读全文
posted @ 2021-10-21 23:05 禁小呆 阅读(59) 评论(0) 推荐(0)
今日学习总计
摘要：1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行 7、使 阅读全文
posted @ 2021-10-20 21:59 禁小呆 阅读(42) 评论(0) 推荐(0)
今日学习总计
摘要：在Express项目中使用Mongoose 快速生成express应用 这里我们用express-generator来快速生成express应用（先安装好node、npm、express-generator、mongodb） $ express mongooseExpress 先看下最终的项目结构图 阅读全文
posted @ 2021-10-19 22:58 禁小呆 阅读(43) 评论(0) 推荐(0)
今日学习总计
摘要：MongoDB特点： 使用BSON存储数据 支持相对丰富的查询操作（相对其他nosql数据库） 支持索引 副本集（支持多个实例/多个服务器运行同个数据库） 分片（数据库水平扩展） 无模式（同个数据文档中的数据可以不一样） 部署简单方便（默认无密码，也带来安全问题） 服务的启动： mongod (此前 阅读全文
posted @ 2021-10-17 17:42 禁小呆 阅读(51) 评论(0) 推荐(0)
今日学习总计
摘要：前提和设计目标硬件错误硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成，每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的，而且任一组件都有可能失效，这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和快速、自动的恢复是HDFS最核心的架构目标。流 阅读全文
posted @ 2021-10-16 21:35 禁小呆 阅读(30) 评论(0) 推荐(0)
今日学习总计
摘要：hadoop框架 Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker组成。 其中NameNode，secondary NameNode，JobTracker运行在Ma 阅读全文
posted @ 2021-10-15 22:28 禁小呆 阅读(48) 评论(0) 推荐(0)
今日学习总计
摘要：Hadoop核心之MapReduce 上部分提到Hadoop存储大数据的核心模块HDFS，这一部分介绍Hadoop处理大数据部分的核心模块MapReduce。 Apache Foundation对MapReduce的介绍：“Hadoop MapReduce is a software framewo 阅读全文
posted @ 2021-10-14 21:50 禁小呆 阅读(36) 评论(0) 推荐(0)
今日学习总计
摘要：Hadoop核心之分布式文件系统HDFS Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）是Hadoop的核心模块之一，它主要解决Hadoop的大数据存储问题，其思想来源与Google的文件系统GFS。HDFS的主要特点： 保存多个副本，且提供 阅读全文
posted @ 2021-10-12 19:16 禁小呆 阅读(52) 评论(0) 推荐(0)
今日学习总计
摘要：1 Hadoop是什么？ Google公司发表了两篇论文：一篇论文是“The Google File System”，介绍如何实现分布式地存储海量数据；另一篇论文是“Mapreduce:Simplified Data Processing on Large Clusters”，介绍如何对分布式大规模 阅读全文
posted @ 2021-10-11 22:50 禁小呆 阅读(42) 评论(0) 推荐(0)
今日学习总计
摘要：最新项目一直出现线上问题，定位原因看到是由于表数据过大导致的，现在有个登录表，登录游戏玩家每次登录的信息，久而久之，这几个表的数据量达到了两亿多条。每天都在上报，采集，由于没有定期删除，数据大量累积。大概有一年左右的数据，一个表的数据已经达到亿级别的。这样算下来，一个表的数据至少是几十GB了。因此需 阅读全文
posted @ 2021-10-10 21:13 禁小呆 阅读(41) 评论(0) 推荐(0)
今日学习总计
摘要：线上测试环境搭建过程记录 第一步：安装JDK，以jdk1.8为例子： 1.将jdk1.8的rpm软件包拷贝到 /usr/local 下 2.执行 rpm -ivh jdk-8u191-linux-i586.rpm 3.安装完以后 会在 /usr/java/latest 下有对应的 jdk 版本 4. 阅读全文
posted @ 2021-10-08 18:53 禁小呆 阅读(59) 评论(0) 推荐(0)
学习总结
摘要：SpringBoot Web学习笔记 一、资源的访问： 情形一、所有的 /webjars/** 都会去 classpath:/META_INFO/resource/webjars/ 下找资源； webjars：以jar包的方式引入静态资源； eg： 引入jquery的 webjar 包 其层级目录如 阅读全文
posted @ 2021-10-07 21:40 禁小呆 阅读(47) 评论(0) 推荐(0)
学习总结
摘要：分布式服务架构学习 第一章： 理论基础： 互联网企业对传统技术进行发展和演化，形成一套具有互联网特色的互联网技术，互联网技术以拆分为原则来满足服务于海量 用户的需求，从架构上来讲，分布式、服务化( SOA )、 微服务得到了深入发展，以拆分和服务化为基础，将海量用户产生的大规模的访问流量进行分解，采 阅读全文
posted @ 2021-10-05 23:00 禁小呆 阅读(45) 评论(0) 推荐(0)
学习总结
摘要：SpringBoot的最大好处就是实现了大部分的自动配置，使得开发者可以更多的关注于业务开发，避免繁琐的业务开发，但是SpringBoot如此好用的 自动注解过程着实让人忍不住的去了解一番，因为本文的注解解析过程会持续更新本部分，所以首先从简单的自动配置原理过程进行描述，后边在 学习完注解驱动开发后 阅读全文
posted @ 2021-10-04 22:56 禁小呆 阅读(52) 评论(0) 推荐(0)
学习总结
摘要：爬虫学习小结 此处进行简单的分类，对于普通的网页爬取内容，如果没有登录界面可以直接使用Jsoup的API进行爬取； 如果网站是在打开目标也之前需要进行登录，此时需要先使用用户加密码实现登录获取Cookie然后进行登录； 本文就第二种方式进行分析： 方式一、 httpClient中的PostMetho 阅读全文
posted @ 2021-10-02 23:50 禁小呆 阅读(67) 评论(0) 推荐(0)
学习笔记
摘要：mybatis-spring-boot-starter 任何模式都需要首先引入mybatis-spring-boot-starter的pom文件。 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis- 阅读全文
posted @ 2021-10-01 17:23 禁小呆 阅读(45) 评论(0) 推荐(0)