11 2019 档案

初识Spark
摘要：Spark(一): 基本架构及原理 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下 阅读全文
posted @ 2019-11-25 10:52 零点社区 阅读(158) 评论(0) 推荐(0)
机器学习入门
摘要：本文用浅显易懂的语言精准概括了机器学习的相关知识，内容全面，总结到位，剖析了机器学习的what，who，when, where, how，以及why等相关问题。从机器学习的概念，到机器学习的发展史，再到机器学习的各类算法，最后到机器学习的最新应用，十分详尽。适合小白快速了解机器学习。 Machine 阅读全文
posted @ 2019-11-21 10:15 零点社区 阅读(236) 评论(0) 推荐(0)
Hive整理
摘要：一 Hive 简介 什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 阅读全文
posted @ 2019-11-19 16:15 零点社区 阅读(276) 评论(0) 推荐(0)
Hive基础sql语法
摘要：Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内 阅读全文
posted @ 2019-11-18 16:23 零点社区 阅读(522) 评论(0) 推荐(0)
ELK学习总结（二）
摘要：一、需求背景业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不方便运营人员需要一些数据，需要我们运维到服务器上分析日志二、为什么要用到ELK一般我们需要进行日志分析场景：直接在日志文件中 grep、 阅读全文
posted @ 2019-11-15 09:07 零点社区 阅读(183) 评论(0) 推荐(0)
ELK学习总结（一）
摘要：一. ELK是什么？ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。 阅读全文
posted @ 2019-11-15 09:04 零点社区 阅读(220) 评论(0) 推荐(0)
CentOS执行yum报错
摘要：已加载插件：fastestmirrorCould not retrieve mirrorlist http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra=stock error was14: curl#6 - "Could 阅读全文
posted @ 2019-11-12 17:17 零点社区 阅读(459) 评论(0) 推荐(0)
简介MPP(大规模并行处理)
摘要：1、 什么是MPP？ MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提 阅读全文
posted @ 2019-11-06 10:39 零点社区 阅读(2159) 评论(0) 推荐(0)
架构知识体系
摘要：1、什么是架构和架构本质 在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。 此君说的架构和彼君理解的架构未必是一回事。 我们主要针对互联网服server系统（类似网站）来定义架构：架构是系统的骨架，支撑和链接各个部分，包括组件、连接件、约束规范，以及指导这些内容设计与演化的原理。 阅读全文
posted @ 2019-11-05 15:55 零点社区 阅读(230) 评论(0) 推荐(0)
漫谈互联网架构
摘要：互联网的标准技术架构如下图所示，这张图基本上涵盖了互联网技术公司的大部分技术点，不同的公司只是在具体的技术实现上稍有差异，但不会跳出这个框架的范畴。 存储层技术SQL SQL即我们通常所说的关系数据。前几年NoSQL火了一阵子，很多人都理解为NoSQL是完全抛弃关系数据，全部采用非关系型数据。但经过 阅读全文
posted @ 2019-11-05 14:42 零点社区 阅读(935) 评论(0) 推荐(0)