数据探索实践

摘要： 本文概要 概述 为什么要优化 系统的吞吐量瓶颈往往出现在数据库的访问速度上 随着应用程序的运行，数据库的中的数据会越来越多，处理时间会相应变慢 数据是存放在磁盘上的，读写速度无法和内存相比 如何优化 设计数据库时：数据库表、字段的设计，存储引擎 利用好MySQL自身提供的功能，如索引等 横向扩展：M 阅读全文

摘要： 无论在工作还是面试中，关于SQL中不要用“SELECT *”，都是大家听烂了的问题，虽说听烂了，但普遍理解还是在很浅的层面，并没有多少人去追根究底，探究其原理。 废话不多说，本文带你深入了解一下"SELECT * "效率低的原因及场景。 本文很干！请自备茶水，没时间看记得先收藏 -- 来自一位被技术 阅读全文

摘要： 对于teradata SQL级别的优化，使用EXPLAIN查看执行计划基本上是最直接也最好用的。EXPLAIN 展示出来的内容重要但同时也很多，我们只需要提取其中的关键字便可大致描述出来我么SQL的执行过程。 数据检索涉及到AMPs： All-AMPs retrieve step, Single-A 阅读全文

摘要： Types of Teradata Joins Teradata joins 当我们在一列或者多个列上join两个或者多个表的时候，就发生了joining。这将会获取两个表中匹配的记录。这个通用概念对所有的数据库都是统一的。在Teradata中，Optimizer（一个智能的解释器）用于根据用户输入 阅读全文

摘要： Teradata join1.SELECT Statement ANSI Join Syntax版本V2R2以后,Teradata支持ANSI join语法及外连接:SELECT colname [, colname , …]FROM tabname [aname][INNER] JOINLEFT 阅读全文

摘要： Spark(一): 基本架构及原理 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下 阅读全文

摘要： 本文用浅显易懂的语言精准概括了机器学习的相关知识，内容全面，总结到位，剖析了机器学习的what，who，when, where, how，以及why等相关问题。从机器学习的概念，到机器学习的发展史，再到机器学习的各类算法，最后到机器学习的最新应用，十分详尽。适合小白快速了解机器学习。 Machine 阅读全文

摘要： 一 Hive 简介 什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 阅读全文

摘要： Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内 阅读全文

摘要： 一、需求背景业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不方便运营人员需要一些数据，需要我们运维到服务器上分析日志二、为什么要用到ELK一般我们需要进行日志分析场景：直接在日志文件中 grep、 阅读全文