bug耗子 - 博客园

数据库SQL行专列和列转行

摘要：行转列适用于按照数据的某个维度的聚合，例如成绩单，按照学生姓名整合各科成绩；列转行适用于拆分某条数据的各属性，例如拆分学生成绩单，按名称、学科、成绩展示；行转列方法：通常使用聚合函数对数据进行处理，例如sum、max、count等 SELECT user_name , MAX(CASE cou 阅读全文

posted @ 2024-03-04 09:18 bug耗子阅读(111) 评论(0) 推荐(0)

vertica数据库的分区分布作用与区别

摘要： 1.目的方面: segmentation 解决各节点数据倾斜问题, 适用于木桶原理, 数据量大的那个节点将会拖慢整个查询. partition 主要解决的是数据删除和空间回收问题. 列式数据库删除数据的代价较大. 相比一条一条记录的删除动作, 删除整一个partition 的代价要小得多(其实一个p 阅读全文

posted @ 2024-02-27 10:50 bug耗子阅读(143) 评论(0) 推荐(0)

数据库查表空间-Oracel、Vertica

摘要： Oracel数据库常用语句： --查看用户和默认表空间的关系 select username,default_tablespace from dba_users; --查看当前用户能访问的表 select * from user_tables; --Oracle查询用户表 select * from 阅读全文

posted @ 2022-01-04 17:31 bug耗子阅读(1140) 评论(0) 推荐(0)

mysql与oracel实现类似于top的功能

摘要： mysql的top用法需要借助limit limit在mysql中主要用于查询语句中，对查询结果进行分页处理，例如有10000条数据，想要拿到前100条数据，就要使用limit对结果前100条分页处理。 limit的格式 limit的参数有两个，分两种情况：当只传一个参数时，参数代表的是数据量；当阅读全文

posted @ 2021-06-25 17:39 bug耗子阅读(127) 评论(0) 推荐(0)

update 快速更新

摘要：数据库update总结 1、初始update 这种方式对仗工整，适用于初始属性赋值 update 表名 set 列名1=值1,列名2=值2,列名3=值3..... where 条件 2、普通update 这种方式适用于表关联赋值，适用范围最广 update 表名1 set 列名=(select 值阅读全文

posted @ 2020-07-30 15:35 bug耗子阅读(269) 评论(0) 推荐(0)

读取csv遇到的双循环

摘要：读取csv文件且用到for的双层循环在最近读取一个百万级数据量的csv文件时，为了对其进行数据的整合，用到了双层循环，但是结果差强人意，除了第一批数据可以正常处理，剩下的读取不到，经过测试发现了问题一丶发现问题为了方便的处理数据，首先对数据进行了预处理，提取出id 读取数据及双循环处理上面的阅读全文

posted @ 2020-04-08 15:44 bug耗子阅读(323) 评论(0) 推荐(0)

hadoop环境配置

摘要：本文学习参考来自于‘http://dblab.xmu.edu.cn/blog/install hadoop/’ 基本环境准备安装Linux操作系统根据电脑性能，性能高的可选择安装虚拟机，性能较差的选择安装双系统 Linux——Ubantu镜像：https://ubuntu.com/downloa 阅读全文

posted @ 2020-01-03 17:42 bug耗子阅读(208) 评论(0) 推荐(0)

mysql的基本操作

摘要： MySQL数据库是当前应用非常广泛的一款关系型数据库主要需要掌握数据库信息的增删改查数据库的操作主要包括：数据库的操作，包括创建、删除表的操作，包括创建、修改、删除数据的操作，包括增加、修改、删除、查询，简称crud ==数据库操作== 创建，删除，查询创建：删除：查询：使用：阅读全文

posted @ 2019-12-06 11:18 bug耗子阅读(90) 评论(0) 推荐(0)

mysql的查询

摘要：以上会创建需求的两个表可以供以完成以下查询操作在进行数据表信息查询时，不是只有简单的查询所有，更多的时候，我们需要的只有部分信息，所以掌握条件查询的技巧很重要 ==比较==查询利用的是算术运算符， = != 等符号对信息进行检索 ==逻辑==查询利用的是且或非的逻辑思想，即 and or no 阅读全文

posted @ 2019-12-06 11:18 bug耗子阅读(221) 评论(0) 推荐(0)

mysql与python的交互

摘要： mysql是一种关系型数据库，是为了表示事物与事物之间的关系，本身存于数据库中的内容意义并不大，所以广泛应用于编程语言中，python中九含有与MySQL交互的模块 pymysql 编程对mysql的操作阅读全文

posted @ 2019-12-06 11:17 bug耗子阅读(450) 评论(0) 推荐(0)