大数据 - 文章分类(第3页) - 三里清风18

MySQL 优化

摘要：MySQL 优化 Query_time、Rows_examined、Rows_sent这3个信息让我们看到了查询需要优化什么。查询时间最长的SQL往往是最需要优化的，如果检查了大量记录（Rows_examined），而只返回很小的结果集（Rows_sent），往往也意味着存在不良SQL。但在一个高并阅读全文

posted @ 2023-09-19 18:08 三里清风18 阅读(36) 评论(0) 推荐(0)

SpringMVC 注解笔记

摘要：SpringMVC @ControllerAdvice使用场景顾名思义，@ControllerAdvice就是@Controller 的增强版。@ControllerAdvice主要用来处理全局数据，一般搭配@ExceptionHandler、@ModelAttribute以及@InitBinde 阅读全文

posted @ 2023-09-18 15:57 三里清风18 阅读(13) 评论(0) 推荐(0)

SpringSecurity-OAuth2 授权

摘要：SpringSecurity-OAuth2 授权授权模式复杂程度由大至小：授权码模式 > 隐式授权模式 > 密码模式 > 客户端模式 (1)客户端模式其中客户端模式的流程是：客户端使用授权服器给的标识与secret访问资源服务器获取token 没有用户与授权服务器交互，完全以机器形式获取授权与使阅读全文

posted @ 2023-09-16 11:07 三里清风18 阅读(646) 评论(0) 推荐(0)

Oauth2 笔记

摘要：Oauth2 Pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta 阅读全文

posted @ 2023-09-15 18:06 三里清风18 阅读(13) 评论(0) 推荐(0)

SpringSecurity-OAuth2万文详解

摘要：SpringSecurity-OAuth2万文详解 https://github.com/spring-projects/spring-security-oauth/blob/main/spring-security-oauth2/src/test/resources/schema.sql serv 阅读全文

posted @ 2023-09-15 16:56 三里清风18 阅读(205) 评论(0) 推荐(0)

Phoenix 索引笔记2

摘要：Phoenix 索引2 -- 建表 CREATE TABLE "FN1"."CHATDOC" ( ID UNSIGNED_LONG NOT NULL PRIMARY KEY, PARENTID UNSIGNED_LONG , TITLE VARCHAR(2000), LINKURL VARCHAR( 阅读全文

posted @ 2023-09-12 10:07 三里清风18 阅读(38) 评论(0) 推荐(0)

Spark 基础

摘要：spark rdd DataFrame与RDD的主要区别在于DataFrame带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。使得Spark SQL得以洞察更多的结构信息，从而对藏于DataFrame背后的数据源以及作用于DataFrame之上的变换进行了针阅读全文

posted @ 2023-09-09 10:05 三里清风18 阅读(13) 评论(0) 推荐(0)

phoenix二级索引-重建索引REBUILD

摘要：phoenix二级索引-重建索引REBUILD ALTER INDEX IF EXISTS my_idx ON my_table REBUILD ALTER INDEX IF EXISTS idx_bdh_energy_hid2 ON "hs_spin"."dwd_energy_platforms" 阅读全文

posted @ 2023-09-08 09:49 三里清风18 阅读(78) 评论(0) 推荐(0)

MySQL指南

摘要：# 存储过程 ```sql -- 删除排班表多余的数据 CREATE PROCEDURE p_del_coch() BEGIN delete from class_order_config_history where id in ( SELECT id from ( SELECT * from ( 阅读全文

posted @ 2023-09-05 10:25 三里清风18 阅读(20) 评论(0) 推荐(0)

Spark篇

摘要：# 调优篇 ```sh #!/bin/bash /opt/spark/spark-2.1.1-bin-hadoop2.6/bin/spark-submit --class com.hangshu.impl.MainCtl \ --master yarn \ --deploy-mode cluster 阅读全文

posted @ 2023-09-04 17:41 三里清风18 阅读(91) 评论(0) 推荐(0)

Hive 笔记

摘要：# Hive ddl ```sql CREATE TABLE dws.dws_energy_platforms( key string, htime string, producer_id string, class_order int, dev_group string, variety stri 阅读全文

posted @ 2023-09-04 16:24 三里清风18 阅读(11) 评论(0) 推荐(0)

异步索引

摘要：# 异步索引 ```python create index XXX on database.tablename(col1, col2) include(col3, col4) async hbase org.apache.phoenix.mapreduce.index.IndexTool \ --s 阅读全文

posted @ 2023-08-31 16:16 三里清风18 阅读(47) 评论(0) 推荐(0)

Phoenix 指南-01

摘要：Phoenix 指南-01 create 'jinshan' ,'info','info1' put 'jinshan','1001','info:createtime',Bytes.toBytes(1602237645881) put 'jinshan','1001','info1:age',By 阅读全文

posted @ 2023-08-31 13:44 三里清风18 阅读(54) 评论(0) 推荐(0)

Hbase 整合 Phoenix 之二级索引

摘要：# Hbase 整合 Phoenix 之二级索引 Phoenix 的一级索引就是它的主键，对应的就是 hbase 的 rowkey，这个是默认的机制，我们不需要额外操作。故二级索引就是非主键 /rowkey 列的索引。创建二级索引的目的就是为了加快查询速度。 Hbase 只能基于 rowkey 去阅读全文

posted @ 2023-08-23 16:46 三里清风18 阅读(104) 评论(0) 推荐(0)

大数据组件描述

摘要：# Canal # Flume # Impala/Presto # ELK #Kudu # MySQL # Redis # Mahout/MLLib # Apache Beam # MOLAP 是一种通过与计算cube方式加速查询的OLAP引擎，核心思想是“空间换时间”，典型的有Druid和Kyli 阅读全文

posted @ 2023-08-23 14:12 三里清风18 阅读(9) 评论(0) 推荐(0)

MongoDB 笔记

摘要：MongoDB 笔记阅读全文

posted @ 2023-08-23 14:10 三里清风18 阅读(8) 评论(0) 推荐(0)

MariaDB 笔记

摘要：MariaDB 阅读全文

posted @ 2023-08-23 14:09 三里清风18 阅读(8) 评论(0) 推荐(0)

Smartbi 笔记

摘要：Smartbi 笔记 https://www.zhihu.com/question/449475883/answer/3050811985?utm_id=0 阅读全文

posted @ 2023-08-23 14:08 三里清风18 阅读(15) 评论(0) 推荐(0)

cw2blog

开心一刻

文章分类 - 大数据

公告