米兰的小铁將

2020年3月17日

摘要： 1、关于序列化与反序列化web有两种应用模式，一种是前后端不分离，一种是前后端分离，当前后端分离的时候，后端只需要向前端传输数据即可，不需要进行其他的操作；现阶段主流的数据格式为json格式，所以在restframework在前后端传输数据时，也主要是json数据，过程中就要需要把其他数据转换成json数据，比如数据库查询所有数据时，是queryset对象，那就要把这对象处理成json数据返回前端... 阅读全文

posted @ 2020-03-17 16:49 米兰的小铁將阅读(223) 评论(0) 推荐(0)

2020年3月3日

python装饰器

摘要：一、装饰器概述 python的装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。简单的说装饰器就是一个用来返回函数的函数。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解阅读全文

posted @ 2020-03-03 16:07 米兰的小铁將阅读(178) 评论(0) 推荐(0)

2020年2月24日

apache kylin概述

摘要：原文：https://www.cnblogs.com/xiaodf/p/11671095.html1 Kylin是什么在大数据处理技术领域，用户最普遍的诉求就是希望以很简易的方式从大数据平台上快速获取查询结果，同时也希望传统的商务智能工具能够直接和大数据平台连接起来，以便使用这些工具做数据分析。目前已经出现了很多优秀的SQL on Hadoop引擎，包括Hive、Impala及 SparkSQL等... 阅读全文

posted @ 2020-02-24 16:58 米兰的小铁將阅读(623) 评论(0) 推荐(0)

数据仓库基本概念

摘要：原文：https://www.cnblogs.com/MR-zhang-01/p/9278477.html一、数据仓库的概念 - 元数据按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便的找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据和业务元数据。技术... 阅读全文

posted @ 2020-02-24 14:51 米兰的小铁將阅读(836) 评论(0) 推荐(0)

数据仓库设计思路及ETL设计思路

摘要：原文：https://www.cnblogs.com/MR-zhang-01/p/9180787.html一、数据仓库构建思想构造数据仓库有两种方式：一是自上而下，一是自下而上。Bill Inmon先生推崇“自上而下”的方式，即一个企业建立唯一的数据中心，就像一个数据的仓库，其中数据是经过整合、经过清洗、去掉脏数据的、标准的，能够提供统一的视图。要建立这样的数据仓库，并不从它需要支持哪些应用入手，... 阅读全文

posted @ 2020-02-24 14:39 米兰的小铁將阅读(888) 评论(0) 推荐(0)

数据仓库系统及特点

摘要：原文：https://www.cnblogs.com/MR-zhang-01/p/9180775.html一、联机事务处理系统（OLTP系统）也称为生产系统，它是事件驱动、面向需求的，比如银行的储蓄系统就是一个典型的OLTP系统。OLTP在使用过程中积累了大量的数据。关系数据库概念提出之后，联机事务处理一直是数据库应用的主流。OLTP的特点是：1）对相应时间要求非常高；2）用户数量非常庞大，主要是... 阅读全文

posted @ 2020-02-24 14:28 米兰的小铁將阅读(761) 评论(0) 推荐(0)

2020年1月10日

查看nginx某个时间段的日志内容

摘要： #nginx 日志格式192.168.1.1 - - [25/Dec/2019:23:00:12 +0800] "GET / HTTP/1.0" 200 241 "-" "-"192.168.1.2 - - [25/Dec/2019:23:21:49 +0800] "GET / HTTP/1.0" 200 241 "-" "-"#命令awk '{split($4,array,"[");if(arr... 阅读全文

posted @ 2020-01-10 17:50 米兰的小铁將阅读(3311) 评论(0) 推荐(0)

2020年1月9日

centos多台之间时间同步

摘要： 1、描述 NTP：环境描述： 2、安装ntp 3、硬件时间问题 4、配置 server1 server2和server3 5、启动 6、查看查看与时间源的偏差：查看同步的时间源：阅读全文

posted @ 2020-01-09 11:25 米兰的小铁將阅读(1299) 评论(0) 推荐(0)

2020年1月8日

IDEA结合maven将依赖都打入jar包

摘要： 1、在pom.xml中添加插件 <build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.0</version> <configuration> <source>1.8</source 阅读全文

posted @ 2020-01-08 17:09 米兰的小铁將阅读(5510) 评论(4) 推荐(1)

azkaban使用案例

摘要：一、Command类型的单一jobcommand1.job#command.jobtype=commandcommand=bash hello.shhello.sh#!/bin/bashecho 'hello azkaban'将job资源文件打包成zip文件:通过azkaban的web管理平台创建project并上传job压缩包启动执行该job这里直接执行，执行完后可以查看：二、Command类型... 阅读全文

posted @ 2020-01-08 10:46 米兰的小铁將阅读(575) 评论(0) 推荐(0)

米兰的小铁將

公告