jnkk - 博客园

ETL和Kettle

摘要： ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。一.什么是kettleKettle是一款国外开源的ETL工具，纯java编写，可以在Window、Li 阅读全文

posted @ 2022-03-31 00:09 jnkk 阅读(196) 评论(0) 推荐(0)

python中concat函数的用法及示例

摘要： concat方法相当于数据库中的全连接(UNION ALL),可以指定按某个轴进行连接,也可以指定连接的方式join(outer,inner 只有这两种)。与数据库不同的是concat不会去重，要达到去重的效果可以使用drop_duplicates方法 concat(objs, axis=0, j 阅读全文

posted @ 2021-12-12 16:47 jnkk 阅读(2044) 评论(0) 推荐(0)

Python中pandas透视表pivot_table功能详解（非常简单易懂）

摘要：一、概述 1.1 什么是透视表？透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被称作pivot_table。 1.2 为什么要使用pivot_table？灵活性高，可以随意定制你的分析计算要求脉络清晰阅读全文

posted @ 2021-12-12 16:23 jnkk 阅读(1255) 评论(0) 推荐(0)

pandas中的reset_index()

摘要：数据清洗时，会将带空值的行删除，此时DataFrame或Series类型的数据不再是连续的索引，可以使用reset_index()重置索引。 import pandas as pd import numpy as np df = pd.DataFrame(np.arange(20).reshape( 阅读全文

posted @ 2021-12-12 16:07 jnkk 阅读(424) 评论(0) 推荐(0)

Pandas之排序函数sort_values()

摘要：一、sort_values()函数用途 pandas中的sort_values()函数原理类似于SQL中的order by，可以将数据集依照某个字段中的数据进行排序，该函数即可根据指定列数据也可根据指定行的数据排序。二、sort_values()函数的具体参数用法：DataFrame.sort_ 阅读全文

posted @ 2021-12-12 16:04 jnkk 阅读(3473) 评论(0) 推荐(0)

loc和iloc的用法和区别

摘要： loc——通过行标签索引行数据 iloc——通过行号索引行数据 ix——通过行标签或者行号索引行数据（基于loc和iloc 的混合）标签切片，如’a’:‘c’，与序列切片如0:2不同，后者不包含index=2的元素，前者包含结束标签’c’所在的行。布尔类型数组作为标签，例如[True, Fals 阅读全文

posted @ 2021-12-12 15:37 jnkk 阅读(376) 评论(0) 推荐(0)

Python：Pandas中的.head函数和.shape函数的详细解释

摘要：在用Pandas读取数据或对数据做些处理之后，想要观察一下数据的时候，用head函数可以默认读取前5行的数据shape函数，返回的是元组hg.shape返回的是hg的行数和列数hg.shape[0]返回的是hg的行数，有几行hg.shape[1]返回的是hg的列数，有几列阅读全文

posted @ 2021-11-22 17:29 jnkk 阅读(848) 评论(1) 推荐(0)

encode()、decode()字符编码问题

摘要： python3中，更改了默认的编码方式，更改为了unicode ord():返回对应的 ASCII 数值或者 Unicode 数值,ord('a'): 97 chr():返回值是当前整数对应的 ASCII 字符。>>>chr(0x30) '0' , >>> chr(97) 'a' b2a_hex:字阅读全文

posted @ 2021-11-01 21:29 jnkk 阅读(139) 评论(0) 推荐(0)

HBase中的RowKey

摘要：一、什么是RowKey？ 1.增删改查的过程中RowKey就充当了主键的作用，它和众多的nosql数据库一样，可以唯一的标识一行记录。2.RowKey行键 (RowKey)可以是任意字符串，只要保证这个字符串不重复就可以了。3.由于数据按照RowKey的字典序(byte order)排序存储，因此H 阅读全文

posted @ 2021-09-28 18:23 jnkk 阅读(2293) 评论(0) 推荐(0)

集合进行排序的两种方式

摘要：方法1：自然排序（实现comparable接口compareto方法）方法2：自定义排序（Comparator接口、compare方法）一、自然排序 1、Comparable是在集合内部定义的方法实现的排序，位于java.util下。 2、如果创建一个集合来储存对象，当存储的对象是Integer 阅读全文

posted @ 2021-08-21 01:56 jnkk 阅读(2984) 评论(0) 推荐(0)

导航

2022年3月31日

2021年12月12日

2021年11月22日

2021年11月1日

2021年9月28日

2021年8月21日