摘要：
将table_1表中的数据，每个area的每个atype为A、B、C、D的数量统计出来。 重要的点： 1）pivot()里面for前面必须用聚合函数； 2）m字表中的每个字段都会在查询结果里面； ``` select * from (select area,atype from table_1) m 阅读全文
摘要：
select atype,name_list from ( select listagg(aname,',') within group( order by atype) name_list ,atype from listtable where age>0 group by atype) a; / 阅读全文
摘要：
select regexp_substr(t.mywords , '[^,]+', 1, rownum,'i'), myid from (select myid,mywords from tablename where myid='12345') t connect by rownum <= LEN 阅读全文
摘要：
1. 绘制echarts图形，并存为本地html 比如在官网下载下一个，存在本地。（需要先下载echarts.js到本地目录） 2. 在Axure中添加图形，并存为html 首先插入一个内联框架，尺寸按照echarts图形的尺寸设置，然后双击内联框架，选择连接到文件，输入打开图形所在的html的目录 阅读全文
摘要：
#### 远程oracle import cx_Oracle conn = cx_Oracle.connect('userid/key@ip:端口号/service_name') cursor = conn.cursor() result = cursor.execute('select * fro 阅读全文
摘要：
# -*- coding: utf-8 -*- """ Created on Thu Sep 23 10:52:39 2021 @author: Administrator 程序用于给todolist的每一行行首自动添加星号 数据来源于剪切板 处理完后替换剪贴板 """ # 如果没有pypercil 阅读全文
摘要：
d[d.columns[0]]=d[d.columns[0]].astype('float64') #第1列换成浮点型 阅读全文
摘要：
data.columns = [re_colname] 比如 data.columns = ['一个列名'] data.columns = [['两个列名1','两个列名2']] 阅读全文
摘要：
dat_lst=list(filter(None, dat_lst)) # 如果是listoflist就要多嵌套一层循环 阅读全文
摘要：
dat_lst=dat.iloc[:,1:].values.tolist() 阅读全文
摘要：
分别对df的行或者列进行处理后，会遇到想要把拆开的数据重新拼起来的情况 这些数据具有相同的结构，只是单纯的要拼到一起，不涉及连接的关联变量。 （就是R的rbind 和 cbind）df= a.append([b,c,d,e,f,g,h,i,j,k,l,m], ignore_index=False) 阅读全文
摘要：
DataFrame删除某些列后会出现INDEX不连续的问题， 会影响循环的运行 因此会常用到将INDEX重置为从0到n df.reset_index(drop=True, inplace=True) 阅读全文
摘要：
# 使用预设数据格式使读取更快,converters={"COLlv1":str,"COLlv2":str,"COLlv3:str"} # 可加入参数限制读取的行数，nrows =10000 d1 = pd.read_excel("D:/data/data.xlsx", encoding="gbk" 阅读全文
摘要：
dat = dat.drop(['a','b','c','d','e','f'],axis=1) 阅读全文
摘要：
dat = DataFrame.drop_duplicates(dat,keep='first',inplace=False) 阅读全文
摘要：
def read_head_xls(file,nrow): ''' 读取nrow行excel数据,并计算耗时 用于读取测试数据 依赖于 from time import time from xlrd import open_workbook from pandas import DataFrame 阅读全文
摘要：
计算程序运行的时间，验证优化的效果。 ①依赖于time from time import time ②在程序开始前记录当前系统时间 （后面接程序运行代码） t_start=time() ③在程序结束后记录当前系统时间 （前面完成了程序的运行） t_end=time() ④计算时长 打印时长 删除相关 阅读全文
摘要：
def summary(dat): ''' 求一个df的列名、每列数据类型、每列非空行数、每列缺失比例、每列取值个数 用于了解原始数据情况 *依赖于 singe_df() from pandas import concat ''' dat_head = singe_df(dat.columns,'c 阅读全文
摘要：
conda install -c conda-forge mlxtend 阅读全文
摘要：
今天在学习python自动化的时候卡在了第一步，就是在.py文件中写了sys.argv后用cmd尝试传参数莫得反应 test.py 内容如下 然后打开cmd运行test.py 传参正常结果如2，但是出现了1和2结果都是1的问题。 解决过程： （1）尝试在cmd打开python 发现问题：在cmd中输 阅读全文
摘要：
啊 # 读取前 import pandas as pd # 读取时 a=pd.read_csv("d:/data/111.csv",encoding="GBK")#读gbk编码文件 b=pd.read_csv("d:/data/222.csv")#读utf8的csv文件 c = pd.read_cs 阅读全文
摘要：
在处理数据用于建模的时候，遇到了长尾数据，需要处理异常值，于是参考网上的资料，重新写了函数。 是把一个DataFrame的某列超过预计范围（IQR方法）的数据重新赋值为上、下限的方法，如果要删除异常值，需要修改后面几个。 1 import pandas as pd 2 3 def outliners 阅读全文
摘要：
# -*- coding: utf-8 -*- """ Created on Fri Oct 30 21:51:45 2020 @author: shilo """ #TensorFlow实现一个隐含层的MLP import tensorflow as tf import numpy as np i 阅读全文
摘要：
读数总结：使用tf构建一个简单的SLP模型，部分定义需要在上一学习笔记中复习。 分为导入模块、数据构建、模型定义、学习阶段、测试及准确率计算，共五个部分。 ##5.1 导入模块 此次建模主要用到numpy用于构建数据，TensorFlow用于构建模型，matplotlib用于数据可视化。 ##5.2 阅读全文
摘要：
安装TensorFlow中，先学习相关理论（昨天玩塞尔达去了 反思1s TensorFlow是机器学习和深度学习的工具。 除了主要的包，还有其他的库 TensorBoard——TensorFlow内部图的可视化工具 TensorFlow Fold——生成动态计算图表 TensorFlow Trans 阅读全文
摘要：
我觉得我需要补充一些理论，才能开始学。 ## 3.1人工智能、机器学习和深度学习 人工智能：计算机能自动处理似乎至于人类只能相关的运算； 机器学习：人工智能的分支，用能学习的系统解决以前被认为与人类独有智能相关的问题； 深度学习：机器学习的分支，无须在模型中人工构造特征，因为系统可以将其作为学习结果 阅读全文
摘要：
day2 图像处理工具PIL PIL是python常用的图像处理工具，是python imaging library的简称，是图像处理的标准库，功能强大而API简单易用，目前只支持py2，支撑py3的是社区在其基础上Fork的版本，项目叫Pillow【后续学习网址https://pillow-cn. 阅读全文
摘要：
day01：数据处理工具Pandas 买了本新书，写点笔记. 准备数据 ## 1.1数据读取与存储 read_csv() filepath_or_buffer sep : 默认逗号 delimiter : 可选, 作为sep配置分隔符的别名 delim_whitespace : 配置是否用空格作为分 阅读全文
摘要：
data_1_a=data_1[which(substr(data_1$id,16,16)==3),] #将data_1的id列第16个字符为3的数据抽取出来 作为新数据集data_1_a 阅读全文
摘要：
读取Rdata pip install pyreadr import pyreadr result = pyreadr.read_r('/your.Rdata') print(result.keys()) #输出数据名 df=result['sel']) #sel为输出的数据名，数据格式为dataf 阅读全文
摘要：
1 i_week=data_365['星期'].unique() 2 for temp1 in i_week: 3 temp_data=width_365[data_365['星期'].isin([temp1])] 4 exec("df%s = temp_data"%temp1) 5 del tem 阅读全文
摘要：
import pandas as pd data1_group=data1['count_num'].groupby(data1['i_week']) i2=data1_group.mean() print(pd.DataFrame(i2)) print(data1_group.size()) pr 阅读全文
摘要：
留存备份。 简单背景：因为想要计算连续高温天数又恰好想用python所以试了试 居然能行而且快 数据说明： 数据集名称 data 行为日期，按升序排列 第3列为当日最高气温 第8列为需要计算的连续高温天数 理论上高温是指35度以上 因为地理原因调整为30度 前10行的连续高温天数我自己打上去了 嫌麻 阅读全文
摘要：
#从data0数据中筛选出属于2018年的变量 library(sqldf)data_2018<- sqldf("select* from data0 where year='2018年'") #从data0数据中筛选出属于2018年的变量 data_2018=subset(data0,year== 阅读全文
摘要：
#将data0数据按照ID计算样本量 library(dplyr)data_group<- group_by(data0, ID)data_GroupByID<- summarise(data_group,count = n())data_GroupByID<- data_GroupByID[ord 阅读全文
摘要：
1 # -*- coding: utf-8 -*- 2 """ 3 Spyder Editor 4 本文件自用 5 是数据处理的基本过程语句 6 包括文件读取、缺失值的识别和处理、异常值识别、重复值删除、数据拼接、列联表操作等 7 """ 8 %pwd 9 #读取csv文件 10 import pa 阅读全文
摘要：
#创建空的数据框 data <- data.frame(ID= character(), age= numeric(), stringsAsFactors=FALSE) #排序 data2 <- data[order(data[,18],decreasing=F),] #将data数据集按照第18列 阅读全文
摘要：
data <- data.frame(ID= character(), age= numeric(), stringsAsFactors=FALSE) 阅读全文
摘要：
data <- data[complete.cases(data[,5:6]),]#删除第五六列有空值的行 data <- na.omit(data)#删除有空值的行 阅读全文
摘要：
一、merge data_merge <- (merge(data_name, data_inform, by = 'id')) 二、plyr的join library(plyr) data_join <- join(data_name, data_inform, by = "id") 三、sqld 阅读全文