会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
star521
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
7
8
9
10
11
12
13
14
15
···
20
下一页
2020年7月29日
001.python-基础-Template的字符串格式化
摘要: Template是Python string模板中定义的一种字符串类型。 用途:用于字符串替换操作。 默认的定界符:$。 # -*- coding: utf-8 -*- from string import Template # # 在python中Template可以将字符串的格式固定下来,重复利
阅读全文
posted @ 2020-07-29 11:55 star521
阅读(318)
评论(0)
推荐(0)
2020年7月28日
007.PGSQL-python读取txt文件,将数据转化为dataFrame,dataFrame数据插入到pgsql; dataframe去掉索引,指定列为索引;python读取pgsql数据,读取数据库表导成excel
摘要: python读取txt文件,将数据转化为dataFrame,dataFrame数据插入到pgsql 1. pd.io.sql.to_sql(dataframe,'table_name',con=conn,schema='w_analysis',if_exists='append') 2.df.to_
阅读全文
posted @ 2020-07-28 19:35 star521
阅读(1886)
评论(0)
推荐(0)
2020年7月27日
005.PGSQL-in、not in、exists、not exists、 using 的select查询、delete删除重复数据 使用及其效率对比
摘要: 1. select 查询 in、not in、exists、not exists 的区别 exists 效率远远大于 in CREATE SEQUENCE "ioc_dw_second"."test0002_seq" INCREMENT 1 MINVALUE 1 MAXVALUE 922337203
阅读全文
posted @ 2020-07-27 15:59 star521
阅读(3542)
评论(0)
推荐(0)
004.PGSQL-脏数据清理,频繁delete\update高水位线问题,vacuum full 、vacuum
摘要: 查看表大小 -- 查出所有表(包含索引)并排序 -- 查出所有表(包含索引)并排序 SELECT table_schema , table_name AS table_full_name, pg_size_pretty(pg_total_relation_size('"' || table_sche
阅读全文
posted @ 2020-07-27 15:04 star521
阅读(1231)
评论(0)
推荐(0)
2020年7月24日
003.PGSQL-Linux命令行下操作pgsql数据库
摘要: 登陆数据库(此用户和数据库用户同名) su - mmm gsql -d postgres -p 端口号 -r 创建数据库 create DATABASE mydb; CREATE DATABASE "dbshow"WITH OWNER = "postgres" ENCODING = 'UTF8';
阅读全文
posted @ 2020-07-24 18:24 star521
阅读(2337)
评论(0)
推荐(0)
2020年7月23日
002.PGSQL-两个表关联两列数据求和(存在一个为null运算后为null问题解决)- coalesce(numbe,0) 函数补零
摘要: coalesce(numbe,0) 函数 numbe不为null 返回原数值,为null时返回 0 解决数值+null为null的问题 多用于两个表的left join关联后,其两列求和;关联不上的数据一部分为null ,一部分有值,但是求和后其一为null均为null的问题 表1 表2 表1 的v
阅读全文
posted @ 2020-07-23 21:50 star521
阅读(2622)
评论(0)
推荐(0)
2019年7月21日
00.centos6.8配置静态IP
摘要: 一:运行”vi /etc/sysconfig/network-scripts/ifcfg-eth0“命令打开配置文件 i 进入编辑 /etc/hosts esc键 输入 :wq保存退出 q!不保存强制退出 重启网络 service network restart ifconfig
阅读全文
posted @ 2019-07-21 20:25 star521
阅读(1280)
评论(1)
推荐(0)
00.vmvare虚拟机安装centos6.8系统---(2)安装centos6.8系统
摘要: 1.安装centos系统 开机 默认 enter 到下面该界面,意思我的理解是测试媒介或者系统问题,忽略即可,按下Tab键,帮我们选中Skip,点击回车即可 分区 剩下所有空间 root登陆 创建新用户
阅读全文
posted @ 2019-07-21 19:52 star521
阅读(147)
评论(0)
推荐(0)
2019年2月4日
01.go语言--开发前准备
摘要: 恢复内容开始 一、go特点 一个文件属于一个包 package 垃圾回收机制,自动回收,不需要管理 天然并发 goroutine 轻量级线程,高效利用多核 channle管道通信机制 函数可以返回多个值 二、开发工具 vscode 插件 sublime Text Vim Emacs Eclipse
阅读全文
posted @ 2019-02-04 01:56 star521
阅读(203)
评论(0)
推荐(0)
2019年1月8日
06.第二名称节点配置
摘要: 克隆一台机器s105来专门存放SecondaryNameNode 1、克隆s100 -> s105 2、打开s105,修改hostname和静态ip hostname // /etc/hostname 静态ip // /etc/sysconfig/network-scripts/ifcfg-ens3
阅读全文
posted @ 2019-01-08 19:57 star521
阅读(429)
评论(0)
推荐(0)
05.伪分布式、克隆、完全分布式搭建
摘要: Hadoop: 数据存储模块 数据计算模块 doug cutting //hadoop之父 //分布式文件系统GFS,可用于处理海量网页的存储 //分布式计算框架MAP REDUCE,可用于处理海量网页的索引计算问题 hadoop: GFS > NDFS(Nutch distributed file
阅读全文
posted @ 2019-01-08 19:50 star521
阅读(305)
评论(0)
推荐(0)
04.大数据必备软件WinSCP、MTputty
摘要: WinSCP MTputty安装 没中文没空格
阅读全文
posted @ 2019-01-08 19:48 star521
阅读(327)
评论(0)
推荐(0)
03.大数据集群必备脚本大合集
摘要: /usr/local/bin sudo nano .hosts<!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tJZCI6IjExNjYtMTU0NjkzMjc0NzY4MCIsImJsb2NrVHlwZSI6ImNvZGUiLCJzdHlsZX
阅读全文
posted @ 2019-01-08 19:43 star521
阅读(394)
评论(0)
推荐(0)
2019年1月7日
02.centos初次使用必装配置大合集
摘要: 1.安装nano su root yum search nano yum install -y nano 2.修改主机名 查看主机名 hostname 查看主机 hostnamectl 修改主机名 su nano /etc/hostname 设置主机名s101 reboot 重启 3.命令提示符显示
阅读全文
posted @ 2019-01-07 17:41 star521
阅读(687)
评论(0)
推荐(0)
01.vm虚拟机、centos7mini安装、jdk安装
摘要: 安装过程 https://blog.csdn.net/babyxue/article/details/80970526 安装centos 因为是mini版 记得打开网络连接 <!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tJZCI6IjQ5MT
阅读全文
posted @ 2019-01-07 17:37 star521
阅读(697)
评论(0)
推荐(0)
上一页
1
···
7
8
9
10
11
12
13
14
15
···
20
下一页
公告