业余砖家

摘要： 由于两个列表(List)中可能会存在重复的元素，所以我们可以将列表转化成集合（set）进行去重，然后计算交集和差集。 A = ['1','2','3'] B = ['2','4','5'] ##计算交集 print(str(set(A)&set(B))) ##计算差集 print(str(set(A 阅读全文

摘要： 普通进度条 # 利用打印功能print进行实时刷新显示 for i in range(1, 101): print("\r", end="") print("进度: {}%: ".format(i), "▓" * (i // 2), end="") sys.stdout.flush() time.s 阅读全文

摘要： 场景：通过mysql -h localhost -u root -p 连接MySQL数据库时报错：ERROR 2002 (HY000): Can't connect to local MySQL server through socket /tmp/mysql.sock 解决方案： 1、创建mysq 阅读全文

摘要： 1、创建临时表空间 create temporary tablespace dsjzx_temp tempfile '/data/oracledata/dsjzx_cdb_temp.dbf' size 100m autoextend on next 100m maxsize UNLIMITED ex 阅读全文

摘要： 方法一：datetime.datetime.now() import datetime import time starttime = datetime.datetime.now() print(starttime.strftime("%Y-%m-%d %H:%M:%S")) time.sleep( 阅读全文

摘要： 一、离线安装Docker 在内网环境下，一般不能联网在线部署，这时候就需要以离线的方式安装docker。本文介绍在CentOS 7.6环境中离线安装docker的步骤。 1. 下载docker安装包 官方地址：https://download.docker.com/linux/static/stab 阅读全文

摘要： 一、清空表语句 truncate table [表名] ； delete from [表名] where …； 二、相同点 两者都是删除表数据 但不会删除表结构 三、不同点 delete支持按条件删除，truncate不支持。 delete 删除后自增列不会重置，而truncate会被重置。 del 阅读全文

摘要： 1．内存溢出 （1）map阶段 解决：一般存在MapJoin，设置参数set hive.auto.convert.join = false转成reduce端的Common Join。 （2）shuffle阶段 解决：减少每个reduce处理的数据量，调整参数：hive.exec.reducers.b 阅读全文

摘要： 1．使用hive实现WordCount (1) 创建数据库 create database wordcount; (2) 创建外部表 create external table word_data(line string) row format delimited fields terminated 阅读全文

摘要： 1．Fetch抓取 Fetch抓取是指Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.tem 阅读全文