落日峡谷

摘要： 当有两个表要进行对比时，VLOOKUP可以很快帮我们解决问题。 例如：当要比较两次数据中，相同项目的变化率，VLOOKUP可以快速得到想要的结果。 1. 首先使用VLOOKUP得到前一次的数据值，在新一列的对应行即E2框输入：=VLOOKUP(C2,A:B,2,FALSE)，然后回车，之后下拉填充 阅读全文

摘要： python求极值点主要用到scipy库。 1. 首先可先选择一个函数或者拟合一个函数，这里选择拟合数据：np.polyfit import pandas as pd import matplotlib.pyplot as plt import numpy as np from scipy impo 阅读全文

摘要： python数据拟合主要可采用numpy库，库的安装可直接用pip install numpy等。 1. 原始数据：假如要拟合的数据yyy来自sin函数，np.sin import numpy as np import matplotlib.pyplot as plt xxx = np.arange 阅读全文

摘要： linux环境 假设hdfs安装路径（例如是）： /usr/hdp/hadoop/bin/hdfs 1. -ls 列出当前目录下的文件、文件夹 /usr/hdp/hadoop/bin/hdfs dfs -ls /apps/hive/warehouse/my_home 2. 查看文件，例如hive表的 阅读全文

摘要： 1. 从已有的环境中，备份已经安装的package pip freeze > requirements.txt 2. pip安装requirements.txt的包（换源之后下载更快） pip install -r requirements.txt -i https://pypi.tuna.tsin 阅读全文

摘要： spark-submit提交任务的参数很多： Usage: spark-submit [options] <app jar | python file> [app arguments] Usage: spark-submit --kill [submission ID] --master [spar 阅读全文

摘要： 1. distinct：去重 # distinct select distinct name_adress from my_test_copy; # 得到去重字段 select count(distinct name_adress) as distinct_rows from my_test_cop 阅读全文

摘要： 1. 判断是否是空值 is not null 和 is null select * from XXX where column_name is not null; select * from XXX where column_1 is not null and column_2 is not nul 阅读全文

摘要： 在mysql中，多个表查询出现错误：Every derived table must have its own alias 原因：中间表或者select产生的表，没有使用别名。 解决方法： 新产生的表加入别名： 例如： select * from select id, content from XX 阅读全文

摘要： 在mysql中，多个表联合查询时，出现错误：[Err] 1060 - Duplicate column name 'XXX' 原因： 使用的是：select * 操作，造成了列名重复，例如a表里面有列名'content'，b表里面也有列名'content'，此时就会报错。 解决方法： 直接指定想要返 阅读全文