Shayue'Log

摘要： 背景 我用VMWare搭建了一个Hadoop集群，Spark与Hive等组件都已经安装完毕。现在我希望在我的开发机上使用IDEA连接到集群上的Hive进行相关操作。 进行配置修改 修改Hive中的hive site.xml 在hive site.xml中找到这个配置，将改成如下形式 在hive si 阅读全文

摘要： 运气很好进入了天池的一个复赛，但是复赛评测时需要提交docker镜像，捣鼓了一个晚上，终于搞清了整套的流程．由于晚上已经下定决心要早点睡觉，害怕明早就会忘记的我还是先把步骤记录下来． 1. 安装docker环境 2. 开通阿里云容器镜像服务 这个参考 "天池官方教程" 即可 3.重点 3.1 拉取一 阅读全文

摘要： 之前配的台式机主板上并没有安装无线网卡,最近刚刚搬家,机箱和路由器离得有些远.为了能上网,我打算买一个无线路由器. 路由器看中了水星的1300M,由于我的是双系统,在win10下正常安装,插入后运行设置文件即可.但是在Ubuntu下,还是能看到安装程序,但是为exe格式,无法正常运行. 最暴力的方法 阅读全文

摘要： ### Exercise 1: Pascal’s TriangleThe following pattern of numbers is called Pascal’s triangle.```bash 1 1 1 1 2 1 1 3 3 11 4 6 4 1 ...```The numbers at the edge of the triangle are all 1, and ... 阅读全文

摘要： 假设有3个数，它们的取值都可能为 1，现在要求找出其中不为 1的最小的数。本来我一开始的想法是利用8次if判断，知道我看到一位老师如下去实现。 java int taaIndex = findStopCodon(dna, startIndex, "TAA"); int tagIndex = find 阅读全文

摘要： 马拉车算法用于寻找字符串中的最长回文子串。## java ```javaclass ManacherAlgo { String longestPalindrome(String s) { // 填充 String newS = fillStr(s); // center是中心，right是中心的最远覆盖范围，max_center是最长回文字串的中心 int right = 0, cente... 阅读全文

摘要： 当训练得到一个模型\(f\)时，我们希望\(f\)的泛化能力足够强，这样也代表它对于新的样本有比较好的预测能力。我们会通过实验检验\(f\)的泛化误差，那它的泛化误差到底是由哪几部分贡献？这里先给出结论：噪声、偏差与方差。定义训练模型的前提是我们能拿到一个数据集\(D\)，它其中包含多个样本，来自同一个分布。但是\(D\)不可能包含这个分布上的所有样本，也就是说\(D\)本身是总体的一个子集。在总... 阅读全文

摘要： 决策树在长成的过程中极易容易出现过拟合的情况，导致泛化能力低。主要有两种手段可以用于防止过拟合。## 提前停止Early Stopping，在完全长成以前停止，以防止过拟合。主要有以下3种方式：1. 限制树的高度，可以利用交叉验证选择2. 利用分类指标，如果下一次切分没有降低误差，则停止切分3. 限制树的节点个数，比如某个节点小于100个样本，停止对该节点切分## 后剪枝### 提前停止的不足“提... 阅读全文

摘要： 需求：比如我有一个数据集，然后其中两个初始维度都是类别变量。我希望以可视化的方式呈现这两个变量对于最终分类结果的影响。1. 利用`pandas`获取`DataFrame`2. 利用`pandas.crosstab`来构建一个只关于这2个类别变量的新的`DataFrame`3. 使用`pandas`的画图函数#### 代码```pythontrain_df = pd.read_csv('train.... 阅读全文

摘要： 预先导入库 from sklearn.linear_model import LinearRegression from sklearn.preprocessing import PolynomialFeatures import matplotlib.pyplot as plt import nu 阅读全文