04 2019 档案

hue通过livy提交spark jar包python文件到spark
摘要：背景：集群中有hive、spark2，没有impala 需求：通过hue访问hive以及提交spark任务 现状：hue以及通过sentry实现了对hive的权限管理 CDH5.15.1 centos7.4 livy-0.5.0-incubating-bin 目标：hue实现scala、pyspar 阅读全文
posted @ 2019-04-30 10:54 bioamin 阅读(1831) 评论(0) 推荐(0)
habse Region server挂掉
摘要：2019-04-28 15:57:28,355 INFO org.apache.hadoop.hbase.regionserver.HeapMemoryManager: heapOccupancyPercent 0.8963877 is now below the heap occupancy al 阅读全文
posted @ 2019-04-29 09:44 bioamin 阅读(819) 评论(0) 推荐(0)
CentOS下MySQL安装失败,报socket '/tmp/mysql.sock错误解决方法
摘要：1、在centos里安装mysql数据库后，登录时提示‘/tmp/mysql.sock’ 第一种解决办法：采用ln链接方式进行处理 ln -s /var/lib/mysql/mysql.sock /tmp/mysql.sock 因为是从tmp目录下，所以有可能/tmp下的这个文件将会被删除 第二种解 阅读全文
posted @ 2019-04-24 10:18 bioamin 阅读(6173) 评论(0) 推荐(1)
hbase学习一 shell命令操作
摘要：基本操作： #命名空间级别： #列出所有命名空间 hbase> list_namespace #新建命名空间 hbase> create_namespace 'ns1' #删除命名空间 hbase> drop_namespace 'ns1' #修改命名空间 #表级别： #列出所有表 hbase> l 阅读全文
posted @ 2019-04-24 10:16 bioamin 阅读(911) 评论(0) 推荐(0)
Blocking Cross Origin API request for /api/contents Creating Notebook Failed An error occurred while creating a new notebook.
摘要：anacoda安装的jupyter，使用nginx进行了转发，远程访问可以进去，但是创建文件和创建目录都会报错 浏览器页面报错： 第一次使用jupyter创建python时错误：Creating Notebook Failed An error occurred while creating a n 阅读全文
posted @ 2019-04-23 11:31 bioamin 阅读(4082) 评论(1) 推荐(2)
anacoda报错No module named 'sklearn.cross_validation'
摘要：在目前的snacoda里集成的sklearn已经不存在cross_validation模块了 使用以下模块 from sklearn.model_selection import train_test_split 阅读全文
posted @ 2019-04-21 20:05 bioamin 阅读(917) 评论(0) 推荐(0)
jupyter4.4.0自定义目录
摘要：百度是有技巧的，现在百度的基本上都是2年前的帖子，对于最新的版本都不适用 对于jupyter自定义目录都是修改配置文件，这个对于jupyter4.4.0不适用； 1、在桌面创建jupyter-noteook的快捷方式 2、右键快捷方式属性，修改以下即可 阅读全文
posted @ 2019-04-21 18:57 bioamin 阅读(289) 评论(0) 推荐(0)
juypter4.4.0 自动补全
摘要：python -m pip install jupyter_contrib_nbextensions jupyter contrib nbextension install --user --skip-running-check 重启juypter，然后添加一下勾选 阅读全文
posted @ 2019-04-21 18:50 bioamin 阅读(228) 评论(0) 推荐(0)
cdh集群迁移 ip更改
摘要：# 1.修改每个用户的hosts vi /etc/hosts #127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localh 阅读全文
posted @ 2019-04-19 17:06 bioamin 阅读(1193) 评论(0) 推荐(0)
klearn.preprocessing.PolynomialFeatures学习
摘要：多项式特征处理 class sklearn.preprocessing.PolynomialFeatures(degree=2, interaction_only=False, include_bias=True) 参数： degree interaction_only 默认为False inclu 阅读全文
posted @ 2019-04-06 19:52 bioamin 阅读(403) 评论(0) 推荐(0)
二元线性回归
摘要：import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D data=np.genfromtxt("Delivery.csv",delimiter=',') x_data = d 阅读全文
posted @ 2019-04-05 10:09 bioamin 阅读(384) 评论(0) 推荐(0)
python学习之numpy.ewaxis
摘要：当多维数组的某一列时返回的是一个行向量 如果我索引多维数组的某一列时，返回的仍然是列的结构，一种正确的索引方式是： >>>X[:, 1][:, np.newaxis] array([[2], [6], [10]]) 如果想实现第二列和第四列的拼接（层叠）： >>>X_sub = np.hstack( 阅读全文
posted @ 2019-04-03 20:40 bioamin 阅读(205) 评论(0) 推荐(0)
sklearn.linear_model.LinearRegresion学习
摘要：sklearn线性模型之线性回归 查看官网 https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html 1.实例化： 2.方法： Returns the coefficien 阅读全文
posted @ 2019-04-03 20:28 bioamin 阅读(1106) 评论(0) 推荐(0)
一元线性回归-梯度下降法-房价预测
摘要：数据 32.502345269453031,31.70700584656992 53.426804033275019,68.77759598163891 61.530358025636438,62.562382297945803 47.475639634786098,71.5466322335677 阅读全文
posted @ 2019-04-02 11:55 bioamin 阅读(1126) 评论(0) 推荐(0)
python学习之Numpy.genfromtxt
摘要：Python 并没有提供数组功能，虽然列表 (list) 可以完成基本的数组功能，但它并不是真正的数组，而且在数据量较大时，使用列表的速度就会慢的让人难受。Numpy 提供了真正的数组功能，以及对数据快速处理的函数。Numpy 还是很多更高级的扩展库的依赖库，例如： Scipy，Matplotlib 阅读全文
posted @ 2019-04-01 20:23 bioamin 阅读(3231) 评论(0) 推荐(0)