12 2017 档案

hdp spark beeline
摘要：thriftserver端口号10016 hdp所用端口号由10000改为10016 !connect jdbc:hive2://localhost:10016 阅读全文

posted @ 2017-12-28 14:04 层林尽染 阅读(249) 评论(0) 推荐(0)

范数
摘要： 阅读全文

posted @ 2017-12-26 10:07 层林尽染 阅读(99) 评论(0) 推荐(0)

线性组合
摘要： 阅读全文

posted @ 2017-12-26 09:38 层林尽染 阅读(179) 评论(0) 推荐(0)

矩阵逆
摘要： 阅读全文

posted @ 2017-12-26 09:27 层林尽染 阅读(107) 评论(0) 推荐(0)

idea python notebook连接pyspark
摘要：1、启动pyspark 2、查看pyspark服务的token jupyter notebook list 查看正在运行的notebook服务以及他们的token 3、在idea里运行notebook文件，在提示输入token时输入token值 阅读全文

posted @ 2017-12-15 22:58 层林尽染 阅读(189) 评论(0) 推荐(0)

在windows上面安装并用jupyter运行pyspark
摘要：1，下载hadoop winutils 设置HADOOP_HOME 2、下载spark，设置SPARK_HOME，将%SPARK_HOME%/加入到PATH路径下 3、安装Anaconda 就是python及一些相关Python包，设置 4、设置PYTHON_HOME 5、设置PYSPARK_DRI 阅读全文

posted @ 2017-12-15 22:51 层林尽染 阅读(841) 评论(0) 推荐(0)

spark读写mysql
摘要：spark读写mysql除官网例子外还要指定驱动名称 阅读全文

posted @ 2017-12-15 20:10 层林尽染 阅读(201) 评论(0) 推荐(0)

导航