12 2017 档案

找到一些经验，关于使用thymeleaf时遇到的一些问题
摘要：最近一直在使用spring boot，所以自然而然的使用了thymeleaf，但是我想说习惯了jsp之后使用thymeleaf真实觉得不顺手，在使用thymeleaf中也遇到了一些问题，在这里记录一下，应该还是挺有用的，呵呵…… 问题一:org.xml.sax.SAXParseException: 阅读全文
posted @ 2017-12-28 13:16 一片黑 阅读(3142) 评论(0) 推荐(1)
datafram 操作集锦
摘要：Spark Python API 官方文档中文版》 之 pyspark.sql (二) 2017-11-04 22:13 by 牛仔裤的夏天, 365 阅读, 0 评论, 收藏, 编辑 摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中 阅读全文
posted @ 2017-12-21 16:43 一片黑 阅读(1729) 评论(0) 推荐(0)
Spark-SQL之DataFrame操作大全
摘要：基本操作Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。 本文中的代码基于Spark-1.6.2的文档实现。 一、DataFrame对 阅读全文
posted @ 2017-12-19 14:00 一片黑 阅读(35277) 评论(1) 推荐(0)
Spark RDD 到 LabelPoint的转换(包含构造临时数据的方法)
摘要：题目: 将数据的某个特征作为label, 其他特征(或其他某几个特征)作为Feature, 转为LabelPoint 参考: http://www.it1352.com/220642.html 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 得到 阅读全文
posted @ 2017-12-15 17:41 一片黑 阅读(2153) 评论(0) 推荐(0)
Spark mllib 随机森林算法的简单应用（附代码）
摘要：此前用自己实现的随机森林算法，应用在titanic生还者预测的数据集上。事实上，有很多开源的算法包供我们使用。无论是本地的机器学习算法包sklearn 还是分布式的spark mllib，都是非常不错的选择。 Spark是目前比较流行的分布式计算解决方案，同时支持集群模式和本地单机模式。由于其通过s 阅读全文
posted @ 2017-12-15 17:39 一片黑 阅读(2603) 评论(0) 推荐(0)
Spark机器学习MLlib系列１（for python）－－数据类型，向量，分布式矩阵，API
摘要：Spark机器学习MLlib系列１（for python）－－数据类型，向量，分布式矩阵，API 关键词：Local vector，Labeled point，Local matrix，Distributed matrix，RowMatrix，IndexedRowMatrix，CoordinateM 阅读全文
posted @ 2017-12-15 15:15 一片黑 阅读(762) 评论(0) 推荐(0)
hadoop各版本下载地址
摘要：http://mirror.bit.edu.cn/apache/hadoop/common/ 阅读全文
posted @ 2017-12-15 11:23 一片黑 阅读(822) 评论(0) 推荐(0)
BUG----spark
摘要：我也想说很尴尬， 搞到显现 发现 原来是个版本的bug spark 1.6.0 有个BUG 希望更多人看到 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/Users/jzhang/githu 阅读全文
posted @ 2017-12-13 20:27 一片黑 阅读(656) 评论(0) 推荐(0)
pip 安装包 不行 自己下载whl 包自己安装
摘要：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 阅读全文
posted @ 2017-12-12 14:41 一片黑 阅读(1756) 评论(0) 推荐(0)
Windows环境下 Hadoop Error: JAVA_HOME is incorrectly set. 问题
摘要：最近尝试在windows开发MR程序并且提交Job，在解压缩好hadoop，配置好环境变量后， 打开cmd 输入hadoop version 的时候出现以下错误： Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\ha 阅读全文
posted @ 2017-12-12 12:49 一片黑 阅读(7106) 评论(1) 推荐(1)
Windows 下Hadoop的环境变量配置
摘要：一、安装JDK 1、下载路径：http://www.oracle.com/technetwork/java/javase/downloads/index.html 2、安装到C:\Java\jdk1.8.0_121（安装时不要安装到有空格的目录路径中，这样Hadoop在找JAVA_HOME的时候会找 阅读全文
posted @ 2017-12-12 12:36 一片黑 阅读(22370) 评论(0) 推荐(0)
【原创】用python连接thrift Server 去执行sql的问题总汇
摘要：【原创】用python连接thrift Server 去执行sql的问题总汇 场景：python和现有产品的结合和应用——python的前瞻性调研 环境：centos7 0、首先确保安装了python和pyhive，下面是连接代码： #!/usr/bin/env python # -*- codin 阅读全文
posted @ 2017-12-12 10:31 一片黑 阅读(2402) 评论(2) 推荐(0)
走进 thrift server
摘要：thrift的使用介绍 thriftthrift clientthrift serverthrift 0.7.0 一、About thrift 二、什么是thrift，怎么工作？ 三、Thrift IDL 四、Thrift Demo 五、Thrift 协议栈 以及各层的使用（java 为例） 六、与 阅读全文
posted @ 2017-12-12 10:30 一片黑 阅读(7153) 评论(0) 推荐(0)
python pyspark入门篇
摘要：python pyspark入门篇 一.环境介绍： 1.安装jdk 7以上 2.python 2.7.11 3.IDE pycharm 4.package: spark-1.6.0-bin-hadoop2.6.tar.gz 二.Setup 1.解压spark-1.6.0-bin-hadoop2.6. 阅读全文
posted @ 2017-12-11 16:45 一片黑 阅读(5805) 评论(0) 推荐(0)
Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令
摘要：《Learning Spark》这本书算是Spark入门的必读书了，中文版是《Spark快速大数据分析》，不过豆瓣书评很有意思的是，英文原版评分7.4，评论都说入门而已深入不足，中文译版评分8.4，评论一片好评，有点意思。我倒觉得这本书可以作为官方文档的一个补充，刷完后基本上对Spark的一些基本概 阅读全文
posted @ 2017-12-11 16:29 一片黑 阅读(491) 评论(0) 推荐(0)
微信开发 总结
摘要：前段时间 一直在写 微信公众号的开发 ，总结 一下 http://blog.csdn.net/frankcheng5143/article/details/51026996 分享到朋友圈总结一下 http://blog.csdn.net/frankcheng5143/article/details/ 阅读全文
posted @ 2017-12-11 15:18 一片黑 阅读(156) 评论(0) 推荐(0)
微信公众号开发--微信JS-SDK分享到朋友圈和分享给朋友
摘要：之前写过一篇使用微信JS-SDK来实现扫一扫功能的博客 微信公众号开发–微信JS-SDK扫一扫功能 在该博客里介绍了微信JS-SDK的基本用法，其中包括以下几个步骤 还详细介绍了通过config接口注入权限验证配置以及签名算法实现的Java版本 前两天在做微信分享的时候发现按照以前的思路每次都不能正 阅读全文
posted @ 2017-12-11 15:04 一片黑 阅读(989) 评论(0) 推荐(0)
Java直接内存读写的例子
摘要：在Hotspot JVM上，我们能够直接对内存进行读写操作。该类的allocateMemory方法用于申请分配内存，putAddress和getAddress方法用于对直接内存进行读写。 本文将通过sun.misc.Unsafe给出一个直接读写内存的例子。 注意：这只是一个例子，只是用来验证通过su 阅读全文
posted @ 2017-12-07 17:20 一片黑 阅读(13244) 评论(0) 推荐(0)