2013年7月24日
hive 中出现struct 结构化的问题
摘要： 如果你使用udf，udaf，udtf中的某一个并且查询日志中出现如下之类的struct错误java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:104) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:74) at org.apache.hadoop.util.ReflectionUtils.set 阅读全文
posted @ 2013-07-24 11:05 LongYou 阅读(1653) 评论(2) 推荐(0)
2013年7月18日
有关ftp批量传送文件或文件夹
摘要： 以ftp 批量上传文件时 可以用 mput file1 file2 .. 但是这样没传送一个就会问是否传送下一个 ，那么可以使用prompt这个命令。这是个双向开关，执行一次是取消提示，在执行一次是打开提示。那么如果我想上传某一个文件夹 比如a文件夹 那么cd a 然后进入ftp服务器 关闭提示 然后 mput * 即可。 阅读全文
posted @ 2013-07-18 09:44 LongYou 阅读(1039) 评论(0) 推荐(0)
2013年7月6日
漫谈数据挖掘从入门到进阶
摘要： 入门：数据挖掘入门的书籍，中文的大体有这些：JiaweiHan的《数据挖掘概念与技术》IanH.Witten/EibeFrank的《数据挖掘实用机器学习技术》TomMitchell的《机器学习》TOBYSEGARAN的《集体智慧编程》AnandRajaraman的《大数据》Pang-NingTan的《数据挖掘导论》MatthewA.Russell的《社交网站的数据挖掘与分析》很多人的第一本数据挖掘书都是JiaweiHan的《数据挖掘概念与技术》，这本书也是我们组老板推荐的入门书（我个人觉得他之所以推荐是因为Han是他的老师）。其实我个人来说并不是很推荐把这本书。这本书什么都讲了，甚至很多书少有 阅读全文
posted @ 2013-07-06 23:23 LongYou 阅读(543) 评论(0) 推荐(0)
拉格朗日对偶（Lagrange duality）
摘要： 拉格朗日对偶（Lagrange duality） 存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至于为什么引入拉格朗日算子可以求出极值，原因... 阅读全文
posted @ 2013-07-06 12:50 LongYou 阅读(1012) 评论(0) 推荐(0)
2013年7月4日
有关按位DP
摘要： 这是一道正式比赛的题目 数据范围是 10^999 ~ 10^1000 的两个整数以及一个k我记得好像是不超过100，计算两个数中间有多少个每一位相乘最后和k取摸等于0的数。这道题对于不会按位dp的人是一道很难的题。但是如果会按位dp的话那是一道很容易的题。 先看看这个问题 在int能够存下的两个数中间有多少个每一位相加最后和k取摸等于0的数。首先枚举每一位从低位向高位枚举，每一位有10种取值 0,1,2,3,4,5,6,7,8,9，dp[i][j][p] 代表枚举到第i为最后摸k等于j的个数p代表是否可能会超过这一位，一层层的枚举就可以求得最终答案。#include #include #... 阅读全文
posted @ 2013-07-04 10:04 LongYou 阅读(572) 评论(0) 推荐(0)
2013年7月1日
prefuse学习（二）显示一张图
摘要： 1．把数据以点连线的方式在画面中显示2． 数据按照数据的性别属性使用不同的颜色3．鼠标左键可以把图在画面中拖动4．鼠标右键可以把图放大或者缩小5．鼠标单击某个数据上，该数据点中心化显示（可以点击下试试就知道中心化显示）6．鼠标可以选中某个数据点进行任意位置的拖动，而在该点与其它点的关系保持不变7．在右下框输入a,则图中数据点中包含a的数据加亮显示先把代码附上，注释中有讲解package wjl;import java.awt.BorderLayout;import java.awt.Color;import java.awt.Dimension;import java.awt.Font;imp 阅读全文
posted @ 2013-07-01 18:14 LongYou 阅读(699) 评论(0) 推荐(0)
2013年6月30日
prefuse学习（一）用非数据库连接和xml的方式读入数据
摘要： prefuse正常的数据源需要从ConnectionFactory中生产出来，但是如果平时不想用里面给的方法得到数据，就需要手动创造Graph里面所需要的内容两个Table下面是我自己写的从文件中读入数据的工具类package wjl.util;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.util.Scanner;import prefuse.data.Table;public class PreTable { public 阅读全文
posted @ 2013-06-30 15:22 LongYou 阅读(450) 评论(0) 推荐(0)