thinker1017 - 博客园

2017年12月13日

摘要：如果大家已经在使用第三方邮件服务方案发送并收取邮件，则无需运行自己的邮件服务器。然而，如果大家管理一套云服务器，且其中安装的应用需要发送邮件通知，那么运行一套本地只发送SMTP服务器则更为理想。如何安装并配置Postfix以作为只发送SMTP服务器。先决条件要完成教程，大家需要：一套Ubun 阅读全文

posted @ 2017-12-13 10:49 thinker1017 阅读(3030) 评论(0) 推荐(0)

2017年11月23日

用户画像展示

摘要：用户画像效果图搞出来了，感觉内容也很少，后期再完善丰富。上图：用户信息偏少，加上数据还能挖掘不少东西。这个图展示信息还是少了些。再看用户偏好：有点对比了。最后数据列表如下：阅读全文

posted @ 2017-11-23 17:41 thinker1017 阅读(1698) 评论(1) 推荐(0)

使用泛型类简化ibatis系统架构

摘要： jdk1.5的推出为我们带来了枚举、泛型、foreach循环、同步工具包等等好东西。其中，泛型的使用为我们的代码开发提供了很大的简便，简化了我们的代码。 1、设计思路 1）GenericDao泛型类提供所有的增删改查功能； 2）所有的dao在继承GenericDao泛型类拥有自身的增删改查功能，不需阅读全文

posted @ 2017-11-23 11:24 thinker1017 阅读(193) 评论(0) 推荐(0)

2017年11月22日

scrapy如何实现分布式爬虫

摘要：使用scrapy爬虫的时候，记录一下如何分布式爬虫问题：关键在于多台主机协作的关键：共享爬虫队列主机:维护爬取队列从机：负责数据抓取，数据处理，数据存储队列如何维护：Redis队列Redis 非关系型数据库，key-value形式存储，结构灵活。是内存中的数据结构存储系统，处理速度快，性能好提阅读全文

posted @ 2017-11-22 18:38 thinker1017 阅读(313) 评论(0) 推荐(0)

sparkStreaming统计各平台最近一分钟实时注册收入时间段，平台，金额，订单数

摘要：样例数据： __clientip=10.10.9.153&paymentstatus=0&__opip=&memberid=89385239&iamount=1&itype=16&oper_res=1&channeltype=8&__timestamp=1457252427&productid=11 阅读全文

posted @ 2017-11-22 14:36 thinker1017 阅读(472) 评论(0) 推荐(0)

利用HttpClient测试

摘要： import java.io.IOException;import java.security.cert.CertificateException;import java.security.cert.X509Certificate;import java.util.ArrayList;import 阅读全文

posted @ 2017-11-22 10:50 thinker1017 阅读(242) 评论(0) 推荐(0)

利用百度搜索爬取内容

摘要：首先说说HtmlUnit相对于HttpClient的最明显的一个好处, 是HtmlUnit不仅保存了这个网页对象，更难能可贵的是它还存有这个网页的所有基本操作甚至事件。现在很多网站使用大量ajax，普通爬虫无法获取js生成的内容。通过百度搜索，利用浏览器先渲染成网页，然后再解析生成的内容则方便了。代阅读全文

posted @ 2017-11-22 10:42 thinker1017 阅读(864) 评论(0) 推荐(0)

2017年11月21日

用户画像：最喜爱的明星前3名

摘要： package com.profile.mainimport java.math.BigDecimalimport com.profile.comment.Commentsimport com.profile.tools._import org.apache.commons.lang3.String 阅读全文

posted @ 2017-11-21 17:54 thinker1017 阅读(567) 评论(0) 推荐(0)

使用dataframe解决spark TopN问题：分组、排序、取TopN和join相关问题

摘要： import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext} /** * spark-Dat 阅读全文

posted @ 2017-11-21 17:23 thinker1017 阅读(10179) 评论(0) 推荐(0)

2017年11月17日

Spark性能优化(2)——广播变量、本地缓存目录、RDD操作、数据倾斜

摘要：广播变量背景一般Task大小超过10K时（Spark官方建议是20K），需要考虑使用广播变量进行优化。大表小表Join，小表使用广播的方式，减少Join操作。参考：Spark广播变量与累加器 Local Dir 背景 shuffle过程中，临时数据需要写入本地磁盘。本地磁盘的临时目录通过参数s 阅读全文

posted @ 2017-11-17 10:24 thinker1017 阅读(436) 评论(0) 推荐(0)

公告