摘要：
Maven是什么 Maven的常用命令 1.清除命令：mvn clean 2.编译命令：mvn compile 3.打包命令：mvn package 4.跳过单元测试：mvn clean package Dmaven.test.skip=true Maven在windows下的安装 1.直接官网下载 阅读全文
posted @ 2018-10-31 14:59
liuge36
阅读(191)
评论(1)
推荐(0)
摘要：
步骤如下： 1. 下载安装配置JDK(注意配置环境变量JAVA_HOME Path CLASSPATH) 2. 从官网下载Android Studio（可以下载带有SDK版本的） 3. 安装Android Studio,这里，推荐如果电脑配置不是很高就不要安装AVD和HAXM了，再就是可选择安装SD 阅读全文
posted @ 2018-10-31 14:58
liuge36
阅读(173)
评论(0)
推荐(0)
摘要：
这里我们以Post方式请求Serclet为例 1.找到 中的URL地址 2.在同一个标签中有对应的. 3.对应到web.xml文件中的元素中的 4.对应到web.xml文件中的元素中的中的类 5.找到相应的类之后，就可以调用类的doPost()方法来处理数据。 6.doPost()方法中主要就是实例 阅读全文
posted @ 2018-10-31 14:58
liuge36
阅读(123)
评论(0)
推荐(0)
摘要：
【推荐】 "virtualenv的安装与使用" 问题描述：centos6及其以下的python版本一般是比较低的，使得不符合我们的配置环境!!!故可以考虑更换版本 解决步骤: 1.查看自己当前的系统版本 2.到官网下载自己需要的python版本 或者3.5+版本的 3.解压并编译安装 tar zxv 阅读全文
posted @ 2018-10-31 14:57
liuge36
阅读(7586)
评论(0)
推荐(0)
摘要：
Flume架构介绍和安装 ================ 写在前面 在学习一门新的技术之前，我们得知道了解这个东西有什么用？我们可以使用它来做些什么呢？简单来说，flume是大数据日志分析中不能缺少的一个组件，既可以使用在流处理中，也可以使用在数据的批处理中。 1.流处理： 2.离线批处理： 分析 阅读全文
posted @ 2018-10-31 14:44
liuge36
阅读(326)
评论(0)
推荐(0)
摘要：
Kafka部署与使用 写在前面 从上一篇Kafka的架构介绍和安装中，可能，你还一直很蒙，kafka到底该怎么使用呢？接下来，我们就来介绍Kafka的部署与使用。上篇文章中我们说到，Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就 阅读全文
posted @ 2018-10-31 14:43
liuge36
阅读(226)
评论(0)
推荐(0)
摘要：
Kafka架构介绍和安装 写在前面 还是那句话，当你学习一个新的东西之前，你总得知道这个东西是什么？这个东西可以用来做什么？然后你才会去学习它，使用它。简单来说，kafka既是一个消息队列，如今，它也演变为一个分布式的流处理平台，这一点就是很厉害的了。所以，学习kafka对于大数据的小伙伴们来说，是 阅读全文
posted @ 2018-10-31 14:43
liuge36
阅读(152)
评论(0)
推荐(0)
摘要：
Flume案例实战 写在前面 通过前面一篇文章http://blog.csdn.net/liuge36/article/details/78589505的介绍我们已经知道flume到底是什么？flume可以用来做什么？但是，具体怎么做，这就是我们这篇文章想要介绍的。话不多说，直接来案例学习。 实战一 阅读全文
posted @ 2018-10-31 14:43
liuge36
阅读(459)
评论(0)
推荐(2)
摘要：
Flume和Kafka完成实时数据的采集 写在前面 Flume和Kafka在生产环境中，一般都是结合起来使用的。可以使用它们两者结合起来收集实时产生日志信息，这一点是很重要的。如果，你不了解flume和kafka，你可以先查看我写的关于那两部分的知识。再来学习，这部分的操作，也是可以的。 实时数据的 阅读全文
posted @ 2018-10-31 14:42
liuge36
阅读(3565)
评论(0)
推荐(1)
摘要：
Python日志产生器 写在前面 有的时候，可能就是我们做实时数据收集的时候，会有一个头疼的问题就是，你会发现，你可能一下子，没有日志的数据源。所以，我们可以简单使用python脚本来实现产生实时的数据，这样就很方便了 在编写代码之前，我们得知道我们的webserver日志到底长什么样，下面我找了一 阅读全文
posted @ 2018-10-31 14:42
liuge36
阅读(401)
评论(0)
推荐(0)
摘要：
环境搭建 Hadoop集群搭建 写在前面，前面我们快速搭建好了centos的集群环境，接下来，我们就来开始hadoop的集群的搭建工作 实验环境 Hadoop版本：CDH 5.7.0 这里，我想说一下，我们我没有选择官方版本，是因为，cdh版本已经解决好了各个组件之间的依赖。因为，后面，我们还会使用 阅读全文
posted @ 2018-10-31 14:41
liuge36
阅读(313)
评论(0)
推荐(0)
摘要：
ELK搭建实时日志分析平台 导言 ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成，ELK平台可以同时实现日志收集、日志搜索和日志分析的功能。对于生产环境中海量日志信息的分析处理无疑不是一个好的解决方案。 官方网站：https://www.elastic.co/ 阅读全文
posted @ 2018-10-31 14:41
liuge36
阅读(312)
评论(0)
推荐(0)
摘要：
使用JSP+Servlet+Jdbc+Echatrs实现对豆瓣电影Top250的展示 写在前面: 有的小伙伴，会吐槽啦，你这个标题有点长的啊。哈哈 ，好像是的！不过，这个也是本次案例中使用到的关键技术。如果，你正愁不会的数据可视化，那么我接下来，我会带你一步一步的实现这个数据可视化的功能。 效果图： 阅读全文
posted @ 2018-10-31 14:40
liuge36
阅读(492)
评论(0)
推荐(0)
摘要：
环境搭建 CentOS集群搭建 写在前面 最近有许多小伙伴问我，大数据的hadoop分布式集群该如何去搭建。所以，想着，就写一篇博客，帮助到更多刚入门大数据的人。本博客会一步一步带你实现一个Hadoop的搭建。跟着博客上面的步骤，很详细的。你很快就会有一个自己的hadoop集群啦。 我是在自己的wi 阅读全文
posted @ 2018-10-31 14:40
liuge36
阅读(1651)
评论(1)
推荐(0)
摘要：
写在前面 接触spark有一段时间了，但是一直都没有真正意义上的在集群上面跑自己编写的代码。今天在本地使用scala编写一个简单的WordCount程序。然后，打包提交到集群上面跑一下... 在本地使用idea开发，由于这个程序比较简单，我这里就直接给出代码。 代码，写完之后，就是打包成一个jar文 阅读全文
posted @ 2018-10-31 14:39
liuge36
阅读(649)
评论(0)
推荐(0)
摘要：
写在前面 因为前面有写过一篇关于豆瓣的top250的电影的可视化展示项目，你可以移步http://blog.csdn.net/liuge36/article/details/78607955了解这个项目。因为，想着，完全可以把这个项目部署到我们的腾讯云服务器上。说干就干，直接切入正题。 实验环境 一 阅读全文
posted @ 2018-10-31 14:39
liuge36
阅读(229)
评论(0)
推荐(0)
摘要：
概述 什么是 Spark Streaming? Spark Streaming is an extension of the core Spark API that enables scalable, high throughput, fault tolerant stream processing 阅读全文
posted @ 2018-10-31 14:38
liuge36
阅读(161)
评论(0)
推荐(0)
摘要：
在linux下我们一般是需要了解我们的进程的状态的. 我们以mysql为例 service mysqld status 我这里是启动状态,可以看见pid chkconfig list +你的服务 可以看见是启动的,有on状态 pidof +你的服务 可以看见pid,说明,此时,mysql服务正在运行 阅读全文
posted @ 2018-10-31 14:38
liuge36
阅读(2302)
评论(0)
推荐(0)
摘要：
查看当前的存储引擎 show engines; 基本的差别：MyISAM类型不支持事务处理等高级处理，而InnoDB类型支持。MyISAM类型的表强调的是性能，其执行数度比InnoDB类型更快，但是不提供事务支持，而InnoDB提供事务支持以及外部键等高级数据库功能。然后,一般我们的项目中设计的数据 阅读全文
posted @ 2018-10-31 14:38
liuge36
阅读(721)
评论(0)
推荐(0)
摘要：
上面我们可以看见房屋的各种属性信息 也就是房屋的各个特征 为了更形象化的展示房屋的特征,我们使用图形来直观展现 使用,我们前面介绍的Graphlab Canvas来展现 重定向到当前页面展现 接下来,我们就来,构建回归模型 被用来去拟合模型的数据叫做训练集 那些作为真实预测的替代叫做测试集 步骤: 阅读全文
posted @ 2018-10-31 14:37
liuge36
阅读(341)
评论(0)
推荐(0)
摘要：
写在前面 GraphLab Create 是一款机器学习的函数库，其中的SFrame也是十分强大的数据管理工具。它允许直接从硬盘中读取数据，免于将数据全部加载到内存中。这就使得对于大数据的处理成为可能.这也是相对于scikit learn的一个最大优点,我们知道,scikit learn是只能读取内 阅读全文
posted @ 2018-10-31 14:37
liuge36
阅读(297)
评论(0)
推荐(0)
摘要：
接下来,开始构建分类器: 生成的WordCount是一个字典.键值对的形式 这里的键是某一个单词,对应的值是该单词的个数 图像化查看一下原始数据 ,这里我们取出第一个商品的评价 抽取评价数量最多的商品,这里叫做Vulli Sophie 根据评分进行分组可视化 说明,我们要构建我们的情感分类器,我们可 阅读全文
posted @ 2018-10-31 14:36
liuge36
阅读(142)
评论(0)
推荐(0)
摘要：
从GraphLab Create 库里面导入一个深度学习的模型 deep_learning_model=graphlab.load_model('http://s3.amazonaws.com/GraphLab Datasets/deeplearning/imagenet_model_iter45' 阅读全文
posted @ 2018-10-31 14:36
liuge36
阅读(235)
评论(0)
推荐(0)
摘要：
写在前面 Elastic Static 是指由Elasticsearch，Logstash，Kibana,Beats等组件结合起来而构成的一个数据收集，分析，可视化的一个架构.我们经常听说过的ELK就是指前面三个,它能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视 阅读全文
posted @ 2018-10-31 14:35
liuge36
阅读(236)
评论(0)
推荐(0)
摘要：
写在前面 Spring Cloud Eureka是基于Netflix Eureka做的二次封装.主要包含两部分: 服务注册中心 eureka server 服务提供者 eureka client ps:Netflix提供的模式包括服务发现（eureka），断路器（hystrix），智能路由（zuul 阅读全文
posted @ 2018-10-31 14:34
liuge36
阅读(170)
评论(0)
推荐(0)
摘要：
写在前面 常说:"工欲善其事必先利其器",这话想想也是一点毛病也没有,在开始学习任何技术之前,我们总得有一个实际可供操作的实验环境.有人说,"看十遍不如用一遍",我想大概就是这个道理.废话不多说,直接开始. 实验环境 CentOs7.2 JDK1.8及其以上 node v8.10.0 linux x 阅读全文
posted @ 2018-10-31 14:34
liuge36
阅读(545)
评论(0)
推荐(0)
摘要：
dokcer运行SpringBoot项目 from frolvlad/alpine oraclejdk8:slim VOLUME /tmp ADD target/demo 0.0.1 SNAPSHOT.jar app.jar ENTRYPOINT ["java"," jar","/app.jar"] 阅读全文
posted @ 2018-10-31 14:33
liuge36
阅读(756)
评论(0)
推荐(0)
摘要：
http://idea.toocruel.net http://active.chinapyg.com/ 2018 8 6可用 http://xdouble.cn:8888/ 2018年7月11号 测试激活PyCharm也是可以使用的哟 ================IDEA 2017.2版本下M 阅读全文
posted @ 2018-10-31 14:33
liuge36
阅读(216)
评论(0)
推荐(0)
摘要：
写在前面 Docker是一个开源的引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以轻松批量地在生产环境中部署. 网上的安装教程也很多这里我推荐一种快速安装的方法. 实验环境 Centos7.2 64 bit 系统 kernel 3.10+ 阅读全文
posted @ 2018-10-31 14:33
liuge36
阅读(145)
评论(0)
推荐(0)
摘要：
写在前面 因为之前的爬虫环境一直是部署在我自己本地的电脑上的,最近,写了一个监控别人空间的爬虫,需要一直线上24小时运行,所有就打算云服务器上部署环境,也捣鼓了好一会才弄好,还是有一些坑,这里先记录一下,方便以后复习... 一.替换pyhton2版本为python3 1.我这里的云服务器是Cento 阅读全文
posted @ 2018-10-31 14:32
liuge36
阅读(746)
评论(0)
推荐(0)
摘要：
登录网页版微信 登录微信以后，选中对象 使用浏览器的调试工具，打开控制台 贴上代码 ===每秒钟判断一下是否是设定的时间(定时任务电脑时间)=== ===每秒钟发送一次=== PS: 1.可以修改if的时间来进行定时 2.可以修改最后的1000,1000代表每1000毫秒 阅读全文
posted @ 2018-10-31 14:31
liuge36
阅读(504)
评论(0)
推荐(0)
摘要：
Anaconda Distribution是执行Python数据科学和机器学习最简单的方法。 它包括250多种流行的数据科学软件包，以及适用于Windows，Linux和MacOS的 conda 软件包和虚拟环境管理器。 Conda使安装，运行和升级复杂的数据科学和机器学习环境（如Scikit le 阅读全文
posted @ 2018-10-31 14:30
liuge36
阅读(194)
评论(0)
推荐(0)
摘要：
1.下载PhantomJS 2.解压,重命名 重命名（方便以后使用phantomjs命令） [root@liuge ~] mv /usr/local/phantomjs 2.1.1 linux x86_64/ /usr/local/phantomjs 3.安装依赖软件fontconfig 4.建立软 阅读全文
posted @ 2018-10-31 14:30
liuge36
阅读(135)
评论(0)
推荐(0)
摘要：
2018 10 31更新 yum –y install mongodb org 找不到这个包，清华源： https://mirrors.tuna.tsinghua.edu.cn/help/mongodb/ 正式开始 新建 /etc/yum.repos.d/mongodb.repo，内容为 [mong 阅读全文
posted @ 2018-10-31 14:29
liuge36
阅读(3760)
评论(0)
推荐(0)
摘要：
写在前面 学习爬虫也很久了,但是一直没有整理自己的笔记,然后,今天整理的是慕课网 疯狂的蚂蚁crazyant 老师的《Python开发简单爬虫》这门课程的内容,大家也可以关注一下这位老师,讲得很不错,这边文章中也加上了自己的一些见解,如有错误,告诉我一下,谢谢 什么是爬虫 从百度词条中,我们可以知道 阅读全文
posted @ 2018-10-31 14:29
liuge36
阅读(256)
评论(0)
推荐(0)
摘要：
技术选型 下载器是Requests 解析使用的是正则表达式 效果图: 准备好各个包 开始编写代码,new一个py文件 1.requests下载页面 这里需要注意编码的问题; 就像下面这样： 这样返回的就是一个string类型的数据 2.except RequestException:捕捉异常 为了代 阅读全文
posted @ 2018-10-31 14:28
liuge36
阅读(2992)
评论(0)
推荐(0)
摘要：
安装环境：腾讯云CentOS7 64位安装MySQL5.7 1、配置YUM源 在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ 下载mysql源安装包 [root@cc ~] wget http://dev.mysql.co 阅读全文
posted @ 2018-10-31 14:23
liuge36
阅读(159)
评论(0)
推荐(0)
摘要：
做如下配置即可 settings bulid... Bulid Tools Maven Improting 选中Impor Maven projects automatically Apply OK 阅读全文
posted @ 2018-10-31 14:22
liuge36
阅读(991)
评论(0)
推荐(0)
摘要：
Apache Thrift 的基本使用 "可以先看看官网是如何介绍的" The Apache Thrift software framework, for scalable cross language services development, combines a software stack 阅读全文
posted @ 2018-10-31 14:22
liuge36
阅读(149)
评论(0)
推荐(0)
摘要：
初始化init: git init git status git add . git commit am "init projrct" 添加远程仓库: git remote add origin git@gitee.com:liuge36/mmall.git 推送: git push u f ora 阅读全文
posted @ 2018-10-31 14:21
liuge36
阅读(798)
评论(0)
推荐(0)
摘要：
mybatis generator生成数据对象 步骤一:在pom文件中添加build的插件 步骤二:刷新pom文件,编写generatorConfig.xml 步骤三:点击生成数据 阅读全文
posted @ 2018-10-31 14:20
liuge36
阅读(251)
评论(0)
推荐(0)
摘要：
Linux下如何查看哪些进程占用的CPU内存资源最多 linux下获取占用CPU资源最多的10个进程，可以使用如下命令组合： ps aux|head 1;ps aux|grep v PID|sort rn k +3|head linux下获取占用内存资源最多的10个进程，可以使用如下命令组合： ps 阅读全文
posted @ 2018-10-31 14:19
liuge36
阅读(236)
评论(0)
推荐(0)
摘要：
老是记忆不大清楚,简单写一下 简单作区分就是: redirectTo：关闭当前页(卸载)，跳转到指定页 navigateTo：保留当前页(隐藏)，跳转到指定页 switchTap：只能用于跳转到tabbar页面，并关闭其他非tabbar页面,tabbar之间做切换 阅读全文
posted @ 2018-10-31 14:19
liuge36
阅读(283)
评论(0)
推荐(0)
摘要：
主要实现的功能就是:监控女神的 QQ空间,一旦女神发布新的说说,你的邮箱马上就会收到说说内容,是不是想了解一下 先看看代码运行效果图: PS:只有你有一台云服务器你就可以把程序24h运行起来 直接上代码: 如果你有什么好的建议可以留言呢 有什么问题也可以留言,我会尽量第一时间回复你的 阅读全文
posted @ 2018-10-31 14:18
liuge36
阅读(371)
评论(0)
推荐(0)
摘要：
写在前面 在开发微信小程序的时候,评论服务模块希望添加上emoji表情,但是emoji表情是4个字节长度的,所以需要进行设置 当前项目是JAVA编写, 使用JDBC连接操作数据库, 如下针对的JDBC操作的解决方案 一.JDBC的URL的正常操作 在连接配置中,声明UTF 8的字符编码, 但是现在需 阅读全文
posted @ 2018-10-31 14:17
liuge36
阅读(7725)
评论(0)
推荐(1)
摘要：
这个文章主要是在 "前一篇文章" 上新增了说说秒赞的功能 前一篇文章可以 "了解一下" 那么,这次主要功能就是 监控女神的 QQ空间,一旦女神发布新的说说,马上点赞,你的邮箱马上就会收到说说内容,是不是想了解一下 直接上代码吧: 还是那样,如果你有什么好的建议可以留言呢 有什么问题也可以留言,我会尽 阅读全文
posted @ 2018-10-31 14:17
liuge36
阅读(524)
评论(0)
推荐(0)
摘要：
使用豆瓣源安装(推荐) 【推荐】 "python3.X安装和pip安装方法" pip install i https://pypi.douban.com/simple XXX 1.安装virtualenv pip install virtualenv 2一旦virtualenv过多，就蛋疼了，接下来 阅读全文
posted @ 2018-10-31 14:16
liuge36
阅读(947)
评论(0)
推荐(0)
摘要：
```
package com.csylh; import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.spout.SpoutOutputCollector;
import org.apache.storm.task.OutputCollector;
import o... 阅读全文
posted @ 2018-10-31 14:15
liuge36
阅读(219)
评论(0)
推荐(0)
摘要：
词频统计 1.需求:读取指定目录的数据,并且实现单词计数功能 2.实现方案: Spout用于读取指定文件夹(目录),读取文件,将文件的每一行发射到Bolt SplitBolt用于接收Spout发射过来的数据,并拆分,发射到CountBolt CountBolt接收SplitBolt发送的每一个单词, 阅读全文
posted @ 2018-10-31 14:13
liuge36
阅读(539)
评论(0)
推荐(0)
摘要：
swagger2的简单使用 优点： 可以生成文档形式的API并提供给不同的团队使用 便于自己单测 无需过多冗余的word文档，这一点很重要，因为我在工作中就遇到这么一个情况，由于开发使用的文档和最新文档版本导致不一致，导致后期很烦人 ===使用swagger流程=== 1.引入pom依赖 <! sw 阅读全文
posted @ 2018-10-31 14:12
liuge36
阅读(487)
评论(0)
推荐(0)
摘要：
一:重装系统 我这里选择的是CentOS7.2 1.设置JDK环境 2. "更换使用配置163源" 首先备份/etc/yum.repos.d/CentOS Base.repo mv /etc/yum.repos.d/CentOS Base.repo /etc/yum.repos.d/CentOS B 阅读全文
posted @ 2018-10-31 14:12
liuge36
阅读(246)
评论(0)
推荐(0)
摘要：
写在前面 记录一下，一个简单的cloudera处理平台的构建过程和一些基本组件的使用 前置说明 需要一台安装有Docker的机器 docker常用命令： 启动cloudera 这个时候假如你想登录HUE界面进行操作，可能你不知道账户密码，可以使用下面操作完成： 接着：介绍一些简单的组件操作方式: s 阅读全文
posted @ 2018-10-31 14:11
liuge36
阅读(610)
评论(0)
推荐(0)
摘要：
HDFS：分布式文件系统 一句话总结 一个文件先被拆分为多个Block块（会有Block ID：方便读取数据），以及每个Block是有几个副本的形式存储 1个文件会被拆分成多个Block blocksize：128M（Hadoop2.0以后默认的块大小，可以自定义配置） 130M == 2个Bloc 阅读全文
posted @ 2018-10-31 14:09
liuge36
阅读(315)
评论(0)
推荐(0)
摘要：
MapReduce概述 Google MapReduce的克隆版本 优点：海量数据的离线处理，易开发，易运行 缺点：实时流式计算 Hadoop MapReduce是一个软件框架，用于轻松编写应用程序，以可靠，容错的方式在大型集群（数千个节点）的商用硬件上并行处理大量数据（多TB数据集） MapRed 阅读全文
posted @ 2018-10-31 14:08
liuge36
阅读(261)
评论(0)
推荐(0)
摘要：
YARN概述 Yet Another Resource Negotiator:另外资源的协调者 通用的资源管理系统 为上层应用提供统一的资源管理和调度 操作系统级别的调度框架，可以让各种计算框架运行在上面 YARN：不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度 XXX on Y 阅读全文
posted @ 2018-10-31 14:08
liuge36
阅读(551)
评论(0)
推荐(0)
摘要：
写在前面 记录一下，一个自动化开发部署项目的构建过程与简单使用，实现真正的DevOps gitlab安装 步骤一：安装依赖 yum y install git gcc glibc static telnet yum y install curl policycoreutils python open 阅读全文
posted @ 2018-10-31 13:58
liuge36
阅读(7539)
评论(0)
推荐(0)
摘要：
写在前面 什么是用户行为日志呢？其实也叫做用户行为轨迹，流量日志等。简单来说，就是用户每次访问网站产生的行为数据（访问，浏览，搜索，点击等）。基本上，只要你访问了任何一个网站，该网站都会有你的行为记录。 当然，日志也是一个很大的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的 阅读全文
posted @ 2018-10-31 13:57
liuge36
阅读(5425)
评论(0)
推荐(0)
摘要：
## Hive环境搭建1. hive下载：http://archive-primary.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gzwget http://archive-primary.cloudera.com/cdh5/cdh/5/hive 阅读全文
posted @ 2018-10-31 10:50
liuge36
阅读(356)
评论(0)
推荐(0)
浙公网安备 33010602011771号