摘要：概述 本文都是基于elasticsearch安装教程 中的elasticsearch安装目录(/opt/environment/elasticsearch-6.4.0)为范例 环境准备 ·全新最小化安装的centos 7.5 ·elasticsearch 6.4.0 认识中文分词器 在博文elast
阅读全文
posted @ 2019-06-12 09:17
随笔分类 - hadoop
摘要：由于项目需要在Android手机设备上实现汉字转拼音功能（支持多音字），于是首先想到了Pinyin4j+多音字映射对照表的实现方案，并在项目中试用了一段时间，发现数据量大时，其耗时非常严重。后来寻找其他方案，在github上找到了HanLP开源库，其多音字转换速度非常快，但是没有针对Android平
阅读全文
posted @ 2019-04-01 13:54
摘要：大数据在政务当中的应用对于提高问题解决的效率可谓大有帮助，但政务大数据平台的应用开发远不止提高问题解决效率这么简单。当然，作为大数据平台应用的开发者来说，我们要做的是还是从底层的技术层面做好解决方案。关于政务大数据平台的解决方案此前有分享过智慧人社的和城市智慧停车的大数据平台解决方案，本篇给大家分享一个新的政务大数据平台管理案例——大快搜索的城市数据运河政务大数据管理运营平台。
阅读全文
posted @ 2018-12-24 09:43
摘要：一提到hadoop相信熟悉IT领域或者经常关注互联网新闻的朋友都应该很熟悉了，当然，这种熟悉可能也只是听着名字耳熟，但并不知道它具体是什么东西，或者用来做什么。这些都不重要，重要的是你知道有hadoop这么个东西就可以了。
前段时间码了一些hadoop方面的分享文章，纯属个人的一点小经验，可能有的地方写的不好，将就下吧！今天要分享的这篇是转载的一篇大快搜索公众号上的文章，是关于时下比较热闹的P2P金融方面对hadoop应用的一个架构设计。
阅读全文
posted @ 2018-09-29 11:51
摘要：Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR,华为,DKhadoop等都提供了自己的商业版本。商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点，本文就各发行版做简单对比介绍。
阅读全文
posted @ 2018-09-11 10:31
摘要：“学习hadoop需要什么基础”这已经不是一个新鲜的话题了，随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗？用一句特别让人无语的话回答就是：难不会，会不难！ 趁着学校放假的时间，写了一些hadoop学习分享的文章。刚开始写的几
阅读全文
posted @ 2018-09-08 10:20
摘要：今天准备分享一下Apache Shiro 在web开发中的应用。shiro安全框架是目前为止作为登录注册最常用的框架，因为它十分的强大简单，提供了认证、授权、加密和会话管理等功能 。
阅读全文
posted @ 2018-09-05 10:30
摘要：使用hadoop版本是DKH标准三节点发行版，DKHadoop版本的易用性比较好，环境部署要简单的多，参考此篇安装前请先下载DKHadoop版本，网盘链接：https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg 提取码：vg2w 第一部分：准备工作 1、 大数
阅读全文
posted @ 2018-08-31 13:27
摘要：零基础学习hadoop开发是很多新手关心的问题，当然零基础并不是说没有IT方面的知识储备，而是指没有大数据hadoop方面的基础。将“零基础学习hadoop开发”这个问题换个说法也许就更容易让人明白了，比如“学习hadoop需要具备什么基础知识”。
阅读全文
posted @ 2018-08-29 13:19
摘要：针对hadoop每个组建都要配置的这种情况，DKH提供了自动化安装应用来部署Hadoop。这就大大缩短了Hadoop的安装时间，同时也简化了安装Hadoop的过程。如果你在安装之后想要拓展节点，其实也不用担心。因为DKH中提供了节点管理的功能。
阅读全文
posted @ 2018-08-27 11:28
摘要：在线爬虫是大快大数据一体化开发框架的重要组成部分，本篇重点分享在线爬虫的安装。
爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。
阅读全文
posted @ 2018-08-24 10:40
摘要：2018年度国内大数据公司排名50强本月初榜单发布，榜单上看到大快搜索跻身50强，再看看他们做的DKHadoop发行版，的确还是蛮厉害的吧！最起码这款DKHadoop用起来确实在易用性方面要更好！Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了，今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行汇总整理，希望对一些朋友有帮助吧！
阅读全文
posted @ 2018-08-22 10:17
摘要：DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完，关于大快大数据处理平台监控参数的介绍就完整了。
阅读全文
posted @ 2018-08-15 14:36
摘要：前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下，但好像大快搜索的服务器在更新，新的下载页面还不好用！有好些朋友留言说了大快搜索网站上无法下载。我已经将之前下载的这个版本上传到了网盘了，需要的DKhadoop安装包的朋友可以直接通过网盘下载！
阅读全文
posted @ 2018-08-13 13:23
摘要：近日，由工信部中国电子信息产业发展研究院主办，中国大数据产业生态联盟承办的2018（第三届）中国大数据产业生态大会在北京盛大召开，工信部党组成员、总工程师张锋、工信部原副部长、北京大学教授杨学山等中央及地方主管领导、行业专家、企业领袖、知名投资人近千人汇聚一堂，深入探讨深挖数据智能、助推数字经济发展的有效路径。青岛大数据企业大快搜索受邀出席，并斩获多项大奖。
阅读全文
posted @ 2018-08-10 15:17
浙公网安备 33010602011771号