摘要: 随着公司各项业务的快速发展与扩张,服务器和各种应用系统随之而增加,同时对应用系统、服务器的稳定性,可持续性提出了更高的要求,公司希望搭建一套综合的分析与监控系统,为各个部分提供决策支持。 需要解决的问题: (1)数据孤岛问题,数据分散在不同的业务系统当中; (2)服务器日志信息如何有效搜集与存储; (3)业务部门分析需求不固定,经常有新的需求提出,如何满足各部门的需求; (4)基于上面的问题如何快速搭建多源的可视化分析系统; 技术选型与整体架构设计: 阅读全文
posted @ 2019-08-27 11:21 NBI大数据可视化分析 阅读(1120) 评论(0) 推荐(0)
摘要: 随着企业数据的日久累计,企业生产的数据无论从数量空间还是从维度层次上都日益繁杂。面对大量数据,管理层常常望洋兴叹:要么企业自产的大量数据不能有效利用,无法提供决策依据;要么数据展示模式繁杂晦涩,无法快速甄别有效信息。如何将海量数据经过抽取、加工、提炼,通过可视化方式展示出来,改变传统的文字描述识别模式,让决策者更高效的掌握重要信息和了解重要细节,这关系到企业重大决策的制定和发展方向的研判。 数据可视化可为上述问题提供理想的解决方案。数据可视化是指以柱状图、饼状图、线型图等图形方式展示数据,让决策者更高效的了解企业的重要信息和细节层次。大量研究结果表明人类通过图形获取信息的速度比通过阅读文字获取信息的速度要快很多,因此通过可视化方式帮助用户改变传统的数据识别模式。 我认为一个好的数据可视化工具应该具备以下几方面: 阅读全文
posted @ 2019-08-21 12:22 NBI大数据可视化分析 阅读(521) 评论(0) 推荐(0)
摘要: 从定义和分类来看,它是一个开源的分布式数据库系统,是一个实现了MySQL协议的服务器,前端用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可以用MySQL原生协议与多个MySQL服务器通信,也可以用JDBC协议与大多数主流数据库服务器通信,其核心功能是分表分库读写分离,即将一个大表水平分割为N个小表,存储在后端MySQL服务器里或者其他数据库里。也可以指定多个写库多个读库。 阅读全文
posted @ 2019-08-16 12:20 NBI大数据可视化分析 阅读(613) 评论(0) 推荐(0)
摘要: 数据可视化都有一个共同的目的,那就是准确而高效、精简而全面地传递信息和知识。可视化能将不可见的数据现象转化为可见的图形符号,能将错综复杂、看起来没法解释和关联的数据,建立起联系和关联,发现规律和特征,获得更有商业价值的洞见和价值。 并且利用合适的图表直截了当且清晰而直观地表达出来,实现数据自我解释、让数据说话的目的。而人类右脑记忆图像的速度比左脑记忆抽象的文字快100万倍 阅读全文
posted @ 2019-08-05 17:52 NBI大数据可视化分析 阅读(353) 评论(0) 推荐(0)
摘要: ElasticSearch简介: ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性,能使数据在生产环境变得更有价值。ElasticSearch 的实现原理主要分为以下几个步骤 阅读全文
posted @ 2019-08-02 14:45 NBI大数据可视化分析 阅读(930) 评论(0) 推荐(0)
摘要: 在日常工作中,老板总是会时不时的让我们做工作汇报,而这也是我们能够在老板面前展示自己的机会。但是,如果你拿给老板的是这样一张数据密密麻麻的表格,你觉得老板能够在短时间内看懂你的数据吗? 阅读全文
posted @ 2019-07-30 17:26 NBI大数据可视化分析 阅读(519) 评论(0) 推荐(0)
摘要: 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。 高质量的可视化工具对于数据分析至关重要。数据可视化工具是一种应用软件,帮助用户以可视化、图形化的格式显示数据,呈现数据的完整轮廓。像饼状图、曲线图、热图、直方图、雷达/蜘蛛图只是可视化中的一小部分,这些方法可以简单地表示数据并展示特点和趋势。 阅读全文
posted @ 2019-07-29 15:58 NBI大数据可视化分析 阅读(639) 评论(0) 推荐(0)
摘要: pyecharts 是一个用于生成 Echarts 图表的类库。echarts 是百度开源的一个数据可视化 JS 库,主要用于数据可视化。pyecharts 是一个用于生成 Echarts 图表的类库。实际上就是 Echarts 与 Python 的对接。使用 pyecharts 可以生成独立的网页,也可以在 flask , Django 中集成使用。 阅读全文
posted @ 2019-07-26 11:32 NBI大数据可视化分析 阅读(1957) 评论(0) 推荐(0)
摘要: 全称是(Data-Driven Documents),一个被数据驱动的文档简单点,是一个JavaScript函数库,使用它主要用来做数据可视化。D3 是一个开源项目,作者是纽约时报的工程师。学习 D3 需要什么预备知识HTML:超文本标记语言,用于设定网页的内容CSS:层叠样式表,用于设定网页的样式JavaScript:一种直译式脚本语言,用于设定网页的行为DOM:文档对象模型,用于修改文档的内容和结构SVG:可缩放矢量图形,用于绘制可视化的图形 阅读全文
posted @ 2019-07-25 14:50 NBI大数据可视化分析 阅读(2818) 评论(0) 推荐(0)
摘要: 公司决策者意识到成功的数字体验越来越重要。调查受访者表示,这种成功的衡量标准是,用户体验和满意度提高(53%),市场敏捷性提高(49%),收入和盈利能力增加(49%),员工生产力提高(49%),以及更快的上市时间(48%)。然而,数字战略的失败原因是由于系统各种不足造成的。根据调查显示,在努力实现更好的数字战略时,有五个最重要的障碍:(1)预算约束(51%)(2)过于复杂或僵化的传统IT基础设施(45%)(3)缺乏数字或最终用户体验的全面可见性(40%)(4)缺乏可用或适当技能的人员(39%)(5)缺乏领导层支持优先考虑数字举措(37%) 阅读全文
posted @ 2019-07-24 13:53 NBI大数据可视化分析 阅读(475) 评论(0) 推荐(0)
摘要: 如果一个企业不做数据分析,那将意味着什么?用户在哪?我怎样才能和他们互动?我不知道我的营销活动到底效果如何?用户对我品牌的忠诚度在减弱?我的销售怎么样?我的生产研发怎么样?我在浪费广告预算? 阅读全文
posted @ 2019-07-23 12:46 NBI大数据可视化分析 阅读(469) 评论(0) 推荐(0)
摘要: 大数据、数据分析的兴起和火爆,也带动了数据可视化的广泛应用。说起数据分析和可视化的关系,就好比你为一堆散乱的拼图写了一份说明,告诉他这个数据是什么样子,代表什么。可以说,数据可视化虽然不是必不可少的,但却是可以加快效率,为报告锦上添花的。今天,说起数据可视化,我们就不得不谈一下数据可视化工具了。主要说到的这个工具也是最近在数据分析圈比较受追捧的一个软件——Python。 阅读全文
posted @ 2019-07-22 15:17 NBI大数据可视化分析 阅读(230) 评论(0) 推荐(0)
摘要: 我们常常迷失在数据中,纷繁复杂的数据让我们无所适从,我们通常看到的原始数据可能是这样的: 往往我们最初接触的原始数据是上面那样的,密密麻麻的文字,无从看起,难以理解和洞察数据中的价值。 科学研究表明人脑对视觉信息的处理要比书面信息块10倍。使用图表来总结复杂的数据,可以让人更易于了解,和对信息产生高 阅读全文
posted @ 2019-07-19 15:10 NBI大数据可视化分析 阅读(271) 评论(0) 推荐(0)
摘要: 在SpringBoot中通过maven来做包管理构建,有几个地方需要注意一下的,需要解决包之间的冲突,否则运行时会报错: (1)sparkSQL中需要先排除两个包: (2)重新引入: ok,准备工作做完之后,开始代码层面得工作: 主要给大家演示的场景是将json字符串转换成临时表,然后通过spark 阅读全文
posted @ 2019-07-18 14:30 NBI大数据可视化分析 阅读(843) 评论(0) 推荐(0)
摘要: 数据可视化是数据领域一个重要的分支,目的是“让数据说话”,展现数据之美。好的图表会说话,好的图表可以抓住用户的心。 研究发现:人脑处理图片信息是同步进行的,而处理文字信息则是一步一步循序渐进的,而且一篇文字下来,大部分人只记住了其中的20%;人在看报纸时,99%的文字信息会自动被过滤掉,脑子里只残留 阅读全文
posted @ 2019-07-17 15:42 NBI大数据可视化分析 阅读(306) 评论(0) 推荐(0)
摘要: 数据可视化都有一个共同的目的,那就是准确而高效、精简而全面地传递信息和知识。可视化能将不可见的数据现象转化为可见的图形符号,能将错综复杂、看起来没法解释和关联的数据,建立起联系和关联,发现规律和特征,获得更有商业价值的洞见和价值。并且利用合适的图表直截了当且清晰而直观地表达出来,实现数据自我解释、让 阅读全文
posted @ 2019-07-16 12:55 NBI大数据可视化分析 阅读(304) 评论(0) 推荐(0)
摘要: 人人都是数据分析师的时代,我们如何才能真正让普通用户拥有数据分析的能力,我们都知道要想掌握大数据分析,首先在技术层面就得有一定的技术深度和广度,数据分析大致分为数据采集,数据存储,数据建模计算,数据可视化分析四个阶段,要想掌握这些能力,那大家可能想到的是需要一个有实力的团队才能做到吧,那今天就给大家 阅读全文
posted @ 2019-07-15 15:37 NBI大数据可视化分析 阅读(910) 评论(0) 推荐(0)
摘要: 随时时代的不断发展,云计算,大数据,人工智能,物联网,5G这些新兴行业不断演进,快速的决策与行动能力已经成为每一家企业的必备能力,但是往往数据分析相关的采购成本高,链条长,技术复杂度高,让企业遥不可及,针对这些问题,今天就给大家分享一款简单易用的大数据可视化分析工具,让每家企业都能拥有数据洞察能力。 阅读全文
posted @ 2019-07-12 17:30 NBI大数据可视化分析 阅读(458) 评论(0) 推荐(0)
摘要: 随着企业信息化建设程度不断加强,随之而来的企业经营数据呈爆发式增长,传统粗放式的管理手段难以支撑现代化企业发展需要,越来越多的企业开始意识到数据的重要性,希望通过大数据分析来驱动来实现企业智慧化运营,提升企业业务增长。 NBI一站式大数据分析平台作为新一代自助式、探索式分析工具,在产品设计理念上始终 阅读全文
posted @ 2019-07-11 15:39 NBI大数据可视化分析 阅读(2448) 评论(0) 推荐(0)
摘要: (1)先创建一张测试表: (2)往数据表填充数据: (3)实现思路: (3.1)首先做个合并表查询: 查询结果: (3.2)基于3.1求时间差: 查询结果: (3.3)过滤掉"购买日期间隔"为负数的行: 查询结果: (3.4)因为我们要求每个用户最近一次与上一次购买的时间间隔,所以,我们要基于上图对 阅读全文
posted @ 2019-07-09 13:21 NBI大数据可视化分析 阅读(2475) 评论(0) 推荐(0)
摘要: 今天将自己所掌握的(Jenkins+svn+ftp自动化发布asp.net项目)知识分享给大家,希望能帮组到大家: (1)先下载Jenkins并安装; (2)安装.Net所需要的插件; (3)配置插件; (4)在Jenkins中创建一个需要自动构建的项目; (5)编译项目,发布。 去Jenkins官 阅读全文
posted @ 2019-07-08 10:53 NBI大数据可视化分析 阅读(871) 评论(1) 推荐(2)
摘要: 推荐一些简单的,日常工作能实际应用,或者个人学习数据分析、可视化有必要的工具。 希望大家能真的用起来! 纯可视化图表生成类——适合开发,工程师 Echart 一个纯Javascript的数据可视化库,百度的产品,常应用于软件产品开发或网页的统计图表模块。可在Web端高度定制可视化图表,图表种类多,动 阅读全文
posted @ 2019-07-05 14:48 NBI大数据可视化分析 阅读(926) 评论(0) 推荐(0)
摘要: 第一步下载Jenkins环境 去Jenkins官网下载安装包:https://jenkins.io/zh/download/ 然后下一步傻瓜式安装 (1)安装插件,默认提供了一些插件,不管他全部安装 (2)下一步创建一个账号: (3)下一步是这样一个画面: 选择管理插件,在管理插件中,安装: Sub 阅读全文
posted @ 2019-07-03 18:18 NBI大数据可视化分析 阅读(382) 评论(0) 推荐(0)
摘要: 大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据仓库工具无法处理完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的各 阅读全文
posted @ 2019-07-02 13:12 NBI大数据可视化分析 阅读(3624) 评论(0) 推荐(0)
摘要: 一、为什么要建设数据中台 因为在当今互联网时代,用户才是商业战场的中心,为了快速响应用户的需求,借助平台化的力量可以事半功倍。 不断快速响应、探索、挖掘、引领用户的需求,才是企业得以生存和持续发展的关键因素。 目前,数据体量、产业规模以及云计算高速发展所推动的基础设施成本都已不再是问题,大数据能否创 阅读全文
posted @ 2019-06-28 12:08 NBI大数据可视化分析 阅读(1872) 评论(0) 推荐(0)
摘要: 大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数据流被以图像形式表示时,以此做决策就变得容易多了。 为了满足并超越客户的期望,大数据可视化工具应该具备这些特征: · 能够处理不同种类型的传入数据 · 能够应用不同种类的过滤器来调整结果 · 能够在分析过程中与数据集进行交互 · 阅读全文
posted @ 2019-06-27 10:04 NBI大数据可视化分析 阅读(4577) 评论(3) 推荐(0)
摘要: springboot+maven+mybatis+mysql 利用org.mybatis.generator生成实体类 1.添加pom依赖: 2.编写generatorConfig.xml文件 (1)文件值指定连接mysql的信息 (2)指定生成的实体包信息 (3)指定生成的mapper包信息 (4 阅读全文
posted @ 2019-06-26 10:11 NBI大数据可视化分析 阅读(315) 评论(0) 推荐(0)
摘要: 1.配置pom包 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 2.配置application.yml kafka部分: ka 阅读全文
posted @ 2019-06-25 17:52 NBI大数据可视化分析 阅读(2306) 评论(0) 推荐(0)