ElasticSearch实战系列九: ELK日志系统介绍和安装

前言 本文主要介绍的是ELK日志系统入门和使用教程。 ELK介绍 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合 ...

云-云原生-K8s-devops相关资料备注-脑图

云 Service Mesh实战:用Istio软负载实现服务网格/周遥著.—北京:电子工业出版社,2019.5 云原生的本质,是解决应用的弹性(resiliency)、易用性(usability)和可移植性(portability) 云原生的本质,是解决应用的弹性(resiliency)、易用性(u ...

Mac OS启动Kafka

kafka目录结构 # kafka安装目录 /usr/local/Cellar/kafka/2.6.0 # 配置文件目录 /usr/local/etc/kafka/ # 如果超时,在server.properties中增加 zookeeper.connection.timeout.ms=600000 ...

pk Round-1

1、== 和 equals 的区别是什么? == 对于基本类型来说是值比较,对于引用类型来说是比较的是引用;而 equals 默认情况下是引用比较,只是很多类重新了 equals 方法,比如 String、Integer 等把它变成了值比较,所以一般情况下 equals 比较的是值是否相等。 2、fi ...

实时离线一体大数据在资产租赁saas服务中使用

流水查询需求 需求第一期: 基于TB级的在线数据,支持缴费帐单明细在线查询。大家都知道,像银行帐单流水一样,查几年的流水是常有的事。 支持的维度查询:帐期、欠费状态、日期范围、费用科目类型、房屋分类、房屋所属项目、关联合同信息、统计列 什么是实时数据 实时可以分为:实时采集、实时计算、高性能,底延时 ...

大数据领域常用技术栈

提起大数据,不得不提由IBM提出的关于大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性),而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展,尤以Hadoop... ...

Presto在滴滴的探索与实践

**​桔妹导读:**Presto在滴滴内部发展三年,已经成为滴滴内部Ad-Hoc和Hive SQL加速的首选引擎。目前服务6K+用户,每天读取2PB ~ 3PB HDFS数据,处理30万亿~35万亿条记录,为了承接业务及丰富使用场景,滴滴Presto需要解决稳定性、易用性、性能、成本等诸多问题。我们 ...

不走寻常路

**​桔妹导读:**即将到来的国庆中秋假期,不少人选择出门旅行。身处他乡,轻松方便地找到网约车、快速安全地到达目的地,背后都有地图系统在发挥重要作用。九月是地图与公交分享月,这个月,该团队分享了许多优秀的技术文章,不知不觉,我们又迎来了月末分享的重磅特辑,想要了解更多或者加入这个团队?快来一起看看吧 ...

滴滴导航若干关键功能的技术突破与实践

**桔妹导读:**滴滴导航是滴滴出行旗下基于丰富的交通大数据和领先的算法策略,面向网约车及自驾场景而打造的一款技术领先的地图产品。伴随着海量网约车司机每日8小时+的导航使用,产品积累了大量的反馈并持续优化打磨。在这个过程中,为了给用户带来更好的地图导航体验,团队一直在积极探索技术上的突破和实践,并取 ...

信息公交服务在滴滴的应用实践

**​桔妹导读:**IT技术的不断更新推动着公共交通的概念不断在深度和广度上扩展。深度上,精准的公交ETA和实时到站等信息可以帮助用户更好的规划行程时间;广度上,配合单车,网约车等共享出行方式可以帮助用户更好的决策出行方式。 #1. 信息公交服务简介 公交,在传统意义上主要指城市内的公交巴士和地铁通 ...

Flink深入浅出: 资源管理(v1.11)

—— 图片来自 《国家地理中文网》—— 往期推荐: Flink深入浅出:部署模式 Flink深入浅出:内存模型 Flink深入浅出:JDBC Source从理论到实战 Flink深入浅出:Sql Gateway源码分析 Flink深入浅出:JDBC Connector源码分析 什么是Flink 之 ...

Flink深入浅出: 应用部署与原理图解(v1.11)

往期推荐: Flink深入浅出:内存模型 Flink深入浅出:JDBC Source从理论到实战 Flink深入浅出:Sql Gateway源码分析 Flink深入浅出:JDBC Connector源码分析 什么是Flink 之 架构篇 什么是Flink 之 应用篇 Flink在1.11版本新增了一 ...

【赵强老师】Flink的DataSet算子

Flink为了能够处理有边界的数据集和无边界的数据集,提供了对应的DataSet API和DataStream API。我们可以开发对应的Java程序或者Scala程序来完成相应的功能。下面举例了一些DataSet API中的基本的算子。 下面我们通过具体的代码来为大家演示每个算子的作用。 1、Ma ...

Hadoop分布式集群搭建

本文以研究和测试功能为主,部署生产环境要参考软件实际版本以及对应部署方法。本文涉及软件:vmware14、jdk8、hadoop2、centos6.8 1.虚拟机配置初始配置1.1:打开虚拟机安装centos6.8,本人分配2G内存、20G硬盘、创建hadoop01用户(自行百度创建Linux用户相 ...

Maven白话讲解

1.JavaEE开发构建工具历史走向 自动化构建工具 Make> Ant> Maven >Gradle 2.构建的概念和环节 Java必须经过编译得到.class文件 清理:删除以前编译结果,为重新编译做好准备 编译:JAVA编译为字节码文件 测试:关键点测试 报告:,展示测试结果 打包:java含 ...

浅谈滴滴需求响应式公交背后的技术

**桔妹导读:**所谓需求响应式公交,就是根据用户出行需求,提供非固定路线的、能够实时拼单的公交系统。目前滴滴动态公交可通过灵活调配运力、实时规划行驶路线,为用户提供经济、直达、有座、高效的响应式公交服务。 #1. 产品背景介绍 传统公交系统以固定路线和时间表的形式给公众提供出行服务。近年来,随着信 ...

大数据平台Hadoop集群搭建

客户端访问hdfs上的某一文件,首先要向namenode请求文件的元数据信息,然后nn就会告诉客户端,访问的文件在datanode上的位置,然后客户端再依次向datanode请求对应的数据,最后拼接成一个完整的文件;这里需要注意一个概念,datanode存放文件数据是按照文件大小和块大小来切分存放... ...

数据挖掘技术在轨迹数据上的应用实践

​ **桔妹导读:**每天滴滴都会为上千万人提供出行服务,在这一过程中积累了海量轨迹数据。这些轨迹数据来自于公共服务,本文介绍如何利用这些数据回馈大众,改善出行体验。 #1. 背景 首先简要介绍一下什么是数据挖掘。数据挖掘(Data Mining)是指从大量数据中发现特定信息和模式的过程,也有很多人 ...

123···23>