前言 本文主要介绍的是ELK日志系统入门和使用教程。 ELK介绍 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合 ...

云 Service Mesh实战：用Istio软负载实现服务网格/周遥著.—北京：电子工业出版社，2019.5 云原生的本质，是解决应用的弹性（resiliency）、易用性（usability）和可移植性（portability） 云原生的本质，是解决应用的弹性（resiliency）、易用性（u ...

kafka目录结构 # kafka安装目录 /usr/local/Cellar/kafka/2.6.0 # 配置文件目录 /usr/local/etc/kafka/ # 如果超时，在server.properties中增加 zookeeper.connection.timeout.ms=600000 ...

1、== 和 equals 的区别是什么？ == 对于基本类型来说是值比较，对于引用类型来说是比较的是引用；而 equals 默认情况下是引用比较，只是很多类重新了 equals 方法，比如 String、Integer 等把它变成了值比较，所以一般情况下 equals 比较的是值是否相等。 2、fi ...

流水查询需求 需求第一期： 基于TB级的在线数据，支持缴费帐单明细在线查询。大家都知道，像银行帐单流水一样，查几年的流水是常有的事。 支持的维度查询：帐期、欠费状态、日期范围、费用科目类型、房屋分类、房屋所属项目、关联合同信息、统计列 什么是实时数据 实时可以分为：实时采集、实时计算、高性能，底延时 ...

提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展，尤以Hadoop... ...

**​桔妹导读：**Presto在滴滴内部发展三年，已经成为滴滴内部Ad-Hoc和Hive SQL加速的首选引擎。目前服务6K+用户，每天读取2PB ~ 3PB HDFS数据，处理30万亿~35万亿条记录，为了承接业务及丰富使用场景，滴滴Presto需要解决稳定性、易用性、性能、成本等诸多问题。我们 ...

**​桔妹导读：**即将到来的国庆中秋假期，不少人选择出门旅行。身处他乡，轻松方便地找到网约车、快速安全地到达目的地，背后都有地图系统在发挥重要作用。九月是地图与公交分享月，这个月，该团队分享了许多优秀的技术文章，不知不觉，我们又迎来了月末分享的重磅特辑，想要了解更多或者加入这个团队？快来一起看看吧 ...

**桔妹导读：**滴滴导航是滴滴出行旗下基于丰富的交通大数据和领先的算法策略，面向网约车及自驾场景而打造的一款技术领先的地图产品。伴随着海量网约车司机每日8小时+的导航使用，产品积累了大量的反馈并持续优化打磨。在这个过程中，为了给用户带来更好的地图导航体验，团队一直在积极探索技术上的突破和实践，并取 ...

**​桔妹导读：**IT技术的不断更新推动着公共交通的概念不断在深度和广度上扩展。深度上，精准的公交ETA和实时到站等信息可以帮助用户更好的规划行程时间；广度上，配合单车，网约车等共享出行方式可以帮助用户更好的决策出行方式。 #1. 信息公交服务简介 公交，在传统意义上主要指城市内的公交巴士和地铁通 ...

首先确保自己的linux环境下正确安装了Java 8+。 1：取得KAFKA https://mirrors.bfsu.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz下载最新的Kafka版本并解压缩： tar -xzf kafka_2.13-2.6.0. ...

—— 图片来自 《国家地理中文网》—— 往期推荐： Flink深入浅出：部署模式 Flink深入浅出：内存模型 Flink深入浅出：JDBC Source从理论到实战 Flink深入浅出：Sql Gateway源码分析 Flink深入浅出：JDBC Connector源码分析 什么是Flink 之 ...

往期推荐： Flink深入浅出：内存模型 Flink深入浅出：JDBC Source从理论到实战 Flink深入浅出：Sql Gateway源码分析 Flink深入浅出：JDBC Connector源码分析 什么是Flink 之 架构篇 什么是Flink 之 应用篇 Flink在1.11版本新增了一 ...

Flink为了能够处理有边界的数据集和无边界的数据集，提供了对应的DataSet API和DataStream API。我们可以开发对应的Java程序或者Scala程序来完成相应的功能。下面举例了一些DataSet API中的基本的算子。 下面我们通过具体的代码来为大家演示每个算子的作用。 1、Ma ...

本文以研究和测试功能为主，部署生产环境要参考软件实际版本以及对应部署方法。本文涉及软件：vmware14、jdk8、hadoop2、centos6.8 1.虚拟机配置初始配置1.1：打开虚拟机安装centos6.8，本人分配2G内存、20G硬盘、创建hadoop01用户（自行百度创建Linux用户相 ...

1.JavaEE开发构建工具历史走向 自动化构建工具 Make> Ant> Maven >Gradle 2.构建的概念和环节 Java必须经过编译得到.class文件 清理:删除以前编译结果,为重新编译做好准备 编译:JAVA编译为字节码文件 测试:关键点测试 报告:,展示测试结果 打包:java含 ...

**桔妹导读：**所谓需求响应式公交，就是根据用户出行需求，提供非固定路线的、能够实时拼单的公交系统。目前滴滴动态公交可通过灵活调配运力、实时规划行驶路线，为用户提供经济、直达、有座、高效的响应式公交服务。 #1. 产品背景介绍 传统公交系统以固定路线和时间表的形式给公众提供出行服务。近年来，随着信 ...

在上一篇博客中，介绍了ES中的一些核心概念和ES、Kibana安装方法。本节开始，我们从索引开始来学习ES的操作方法。 ...

客户端访问hdfs上的某一文件，首先要向namenode请求文件的元数据信息，然后nn就会告诉客户端，访问的文件在datanode上的位置，然后客户端再依次向datanode请求对应的数据，最后拼接成一个完整的文件；这里需要注意一个概念，datanode存放文件数据是按照文件大小和块大小来切分存放... ...

​ **桔妹导读：**每天滴滴都会为上千万人提供出行服务，在这一过程中积累了海量轨迹数据。这些轨迹数据来自于公共服务，本文介绍如何利用这些数据回馈大众，改善出行体验。 #1. 背景 首先简要介绍一下什么是数据挖掘。数据挖掘（Data Mining）是指从大量数据中发现特定信息和模式的过程，也有很多人 ...