hanease

2022年3月22日

摘要：各个大厂的机器学习平台概述机器学习的核心是“使用算法解析数据，从中学习，然后对世界上的某件事情做出决定或预测”。这意味着，与其显式地编写程序来执行某些任务，不如教计算机如何开发一个算法来完成任务。有三种主要类型的机器学习：监督学习、非监督学习和强化学习，所有这些都有其特定的优点和缺点。人工智能正阅读全文

posted @ 2022-03-22 09:46 hanease 阅读(720) 评论(0) 推荐(0)

hadoop2.7之Mapper/reducer源码分析

摘要：一切从示例程序开始：示例程序 Hadoop2.7 提供的示例程序WordCount.java package org.apache.hadoop.examples; import java.io.IOException; import java.util.StringTokenizer; impo 阅读全文

posted @ 2022-03-22 09:42 hanease 阅读(204) 评论(0) 推荐(0)

Hadoop家族学习路线图

摘要：原文地址：http://blog.fens.me/hadoop-family-roadmap/ Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, A 阅读全文

posted @ 2022-03-22 08:53 hanease 阅读(146) 评论(0) 推荐(0)

2022年3月21日

flink基础教程

摘要：随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下，新型流式处理框架Flink通过创造性地把现代大规模阅读全文

posted @ 2022-03-21 10:40 hanease 阅读(3677) 评论(0) 推荐(1)

2022年3月20日

ClickHouse-1介绍

摘要： https://clickhouse.com/docs/zh/ 一、clickhouse简介 ClickHouse 是俄罗斯的Yandex开源的用于在线分析处理查询（OLAP :Online Analytical Processing）的列式存储数据库（DBMS：Database Managemen 阅读全文

posted @ 2022-03-20 15:06 hanease 阅读(352) 评论(0) 推荐(0)

Sqoop使用手册

摘要： 1 Sqoop概述 2 版本说明 3 驱动安装 3.1 MySQL 4 基本用法 4.1 导入 4.1.1 保护密码 4.1.2 使用其他文件格式 4.1.3 压缩导入的数据 4.1.4 提高传输速度 4.1.5 自定义类型映射 4.1.6 并行控制 4.1.7 对NULL值进行编码 4.1.8 导阅读全文

posted @ 2022-03-20 15:05 hanease 阅读(2417) 评论(0) 推荐(0)

w3cschool-Flink 入门

摘要： Flink 入门 Apache Flink是一个框架和分布式处理引擎，用于在无界和有界数据流上进行有状态的计算。Flink被设计为在所有常见的集群环境中运行，以内存中的速度和任何规模执行计算。 Apache Flink is a framework and distributed processin 阅读全文

posted @ 2022-03-20 15:01 hanease 阅读(490) 评论(0) 推荐(0)

ELK快速搭建日志平台

摘要：一、介绍1、日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 2、通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使阅读全文

posted @ 2022-03-20 14:58 hanease 阅读(806) 评论(0) 推荐(0)

Kibana使用

摘要： Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。 Kibana使得理解大量数据变得很容易。它简阅读全文

posted @ 2022-03-20 14:56 hanease 阅读(594) 评论(0) 推荐(0)

Filebeat 模块与配置

摘要： 1. 关于Filebeat 当你要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧！Filebeat 将为你提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。关于Filebeat，记住两点：轻量级日志采集器输送至 Elasticsearch 或阅读全文

posted @ 2022-03-20 14:53 hanease 阅读(10975) 评论(0) 推荐(1)

公告