摘要: Nginx是一款开源的高性能HTTP服务器和反向代理服务器,用于处理静态内容,维护持久连接,以及提供第七层负载均衡器支持。以下是Nginx的一些主要特性: 静态内容服务:Nginx可以处理静态内容,如HTML,图片,CSS,JavaScript等。 反向代理:Nginx可以作为代理服务器接收客户端请 阅读全文
posted @ 2024-05-08 16:14 ReturnHome 阅读(88) 评论(0) 推荐(0)
摘要: 中间件是指位于操作系统和应用程序之间的软件层。它们提供了一种通信机制,使不同的应用程序或系统能够相互交互和协作。中间件可以按照不同的标准进行分类。 常见的中间件分类包括: 1. 消息队列中间件:用于在应用程序之间进行异步消息传递。消息队列中间件包括RabbitMQ、Apache Kafka、Acti 阅读全文
posted @ 2024-05-08 16:09 ReturnHome 阅读(5588) 评论(0) 推荐(1)
摘要: Kafka是一个分布式流处理平台,被广泛用于构建实时数据管道,允许你从不同的数据源获取数据,然后在系统之间实时传输数据。 Kafka的主要特性包括: 分布式:Kafka可以在多台机器上部署,可以处理超过1PB的数据。 高吞吐:Kafka每秒可处理数百万条消息。 可持久化:Kafka将所有消息存储在硬 阅读全文
posted @ 2024-05-08 16:06 ReturnHome 阅读(66) 评论(0) 推荐(0)
摘要: 一、Redis概述 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提 阅读全文
posted @ 2024-05-08 16:04 ReturnHome 阅读(60) 评论(0) 推荐(0)
摘要: 一、什么是mq? MQ全称 Message Queue(消息队列),是在消息的传输过程中保存消息的容器。多用于分布 式系统之间进行通信。 二、mq的优缺点? 优点: 1.应用解耦: 降低系统之间的耦合,提高系统的可维护性。 2.异步提速: 可以系统的吞吐量。 3.削峰填谷: 可以提高系统的稳定性。 阅读全文
posted @ 2024-05-08 15:53 ReturnHome 阅读(116) 评论(0) 推荐(0)
摘要: 数据建模简单来说就是基于对业务的理解,将各种数据进行整合和关联,并最终使得这些数据可用性,可读性增强,让使用方能快速的获取到自己关心的有价值的信息并且及时的作出响应,为公司带来效益。 数据建模是一套方法论,主要是对数据的整合和存储做一些指导,强调从各个角度合理的存储数据。有了合适的数据模型,是会带来 阅读全文
posted @ 2024-05-08 15:46 ReturnHome 阅读(71) 评论(0) 推荐(0)
摘要: 规范性:数据内容、命名、格式、取值等规范统一。如时间信息都以yyyy-mm-dd格式存储,或者“性别”属性中,应使用“M”、“F”表示,还是用“1”,“0”表示,还是用“男”、“女”表示。完整性:数据完整、没有缺失(包括看得见的缺失和看不见的缺失)。如人员信息完整涵盖性别、年龄等,或者身份证号码不能 阅读全文
posted @ 2024-05-08 15:45 ReturnHome 阅读(255) 评论(0) 推荐(0)
摘要: Apache Spark是专门为大数据处理而设计的通用的计算引擎。spark拥有MapReduce所具有的优点,但不同于Map Reduce的是Job中间输出结果可以缓存到内存中,从而不再需要读写HDFS,减少磁盘数据交互,因此Spark能更好的适应机器学习和数据挖掘等需要迭代的算法。 Spark提 阅读全文
posted @ 2024-01-17 09:14 ReturnHome 阅读(44) 评论(0) 推荐(0)
摘要: 下面我们以列表为例来介绍下Python的切片操作 一.切片 一个完整的切片表达式包含两个:,用于分割列表参数,写法如下: list[start_index:end_index:step]1start_index:起始位置end_index:结束位置step:步进,为正数的时候表示从前向后,负数表示从 阅读全文
posted @ 2024-01-17 09:13 ReturnHome 阅读(56) 评论(0) 推荐(0)
摘要: 一。Flink和Spark一样,是一个大数据处理引擎。主要区别在于Flink做的是流处理,Spark做的是批处理。 二。Flink处理的是无界的和有界的数据流,做有状态的计算。Flink 设计旨在所有常见的集群环境中运行,以任意规模和内存级速度执行计算。 三。Flink 具有以下几个特点: 支持流处 阅读全文
posted @ 2023-12-05 11:02 ReturnHome 阅读(167) 评论(0) 推荐(0)