摘要：前言： 周末空闲时间无意找到了一套个性化推荐的源码，整体项目运用了SSH，HDFS，Flume，Hive，Kafka，Spark，Scala等。运行时，本来通过spark计算业务埋点数据时，却发现本地没有Kafka。因为我一直也没使用过Kafka，所以也作为新人，浅谈以下Kafka的环境安装与分别在 阅读全文
最简单的canal 1.1.6服务搭建方法
2022-03-31 16:21 by 北桥苏, 510 阅读, 0 推荐, 收藏,
摘要：作为增量数据消费，应用与各种场景都有与之对应领域比较好的工具。比如上面的Logstash和filebeat虽都同属于Elastic但也截然不同，更别说flume等等工具。我选择canal的原因是他有适配器，只要是MySQL同步场景，对面是一个能储存的都可以，比如文件，队列，数据仓库，ES等等都可以 阅读全文
windows下Hive搭建踩坑汇总
2022-02-21 09:54 by 北桥苏, 580 阅读, 0 推荐, 收藏,
摘要：前言： Hive是一个基于Hadoop的数据仓库工具，以一种类SQL的HQL语句操作Hadoop数据仓库(HDFS等)。所以本地windows安装前需要先搭建Hadoop。前面文章已经大概介绍了环境搭建和踩坑汇总，所以这里也依旧只是介绍基础的安装方法。因为关于Hive的安装，网上其实有很多文章，这里 阅读全文
Windows下hadoop环境搭建之NameNode启动报错
2022-02-16 09:47 by 北桥苏, 1068 阅读, 0 推荐, 收藏,
摘要：前言： 因为平时工作和日常接触到的大都是的中型项目，所以少有个性化推荐等涉及大数据的功能。但是后期应该也会在自己项目中添加信息推荐模块，所以就开始关注spark，hadoop，Thrift等工具，以下就以hadoop先开始，包括环境搭建和配置过程中踩坑过程。 关于hadoop的环境搭建，网上也有各种 阅读全文
由Elasticsearch7.8评分脚本引起的一个索引迁移解决方法
2022-01-06 10:42 by 北桥苏, 72 阅读, 0 推荐, 收藏,
摘要：前言： 为了实践一下ElasticSearch的自定义相关度评分，使用了Expression脚本。但是在执行过程中却报错了，最后通过修改索引映射，添加别名和同步旧索引数据得以解决，所以以下也围绕这几项问题展开。 涉及知识： 索引映射修改 索引别名使用 重建索引 相关度评分 问题： 1. 评分脚本执行 阅读全文
Logstash同步MySQL关联表到Elasticsearch的嵌套文档中
2021-12-22 10:10 by 北桥苏, 245 阅读, 0 推荐, 收藏,
摘要：前言： 上一篇实践了通过Logstash同步MySQL的几张关联表到Elasticsearch中。为了实现同一种业务需求，嵌套文档在资源开销和查询速度上要优于父子文档（针对少量数据的情况）。所以以下就实践一下嵌套文档的基本使用和，以及Logstash如何同步一对多关系表到ElasticSearch的 阅读全文
Logstash同步MySQL一对多关联表到Elasticsearch父子文档
2021-12-20 20:07 by 北桥苏, 522 阅读, 0 推荐, 收藏,
摘要：前言： 目前大部分业务开发中，ElasticSearch主要还是用来做搜索。而支撑搜索功能的数据结构比较单一，不会有数据嵌套或者多种关联之类的。尽管没有，但是有些小众需求可能还会有一对多查询的场景。为了实现和MySQL的Join类似的查询方式，以下以ES的父子文档方式储存，并详细演示Logstash 阅读全文
Logstash如何批量同步MySQL多表到ElasticSearch
2021-12-08 09:51 by 北桥苏, 639 阅读, 0 推荐, 收藏,
摘要：前言： 上一篇文章也简单的介绍了Logstash同步MySQL到ElasticSearch。批量同步虽说就配置文件不一样，但是实际操作的时候，也还会遇到不少的问题，比如reader不允许特殊字符(0x0)等等。下面也主要以几个问题来演示批量同步的过程，以及启动命令时如何排查报错的方法。 批量同步配置 阅读全文
如何通过Logstash将MySQL数据同步到ElasticSearch
2021-12-06 09:21 by 北桥苏, 468 阅读, 0 推荐, 收藏,
摘要：前言： 最近又重新在看ElasticSearch的文档，发现那些DSL语法全都忘记了，所以准备写一个用ES做储存的demo小项目。其实是用DSL代替之前项目的SQL，但是数据以及一些字段还是需要，所以就需要将以前的MySQL数据导入到ElasticSearch中。 以前的做法是写一个脚本，通过创建索 阅读全文
PHP实现的7组经纬度与距离的计算函数
2021-11-01 20:01 by 北桥苏, 403 阅读, 0 推荐, 收藏,
摘要：一. 根据当前位置计算四周的经纬度 /** * 根据当前位置计算四周的经纬度 * @param $lng * @param $lat * @param float $distance * @return array */ function returnSquarePoint($lng, $lat, 阅读全文
浙公网安备 33010602011771号