摘要：
前言： 都知道，小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。 Big Data Tools安装： 1. 阅读全文
阅读排行榜
MySQL如何做如等级/成色等特殊顺序的排序
2020-12-17 09:53 by 北桥苏, 296 阅读, 收藏,
摘要：
前言： 在涉及商品类的项目时，为了给同一类商品定位，往往会分等级或者成色。而等级/成色有时是用类似A，A+，A+1，K，L1，L2等英文与数字的组合进行表述。既然是等级，自然就会区分高等级，低等级。有高有低，又给商品定了等级，所以到了商品列表展示，等级排序自然少不了。 项目在开始做的时候关于商品等级 阅读全文
搜索接口优化方案——幂集分词表
2020-08-28 15:35 by 北桥苏, 287 阅读, 收藏,
摘要：
前言： 在业务开发中，有一些面向C端的搜索接口。比如根据商品名搜索，之前也提过通过ES解决，但这次主要以一种较为简单快捷的方式优化搜索速度。 思路： 1. 通过程序将所有商品名进行分词并幂集组合。2. 将所有商品名称幂集存入一张单独的表中。3. 每个分词对应一个商品ID。4. 搜索关键词对幂集表的分 阅读全文
零成本 API 服务搭建，用 GitHub Actions 自动爬取文章？
2024-08-17 10:50 by 北桥苏, 274 阅读, 收藏,
摘要：
前言 本着将成本降到最低，我目前做的应用或小程序都是单机的，也就是不用请求接口，只要一上架就没有任何支出。但是写死的数据毕竟有限，应用的内容单一无法紧跟时事热点，每次打开一个样，自然就没有留存。遇到有错字啥还要更新版本，那有没有方法既能丰富应用内容，又不用增加成本呢？ 既要又要，当然也有，找网上提供 阅读全文
Logstash同步MySQL关联表到Elasticsearch的嵌套文档中
2021-12-22 10:10 by 北桥苏, 255 阅读, 收藏,
摘要：
前言： 上一篇实践了通过Logstash同步MySQL的几张关联表到Elasticsearch中。为了实现同一种业务需求，嵌套文档在资源开销和查询速度上要优于父子文档（针对少量数据的情况）。所以以下就实践一下嵌套文档的基本使用和，以及Logstash如何同步一对多关系表到ElasticSearch的 阅读全文
浙公网安备 33010602011771号