随笔分类 -  黑马头条

摘要:流式计算:是可以源源不断的产生数据,源源不断的接收数据,没有边界。 应用场景: 日志分析:网站的用户访问日志进行实时的分析,计算访问量,用户画像,留存率等等,实时的进行数据分析,帮助企业进行决策 大屏看板统计:可以实时的查看网站注册数量,订单数量,购买数量,金额等。 公交实时数据:可以随时更新公交车 阅读全文
posted @ 2023-07-13 17:10 佛系粥米 阅读(34) 评论(0) 推荐(0)
摘要:(1)在xxl-job-admin中新建执行器和任务 新建执行器:leadnews-hot-article-executor 新建任务:路由策略为轮询,Cron表达式:0 0 2 * * ? 每天凌晨2点 (2)leadnews-article中集成xxl-job 导入依赖、config、修改nac 阅读全文
posted @ 2023-07-13 17:03 佛系粥米 阅读(25) 评论(0) 推荐(0)
摘要:需求:为每个频道缓存热度较高的30条文章优先展示 断文章热度较高的标准是什么?文章:阅读,点赞,评论,收藏 package com.heima.article.service.impl; import com.alibaba.fastjson.JSON; import com.heima.apis. 阅读全文
posted @ 2023-07-13 15:12 佛系粥米 阅读(23) 评论(0) 推荐(0)
摘要:从数据库直接按照发布时间倒叙查询 问题1:访问量较大,直接查询数据库,压力较大 问题2:新发布的文章会展示在前面,并不是热点文章 解决方案:把热点数据存入redis进行展示:点赞数量,评论数量,阅读数量,收藏数量 定时计算文章热度 实时计算文章热度 一、定时计算 根据文章的行为(点赞、评论、阅读、收 阅读全文
posted @ 2023-07-13 11:00 佛系粥米 阅读(62) 评论(0) 推荐(0)
摘要:一、点赞/取消点赞、不喜欢/取消不喜欢、阅读次数 数据都存在redis中的hashmap中,以(key,field,value)的形式,如key是behavior_like + articleId,field是userId,value存dto。 点赞/取消点赞 package com.heima.b 阅读全文
posted @ 2023-07-12 17:32 佛系粥米 阅读(38) 评论(0) 推荐(0)
摘要:用户行为: 1、用户行为数据的记录包括了关注、点赞、不喜欢、收藏、阅读等行为 黑马头条项目整个项目开发涉及web展示和大数据分析来给用户推荐文章,如何找出哪些文章是热点文章进行针对性的推荐呢?这个时候需要进行大数据分析的准备工作,埋点。 所谓“埋点”,是数据采集领域(尤其是用户行为数据采集领域)的术 阅读全文
posted @ 2023-07-11 17:21 佛系粥米 阅读(66) 评论(0) 推荐(0)
摘要:需求: 自媒体文章如果没有自动审核成功,而是到了人工审核(自媒体文章状态为3),需要在admin端人工处理文章的审核 平台管理员可以查看待人工审核的文章信息,如果存在违规内容则驳回(状态改为2,文章审核失败) 平台管理员可以查看待人工审核的文章信息,如果不存在违规,则需要创建app端的文章信息,并更 阅读全文
posted @ 2023-07-11 16:06 佛系粥米 阅读(115) 评论(0) 推荐(0)
摘要:需求: 在app端的个人中心用户可以实名认证,需要材料为:姓名、身份证号、身份证正面照、身份证反面照、手持照片、活体照片(通过**微笑、眨眼、张 嘴、摇头、点头**等组合动作,确保操作的为真实活体人脸。),当用户提交审核后就到了后端让运营管理人员进行审核。 平台运营端查看用户认证信息,进行审核,其中 阅读全文
posted @ 2023-07-11 15:57 佛系粥米 阅读(85) 评论(0) 推荐(0)
摘要:敏感词——增删改查 package com.heima.wemedia.service.impl; import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper; import com.baomidou.mybati 阅读全文
posted @ 2023-07-10 15:50 佛系粥米 阅读(52) 评论(0) 推荐(0)
摘要:对频道进行增删改查,在admin网关中增加leadnews-media路由 package com.heima.wemedia.service.impl; import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper 阅读全文
posted @ 2023-07-10 15:08 佛系粥米 阅读(54) 评论(0) 推荐(0)
摘要:一、网关搭建 (1)如果是登录请求则放行/login (2)其它请求则获取token判断是否存在、是否过期 (3)token不存在或者过期则返回未授权结果。未过期则从token中获取用户信息存入header然后放行 package com.heima.admin.gateway.filter; im 阅读全文
posted @ 2023-07-10 09:58 佛系粥米 阅读(55) 评论(0) 推荐(0)
摘要:需求分析:根据用户输入的关键字展示联想词 搜索词-数据来源 通常是网上搜索频率比较高的一些词,通常在企业中有两部分来源: 第一:自己维护搜索词 通过分析用户搜索频率较高的词,按照排名作为搜索词 第二:第三方获取 关键词规划师(百度)、5118、爱站网 package com.heima.search 阅读全文
posted @ 2023-07-09 15:31 佛系粥米 阅读(243) 评论(0) 推荐(0)
摘要:/** * 删除历史记录 * * @param dto * @return */ @Override public ResponseResult delUserSearch(HistorySearchDto dto) { //1、检查参数 if(dto.getId() == null){ retur 阅读全文
posted @ 2023-07-09 11:10 佛系粥米 阅读(110) 评论(0) 推荐(0)
摘要:/** * 查询搜索历史 * * @return */ @Override public ResponseResult findUserSearch() { //获取当前用户 ApUser user = AppThreadLocalUtil.getUser(); if(user == null){ 阅读全文
posted @ 2023-07-09 10:58 佛系粥米 阅读(208) 评论(0) 推荐(0)
摘要:一、实现思路 输入关键字——》搜索——异步请求——》记录关键字 【异步请求保存关键字,让用户快速看到搜索结果,等待时间更短】 保存——>查询搜索记录——存在——更新到最新时间 不存在——搜索记录的数量是否超过10——没超过则直接保存,超过则替换最后一条数据即时间最久 二、实现步骤 1、搜索微服务集成 阅读全文
posted @ 2023-07-08 17:52 佛系粥米 阅读(194) 评论(0) 推荐(0)
摘要:一、需求说明 展示用户的搜索记录10条,按照搜索关键词的时间倒序 可以删除搜索记录 保存历史记录,保存10条,多余的则删除最久的历史记录 二、数据存储说明 用户的搜索记录,需要给每一个用户都保存一份,数据量较大,要求加载速度快,通常这样的数据存储到mongodb更合适,不建议直接存储到关系型数据库中 阅读全文
posted @ 2023-07-07 20:42 佛系粥米 阅读(60) 评论(0) 推荐(0)
摘要:文章微服务异步调用生成静态文件,上传到minIO之后发送消息到MQ,因为创建索引需要staticurl。 注:倘若创建索引失败,追踪es日志,同样可能是因为磁盘使用率超出阈值,es变为只读,无法添加,因此也无法查询到 package com.heima.article.service.impl; i 阅读全文
posted @ 2023-07-07 17:10 佛系粥米 阅读(11) 评论(0) 推荐(0)
摘要:文章搜索:用户在app端输入关键字,搜索文章。 一、ElastcSearch环境搭建 (1)拉取ElasticSearch镜像 docker pull elasticsearch:7.4.0 (2)创建ElasticSearch容器 docker run -id --name elasticsear 阅读全文
posted @ 2023-07-07 15:59 佛系粥米 阅读(29) 评论(0) 推荐(0)
摘要:需求分析: 已发表且已下架的文章可以上架 已发表且已上架的文章可以下架 自媒体端点击上架下架按钮: 上架下架——>根据id查询文章——>文章是否存在:否结束,是——文章是否发布——>否结束,是——修改自媒体文章状态enable app移动端:自媒体端发送请求到kafka,参数文章的articleId 阅读全文
posted @ 2023-07-06 22:01 佛系粥米 阅读(65) 评论(0) 推荐(0)
摘要:目前springboot整合后的kafka,因为序列化器是StringSerializer,这个时候如果需要传递对象可以有两种方式 方式一:可以自定义序列化器,对象类型众多,这种方式通用性不强。 方式二:可以把要传递的对象进行转json字符串,接收消息后再转为对象即可,本项目采用这种方式 JSON. 阅读全文
posted @ 2023-07-06 19:21 佛系粥米 阅读(310) 评论(0) 推荐(0)