ExplorerMan

摘要： saveAsHadoopFile 和 write.parquet 或 write.text 是 Apache Spark 中用于保存数据的不同方法，它们在功能、适用场景和底层实现上存在显著区别。以下是它们的对比和区别： 1. saveAsHadoopFile saveAsHadoopFile 是 S 阅读全文

摘要： 在 Apache Spark 中，write.parquet 和 write.text 是两种不同的数据写入方式，主要用于将数据保存到不同的文件格式中，以下是它们的主要区别： 1. 数据存储格式 Parquet： Parquet 是一种列式存储格式，专为大规模数据分析优化。 它支持复杂的数据结构（如 阅读全文

摘要： 阿里云Elasticsearch的AI搜索实践与探索近年来，Elasticsearch（简称ES）在AI领域的发展非常快。作为一名深耕ES领域近十年的研究者，我见证了ES的飞速发展，但像现在AI相关特性上如此快速的迭代，还是非常惊讶的，并意识到持续跟进AI技术的重要性，特别是在阿里云ES上，我们要去 阅读全文

摘要： 近日，北京智源人工智能研究院与中国人民大学高瓴人工智能学院联合推出基于长期记忆的下一代检索增强大模型框架MemoRAG，旨在推动RAG技术从仅能处理简单QA任务向应对复杂一般性任务拓展。MemoRAG提出“基于记忆的线索生成——基于线索指引的信息获取——基于检索片段的内容生成”这一全新的RAG模式， 阅读全文

摘要： 近年来，智能体（Agentic Systems）技术迅速发展，被广泛应用于多阶段任务和复杂问题的求解。然而，目前的评估方法却未能有效跟上技术发展的步伐，存在明显局限性： 仅关注最终结果现有方法往往仅关注智能体完成任务的最终结果，而忽略了其在任务过程中每一步的表现。这种“黑箱式”评估缺乏对任务中间过程 阅读全文

摘要： 1，背景 本文主要分析vLLM分离式架构原理。 关于大模型推理分离式架构，一直是今年讨论的一个热点，笔者之前针对该技术也做了一些总结。 手抓饼熊：大模型推理分离架构五虎上将301 赞同 · 16 评论文章 作为大模型推理最流行的框架之一，vLLM功能迭代非常的快。关于vLLM的一些个人理解，笔者之前 阅读全文

摘要： 引言： 在BERT时代，对于Reranker任务，我们使用encoder-only的BERT为基座，拼接query和doc输入到BERT中去，在使用CLS的向量通过一个MLP，得到得分来做Reranker任务。 在LLM出来之后，一个很自然的想法是，我们能否使用decoder-only的LLM来作为 阅读全文

摘要： 本文根据2024云栖大会实录整理而成，演讲信息如下： 演讲人： 邢少敏 | 阿里云智能集团高级技术专家 活动： 2024 云栖大会 - AI 搜索企业级 RAG 全链路优化关键技术 在2024云栖大会上，阿里云 AI 搜索研发负责人之一的邢少敏先生带领大家深入了解如何利用 RAG 技术优化决策支持、 阅读全文

摘要： 在Hive中，to_json和to_json_string是用于将复杂数据类型（如结构体、数组、映射等）转换为JSON格式字符串的函数。它们的主要区别在于实现和使用场景上。以下是两者的对比和说明： to_json 功能：将Hive中的复杂数据类型（如struct、array、map等）转换为JSON 阅读全文

摘要： collect_list 和 collect_set 是 Hive 中用于聚合数据的两个常用函数，它们的主要区别在于是否去除重复值以及结果的顺序性。以下是它们的详细对比： 1. 功能区别 collect_list： 功能：将指定列的所有值（包括重复值）收集到一个数组中。 特点：保留所有值，不进行去重 阅读全文