摘要： 在Hive中，to_json和to_json_string是用于将复杂数据类型（如结构体、数组、映射等）转换为JSON格式字符串的函数。它们的主要区别在于实现和使用场景上。以下是两者的对比和说明： to_json 功能：将Hive中的复杂数据类型（如struct、array、map等）转换为JSON 阅读全文

摘要： collect_list 和 collect_set 是 Hive 中用于聚合数据的两个常用函数，它们的主要区别在于是否去除重复值以及结果的顺序性。以下是它们的详细对比： 1. 功能区别 collect_list： 功能：将指定列的所有值（包括重复值）收集到一个数组中。 特点：保留所有值，不进行去重 阅读全文

摘要： 在Hive中，named_struct和map函数都可以用来创建复杂的数据结构，但它们在功能和用途上有明显的区别。以下是两者的详细对比： 1. named_struct函数 功能：named_struct用于创建一个命名的结构体（struct），其中每个字段都有一个名称和值。 语法： sql复制 n 阅读全文

摘要： 转：https://mp.weixin.qq.com/s/gDtzzSRunUrKjoIUGSHCvA传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！ Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。 这个项目被作者叫做MakeMo 阅读全文

摘要： evaluation-guidebook https://github.com/huggingface/evaluation-guidebook 如果您想知道如何确保 LLM 在您的特定任务上表现出色，本指南适合您！它涵盖了评估模型的不同方法、设计您自己的评估的指南以及来自实践经验的技巧和窍门。 H 阅读全文

摘要： 1、concat_ws()函数和concat()函数的拼接使用极其区别 1.1区别 concat()：函数在连接字符串的时候，只要其中一个是NULL，那么将返回NULL 执行代码： select concat('a','b',null); 执行结果： NULL concat_ws()：函数在连接字符 阅读全文

摘要： 大约一年前，2023 年 10 月，我们推出了全球首个支持 8K 上下文长度的开源 Embedding 模型 —— jina-embeddings-v2-base-en。自此，长文本在 Embedding 模型中的应用引发了广泛讨论和争议。 信息压缩问题：将数千字的长文本编码为单一 Embeddin 阅读全文

摘要： 背景在人工智能快速发展的今天，大语言模型已经成为了人工智能的研究热点。其中，通义千问（Qwen）大模型系列凭借其强大的语言理解和生成能力，吸引了开源社区越来越多的关注。随着这些模型的应用场景不断扩大，如何提高它们的运算效率，降低部署成本，成为了一项重要的课题。知识蒸馏作为一种有效的模型压缩技术，通过 阅读全文

摘要： 大语言模型（Large Language Models, LLMs）的部署是一项具有技术挑战性的工作。随着模型架构日益复杂，以及硬件需求不断提升，部署过程变得愈发复杂。业界已经发展出多种解决方案，使LLM的部署和扩展变得更加便捷。从适用于个人开发的轻量级本地部署工具，到面向企业级高性能生产环境的推理 阅读全文

摘要： 背景介绍 最近抽空参与 CCF 的 RAG 比赛，系统性对 RAG 检索中多种多样的检索优化方案进行了测试和对比，也发现了不少之前没有注意到的优化细节。从目前的实践来看，比赛确实是一个绝佳策略测试场所，很公平地对不同的优化方案进行了客观比较。实践中不时会发现直观感觉很有效的策略不生效，有些看起来平平 阅读全文