摘要：
Meta AI在2022年5月3日新发布的OPT-175B模型，该模型是现阶段第一个模型参数超过千亿级别的开放模型，其次该模型与GPT-3相比，更加开放及便于访问。 具体开放性表现在如下几个方面： 1. 论文: 提供了某些能力是可能的存在证明，并揭示可以建立在此基础上的一般思想 2. API访问 阅读全文
摘要：
1. 背景 (1) 业务方提供了一台有GPU的服务器，且已经安装了显卡等组件，cuda版本10.2，具体信息如下 (2) 在裸机上部署anaconda、pytorch、tensorflow较为麻烦，因此打算在docker中执行pytorch和tensorflow任务 2. 部署及使用 2.1 先决条 阅读全文
摘要：
1. 背景 DBA同事反馈说Mongp集群磁盘占用空间过大，超过监控告警95%阈值，因此建议删除部分资源或者申请扩容，本着开源节流的理念，还是乖乖看哪些老数据应该删除。但Mongo中的库和表过多，因此如何进行统计？ 2. MongoDB库表占用空间统计 其实，MongoDB中库表的占用空间统计方式N 阅读全文
摘要：
1. 背景 (1) 客户反映es查询只能返回10000个数据，而需求时返回1.9W个数据，因此需要设置对应索引的默认返回数index.max_result_window (2) 给客户部署的服务以docker-compose启动，其配置文件docker-compose.yml文件如下，其中es版本为 阅读全文
摘要：
1. 背景 业务方的服务器经安全检查，发现以docker容器启动的mongo未增加鉴权的漏洞，随优化之 2. 配置 mongo以docker compose方式启动，镜像的版本号为4.2.6，docker-compose.yml配置文件内容如下： version: '2' services: mon 阅读全文
摘要：
1. 基本数据类型 对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT 阅读全文
摘要：
本文的安装版本为Hive 3.1.2，且安装为单节点。 1. 安装参考及注意事项 (1) 官网：http://hive.apache.org/ (2) 上篇博客：Hadoop 3.1.3伪分布式环境安装Hive 3.1.2的异常总结 2. 常见属性配置 (1) Hive数据仓库位置 1) defau 阅读全文
摘要：
1. 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数 阅读全文
摘要：
背景：hadoop版本为3.1.3, 且以伪分布式形式安装，hive版本为3.1.2，hive为hadoop的一个客户端。 1. 安装简要步骤 (1) 官网下载apache-hive-3.1.2-bin.tar.gz，并解压缩 (2) 进入conf配置文件夹，将hive-env.sh.templat 阅读全文
摘要：
本文参考： a. https://www.jianshu.com/p/c46bfaa5dd15 1. shuffle及历史简介 shuffle，即"洗牌"，所有采用map-reduce思想的大数据计算框架的必经及最重要的阶段。顾名思义，其处于map与reduce之间，可分为2个子阶段： a. shu 阅读全文