Lex个人随想乡

摘要： # BASE模型 模型大小：15.5B 训练数据量：800GB (1T token) 硬件资源：512张 Tesla A100 训练时长：24天 # 微调模型 微调模型：ZeRO-3 硬件资源：8张 Tesla A100 训练时长：3小时 # 有用链接 https://github.com/bigc 阅读全文

摘要： ``` # Byte-compiled / optimized / DLL files __pycache__/ *.py[cod] *$py.class # C extensions *.so # Distribution / packaging .Python build/ develop-eg 阅读全文

摘要： # StarCoderBase HF: https://huggingface.co/bigcode/starcoderbase Training dataset: [The Stack v1.2](https://huggingface.co/datasets/bigcode/the-stack) 阅读全文

摘要： # 一句话需求 用户需要搜索附近的酒店 # 简单调研后整理出User Story 我是谁？**As a** 已登录用户 我的诉求是？**I want to** 搜索附近5km的酒店 我的原始目的是？**So that** 能够在出行时解决住宿问题 # 和程序员对齐验收标准 **Given** 用户已 阅读全文

摘要： # 思路 在一台在线的机器上安装一个独立的conda环境，然后把环境所在目录打包、传给离线机器 # 准备 两台机器都安装了conda # 步骤 ## 安装 python 3.8.3 的独立conda环境 ```bash conda create -n --copy python=3.8 ``` ## 阅读全文

摘要： 定义BaseLogger：base_logger.py # -*- coding: utf-8 -*- import sys import logging import logging.handlers from typing import Union from cfg.common import 阅读全文

摘要： 找到虚拟环境的requests.session类定义并修改verify=False venv/lib/python3.11/site-packages/requests/sessions.py class Session(SessionRedirectMixin): def __init__(sel 阅读全文

摘要： 经典协同过滤 假设行为相似的用户有着相似的偏好，根据大量用户user的行为反馈识别用户群体的感兴趣的内容item并推荐，通常使用用户内容矩阵（User-Item Interaction Matrix）来表示。 显式反馈（打分） 能够明确反应出用户对内容的喜好程度，但数据获取难度高，数据量小。 隐式反 阅读全文

摘要： 对齐与能力 能力（Capability）：模型完成一些特定任务的能力。 未对齐（misalignment）：模型在训练集上表现很好，但在测试集上表现很差。说明模型有能力学习，但训练设定的目标不对^1。 类似初版的GPT-3这类大模型，已经在大量的数据上训练过，也能够生成人类语言，但无法生成人类期望的 阅读全文

摘要： GPT系列模型的历史 GPT-1 Paper 关键研究成果 将transformer架构与无监督的预训练结合，相较于之前的语言模型将有非常大的提升； 基于预训练之后的模型针对一个小任务进行微调（fine-tune），将凸显出比较强的自然语言理解能力； GPT-2 Paper 关键研究成果 新增多任务 阅读全文