littlesuccess - 博客园

公告

2024年2月19日

书生开源大模型训练营-第1讲-笔记

摘要： 1、大模型是发展AGI的重要途径过去20年研究的是专用模型，最近两年，倾向一个模型解决多个任务 2、书生开源大模型的发展历程 3、书生模型的体系：轻量级7b, 中级20b, 重量级123b 4、书生模型的性能： 4、大模型应用：智能客服、个人助手、行业应用 5、从模型到应用 6、书生开源体系：阅读全文

posted @ 2024-02-19 19:00 littlesuccess 阅读(73) 评论(0) 推荐(0)

书生开源大模型训练营-第6讲-作业

摘要：基础作业使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能进阶作业使用 OpenCompass 评测 InternLM2-Chat-7B 模型使用 LMDeploy 0.2.0 部署后在 C-Eval 数据集上的性能基础作业截图：阅读全文

posted @ 2024-02-19 18:24 littlesuccess 阅读(166) 评论(0) 推荐(0)

书生开源大模型训练营-第6讲-笔记

摘要： 1、模型评测的Why, What How?为什么要做模型评测，评测什么，以及怎样评测。 2、模型评测的Why? 用户：可以知道那个模型好，便于选择开发者：知道模型的能力边界，以便提升 3、What 知识、语言、推理长文本生成、Agent工具的使用能力情感、认知垂直领域：如医疗 4、How 基阅读全文

posted @ 2024-02-19 16:46 littlesuccess 阅读(78) 评论(0) 推荐(0)

书生开源大模型训练营-第5讲-作业

摘要：基础作业：使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事（需截图）进阶作业（可选做）将第四节课训练自我认知小助手模型使用 LMDeploy 量化部署到 OpenXLab 平台。对internl 阅读全文

posted @ 2024-02-19 14:38 littlesuccess 阅读(96) 评论(0) 推荐(0)

2024年2月18日

书生开源大模型训练营-第5讲-笔记

摘要： 1、大模型部署的背景 a、大模型部署的挑战对设备的要求：存储大推理：生成token的速度、动态shape、内存管理服务：高并发下的吞吐量、单用户的响应时间 b、技术方案：模型并行、量化 Transfomer优化、推理优化 2、LMDeploy介绍 a、是在N卡上的全流程方案，包括轻量化、推理阅读全文

posted @ 2024-02-18 20:50 littlesuccess 阅读(77) 评论(0) 推荐(0)

书生开源大模型训练营-第4讲-作业

摘要：基础作业：构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称！微调前（回答比较官方）微调后（对自己的身份有了清晰的认知）作业过程如下 1、准备工作：阅读全文

posted @ 2024-02-18 12:59 littlesuccess 阅读(177) 评论(0) 推荐(0)

2024年2月17日

书生开源大模型训练营-第3讲-作业

摘要：提交方式：在各个班级对应的 GitHub Discussion 帖子中进行提交。基础作业：复现课程知识库助手搭建过程 (截图) 1 环境配置 1.1 InternLM 模型部署创建一个InternLM的虚拟环境，方法是从已有的internlm-base中克隆：输入命令： bash /root 阅读全文

posted @ 2024-02-17 18:37 littlesuccess 阅读(301) 评论(0) 推荐(0)

书生开源大模型训练营-第4讲-笔记

摘要： 1、FineTune简介 1.1、为什么要微调？大语言模型有各行各业的通用知识，但具体深入到某个领域，模型表现不尽如人意，需要微调 1.2、两种微调：增量预训练和指令微调 1.4、增量预训练：给模型投喂额外的特定领域的知识语料，模型在新的语料上继续学习训练。 1.5、指令微调：基座模型学习到到是在须阅读全文

posted @ 2024-02-17 08:49 littlesuccess 阅读(320) 评论(0) 推荐(0)

2024年2月16日

书生开源大模型训练营-第3讲-笔记

摘要： 1、大模型的局限性 a、知识只能截止到训练时间； b、垂直领域的专业能力有限； c、训练成本高，定制化成本高； 2、解决大模型局限性的两种思路RAG VS FT RAG：外挂一个知识库，通过检索得到文档，再将检索到文档和问题一起输入给大模型来生成答案。优点：成本极低、知识可更新；缺点：受限于基座大模阅读全文

posted @ 2024-02-16 22:06 littlesuccess 阅读(174) 评论(0) 推荐(0)

2024年2月14日

书生开源大模型-第2讲-作业

摘要：基础作业：使用 InternLM-Chat-7B 模型生成 300 字的小故事（需截图）熟悉 hugging face 下载功能，使用 huggingface_hub python 包，下载 InternLM-20B 的 config.json 文件到本地（需截图下载过程）。首先在自己的mac 阅读全文

posted @ 2024-02-14 08:14 littlesuccess 阅读(292) 评论(0) 推荐(0)

2024年2月13日

书生开源大模型训练营-第2讲笔记

摘要： 1 大模型及 InternLM 模型简介 1.1 什么是大模型？大模型=大语料+大算力+大模型参数大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。书读三遍，其义自见大模型的应用和发展也需要在性能、成本和道德等多个方面进行权衡和考量。 1.2 InternLM 模型全链条开源阅读全文

posted @ 2024-02-13 17:55 littlesuccess 阅读(312) 评论(0) 推荐(0)

2022年10月14日

如何写技术文档

摘要： https://docs.ranchermanager.rancher.io/zh/getting-started/introduction/what-are-divio-docs 阅读全文

posted @ 2022-10-14 10:31 littlesuccess 阅读(43) 评论(0) 推荐(0)

K8S and Rancher安装

摘要：节点1 安装dockersudo yum install -y yum-utils device-mapper-persistent-data lvm2sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/lin 阅读全文

posted @ 2022-10-14 10:29 littlesuccess 阅读(297) 评论(0) 推荐(0)

2022年2月8日

学习如何学习

摘要：如果我们想帮助人们改变，就不要拉他们，也不要推他们，而是和他们一起走。阅读全文

posted @ 2022-02-08 16:30 littlesuccess 阅读(45) 评论(0) 推荐(0)

2022年2月2日

【读书笔记】风控-大数据时代下的信贷风险管理和实践

摘要：第5章信贷分析信贷分析主要围绕着：客户是否有偿还能力，是否有偿还贷款意愿，第一还款来源是否稳定“展开信贷分析的四个原则：真实性原则现值原则审慎原则交叉验证原则大数据风控的核心是尽可能多的基于自身数据，而衍生出更多的指标来控制各种风险质押和抵押的根本区别在于是否转移担保财产的占有。抵阅读全文

posted @ 2022-02-02 10:37 littlesuccess 阅读(354) 评论(0) 推荐(0)

2017年1月18日

下载RDO OpenStack RPM

摘要：先把http://mirrors.163.com/centos/7.2.1511/cloud/x86_64/openstack-newton/目录下的rpm包整理到一个文件rpmlist.txt中，然后把common目录下的rpm整理到rpmlist-common.txt中用下面的命令把第一个文件阅读全文

posted @ 2017-01-18 17:21 littlesuccess 阅读(637) 评论(0) 推荐(0)

2016年3月26日

RHEL7修改swappiness

摘要： linux系统swappiness参数在内存与交换分区间优化 2014-08-14 10:24:19分类： Linux swappiness的值的大小对如何使用swap分区是有着很大的联系的。swappiness=0的时候表示最大限度使用物理内存，然后才是 swap空间，swappiness＝100 阅读全文

posted @ 2016-03-26 13:47 littlesuccess 阅读(449) 评论(0) 推荐(0)

2016年3月5日

2016年新年愿望

摘要：目标: 1.宝宝健康成长 2.跳槽：职业生涯能上一个台阶，能将技术和管理结合，同时发展两种能力 3.锻炼身体。减肥：从78.1到73 4.逐步转换到DataScientist的Career Path上来 5.再深入的完成一个企业级数据平台的从无到有的搭建以及迭代 6.经营自己在大数据领域的影响力 2 阅读全文

posted @ 2016-03-05 18:01 littlesuccess 阅读(168) 评论(0) 推荐(0)

2016年1月31日

Spark机器学习读书笔记-CH05

摘要： 5.2.从数据中提取合适的特征 [root@demo1 ch05]# sed 1d train.tsv > train_noheader.tsv[root@demo1 ch05]# lltotal 42920-rw-r--r-- 1 root root 21972457 Jan 31 15:03 t 阅读全文

posted @ 2016-01-31 17:38 littlesuccess 阅读(591) 评论(0) 推荐(0)

Spark机器学习读书笔记-CH04

摘要： [root@demo1 ch04]# spark-shell --master yarn --jars /root/studio/jblas-1.2.3.jar scala> val rawData = sc.textFile("hdfs://192.168.0.85:8020/user/root/ 阅读全文

posted @ 2016-01-31 15:05 littlesuccess 阅读(681) 评论(0) 推荐(0)

2016年1月24日

Spark机器学习读书笔记-CH03

摘要： 3.1.获取数据:wget http://files.grouplens.org/datasets/movielens/ml-100k.zip3.2.探索与可视化数据:In [3]:user_data=sc.textFile("file:///root/studio/MachineLearningW... 阅读全文

posted @ 2016-01-24 17:34 littlesuccess 阅读(356) 评论(0) 推荐(0)

2016年1月16日

用wget下载整个目录

摘要： wget -c -r -np -P files www.test.com/dir/src-c 断点续传-r 递归下载-np 不下载父附录-nd 不建立目录，若无此选项，将按照网站目录结构创建目录-P 将下载的所有内容存放到指定目录举例:wget -c -r -nd -np -k -L -A rpmh... 阅读全文

posted @ 2016-01-16 10:36 littlesuccess 阅读(6672) 评论(0) 推荐(0)

2016年1月10日

OpenLDAP安装

摘要：参考：http://54im.com/openldap/centos-6-yum-install-openldap-phpldapadmin-tls-%E5%8F%8C%E4%B8%BB%E9%85%8D%E7%BD%AE.html1.规划：用户：gongshaocheng,littlesucces... 阅读全文

posted @ 2016-01-10 21:10 littlesuccess 阅读(334) 评论(0) 推荐(0)

2016年1月7日

CentOS6.6 kickstart文件

摘要： # Kickstart file automatically generated by anaconda.#version=DEVELinstall#cdromurl --url http://192.168.0.81/centos6.6-image/lang en_US.UTF-8keyboard... 阅读全文

posted @ 2016-01-07 17:50 littlesuccess 阅读(436) 评论(0) 推荐(0)

2016年1月5日

pdsh使用

摘要：原文地址：http://bbs.chinaunix.net/thread-2002080-1-1.html当我们管理数以十计或者更多的集群系统时，往往需要在每台机器上执行同样的命令，或者拷贝同样的文件，这时，我们就可以考虑使用三个小工具，分别是pdsh、ClusterSSH和mussh。在Fed... 阅读全文

posted @ 2016-01-05 11:15 littlesuccess 阅读(3123) 评论(0) 推荐(0)

2016年1月4日

常用OpenLDAP命令

摘要： ldappasswd -x -D "cn=Manager,dc=clouderachina,dc=com" -W "uid=mis,ou=Group,dc=clouderachina,dc=com" -S{SSHA}uOnjzR+gknb0ATtVwK9bRsiV2fbOvlTyldapadd -x... 阅读全文

posted @ 2016-01-04 18:45 littlesuccess 阅读(378) 评论(0) 推荐(0)

2016年1月3日

机器学习实战-学习笔记-第十四章

摘要： 1.将代码拷贝到F:\studio\MachineLearningInAction\ch14下2.启动ipython3.在ipython中改变工作目录到F:\studio\MachineLearningInAction\ch14In [17]: cd F:\\studio\\MachineLearn... 阅读全文

posted @ 2016-01-03 15:47 littlesuccess 阅读(395) 评论(0) 推荐(0)

机器学习实战-学习笔记-第十三章

摘要： 1.通过Window10“所有应用”->"Anaconda(64bit)"->"Anaconda Command Prompt",启动pyhon，2.在Python REPL中输入脚本def loadDataSet(fileName, delim='\t'): fr = open(fileNa... 阅读全文

posted @ 2016-01-03 13:32 littlesuccess 阅读(633) 评论(0) 推荐(0)

2015年12月31日

增量数据和合并问题验证

摘要： 1.建立基表和增量测试数据[root@node1 delta_merge]# pwd/root/delta_merge[root@node1 delta_merge]# cat base.txt 1001,gongshaocheng1002,LIDACHAO[root@node1 delta_mer... 阅读全文

posted @ 2015-12-31 00:04 littlesuccess 阅读(1129) 评论(0) 推荐(0)

2015年12月28日

CentOS 6.4下PXE+Kickstart无人值守安装操作系统

摘要： http://www.cnblogs.com/mchina/p/centos-pxe-kickstart-auto-install-os.html 阅读全文

posted @ 2015-12-28 10:17 littlesuccess 阅读(199) 评论(0) 推荐(0)

2015年12月27日

RHEL6.6 PXE安装-基于VMWare WorkStation

摘要： ///////////第一部分：安装安装服务器1.先安装一台RHEL6.6的服务器A(地址为192.168.139.132)，作为安装服务器。这样后面的机器就可以指向这台服务器进行自动安装2.在A上安装http服务器3.将OS的文件拷贝到/var/www/html/rhel6.64.在A上安装cre... 阅读全文

posted @ 2015-12-27 17:14 littlesuccess 阅读(781) 评论(0) 推荐(0)

2015年12月25日

Centos配置SS5代理

摘要： wgethttp://heanet.dl.sourceforge.net/project/ss5/ss5/3.8.9-8/ss5-3.8.9-8.tar.gztar xvfss5-3.8.9-8.tar.gzcdss5-3.8.9-8.tar.gzyum install gcc automake a... 阅读全文

posted @ 2015-12-25 17:23 littlesuccess 阅读(726) 评论(0) 推荐(0)

2015年12月23日

清除Linux OS 缓存

摘要： 1.查看内存使用情况[root@ip-172-31-25-243 tpch_2_17_0]# free -m total used free shared buffers cachedMem: 34304 ... 阅读全文

posted @ 2015-12-23 17:27 littlesuccess 阅读(576) 评论(0) 推荐(0)

2015年12月16日

在CDH5.5.0上安装Phoenix1.2

摘要： 1.下载CLABS版本的PhoenixCLABS_PHOENIX-4.5.2-1.clabs_phoenix1.2.0.p0.774-el6.parcel和manifest.json文件2.将文件拷贝到http服务器的目录下/var/www/html/phoenix1.23.在CM中添加parcel... 阅读全文

posted @ 2015-12-16 22:19 littlesuccess 阅读(431) 评论(0) 推荐(0)

在CDH5.5.0上安装Kudu6.0

摘要： 1. 下载安装文件：a. CSD文件：KUDU-0.6.0.jarb. kudu parcel：KUDU-0.6.0-1.kudu0.6.0.p0.334-el6.parcel和manifest.json文件c. impala-kudu：IMPALA_KUDU-2.3.0-1.cdh5.5.0.p0... 阅读全文

posted @ 2015-12-16 22:14 littlesuccess 阅读(2974) 评论(0) 推荐(0)

2015年12月10日

HPL/SQL与CDH5.4.7集成

摘要： 1.下载hplsql-0.3.13到本地并解压2.修改plsql,为如下内容#!/bin/bashexport "HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/jars/*"export HADOOP_OPTS="$HADOOP_OPTS -Djava.lib... 阅读全文

posted @ 2015-12-10 13:23 littlesuccess 阅读(779) 评论(0) 推荐(0)

2015年12月6日

AAS代码运行-第4章

摘要： [root@node1 aas]# lsch02 ch03 spark-1.2.1-bin-hadoop2.4 spark-1.2.1-bin-hadoop2.4.tgz[root@node1 aas]# cd spark-1.2.1-bin-hadoop2.4[root@node1 spar... 阅读全文

posted @ 2015-12-06 10:51 littlesuccess 阅读(319) 评论(0) 推荐(0)

2015年12月5日

机器学习实战-学习笔记-第二章

摘要： 2.1节1.切换到工作目录2.在工作目录下新建一个python脚本文件kNN.py，内容如下:from numpy import *import operatordef createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0... 阅读全文

posted @ 2015-12-05 14:29 littlesuccess 阅读(1198) 评论(0) 推荐(0)

机器学习实战-学习笔记-第一章

摘要： Added C:\Anaconda and C:\Anaconda\Scripts to PATH.C:\Anaconda>pythonPython 2.7.10 |Anaconda 2.3.0 (64-bit)| (default, May 28 2015, 16:44:52) [MSC v.15... 阅读全文

posted @ 2015-12-05 08:05 littlesuccess 阅读(237) 评论(0) 推荐(0)

2015年12月3日

Spark高级数据分析中文版-读者交流

摘要：第二章：备注：1.本书第二章样例数据由于才有的是短链接，国内的用户可能无法下载。我把数据集拷贝到百度网盘上。大家可以从这个地方下载：http://pan.baidu.com/s/1pJvjHA7谢谢读者钱先生指出这个问题。2.P11，要记得设置log4j.properties文件，将日志级别改为WA... 阅读全文

posted @ 2015-12-03 19:10 littlesuccess 阅读(391) 评论(0) 推荐(0)