2023年8月27日

如何做LLM微调

摘要: Q1; 如何测量验证模型准确度,是否有公开的测试数据集 用什么样的训练数据? https://zhuanlan.zhihu.com/p/645037756 训练全流程:https://zhuanlan.zhihu.com/p/643611622 github/lit-llama.git 可以做lor 阅读全文

posted @ 2023-08-27 14:53 IT老友 阅读(181) 评论(0) 推荐(0) 编辑

2023年7月1日

python开发入门

摘要: python开发很简单,但环境问题很讨厌。需要搞定各种包scikit-learn,tensorflow,pytorch, pandas,numpy 1. 如果遇到超时错误,可通过指定镜像站的方式来搞定,tsinghua站基本都能搞定 732 pip3 install baostock 843 pip 阅读全文

posted @ 2023-07-01 17:52 IT老友 阅读(12) 评论(0) 推荐(0) 编辑

2023年6月29日

Bash脚本编写

摘要: 注意事项: 1. 赋值不能有空格 name=13 2. 判断语句 【】前后要有空格 3. ``和$()效果一样 4. 执行命令会fork 子shell,所以要加上足够长的sleep,确保上一个子shell退出 log(){ lvl=$1 msg=$2 current_date=$(date +"%Y 阅读全文

posted @ 2023-06-29 11:43 IT老友 阅读(10) 评论(0) 推荐(0) 编辑

2023年6月27日

绿色无安装-开发环境搭建

摘要: 公司电脑安装软件需要走申请流程,因此整理了绿色开发环境搭建 1. openjdk https://jdk.java.net/22/ 下载zip 2. maven https://dlcdn.apache.org/maven 3. vscode https://code.visualstudio.co 阅读全文

posted @ 2023-06-27 11:46 IT老友 阅读(17) 评论(0) 推荐(0) 编辑

2023年6月9日

从微软 Integration RunTIme学到的设计思路

摘要: 首先在云上服务添加一个runtime条目,生成一个key: 里面包含云上服务地址和客户端RUNTIME的ID 在云下安装runtime时,只需要输入key, 则runtime会根据里面的信息连接到云上服务,并注册自己 在云上即可使用该RUMTIME配置各种采集信息 RUNTIME从云上服务拉取各种配 阅读全文

posted @ 2023-06-09 09:43 IT老友 阅读(12) 评论(0) 推荐(0) 编辑

2023年5月23日

代码修改的git命令提交过程

摘要: 1. 首先,克隆远程仓库到本地: ``` git clone ``` 2. 进入本地仓库目录: ``` cd ``` 3. 创建并切换到一个新分支: ``` git checkout -b ``` 4. 修改代码并保存更改。 5. 添加修改后的文件到暂存区: ``` git add ``` 6. 提 阅读全文

posted @ 2023-05-23 09:47 IT老友 阅读(132) 评论(0) 推荐(0) 编辑

2023年5月20日

数据梳理项目的几个步骤

摘要: 数据梳理项目通常包括以下几个步骤: 1. 数据收集:收集项目涉及的各种数据源,了解数据的来源、格式和内容。 2. 数据审查:对收集到的数据进行审查,识别数据质量问题,如缺失值、异常值、不一致性等。 3. 数据清洗:根据审查结果,对数据进行清洗,纠正错误、填补缺失值、消除重复等,以提高数据质量。 4. 阅读全文

posted @ 2023-05-20 22:34 IT老友 阅读(198) 评论(0) 推荐(0) 编辑

应用系统项目开发过程总结

摘要: 一 调研阶段 a. 需求调研:在项目开始之前,需要对目标用户进行调查,了解他们的需求和期望。这包括与潜在用户进行访谈、收集反馈和数据分析等。 b. 环境调研:目前系统功能,版本,技术类型,接口情况,网络环境,系统环境 c. 技术调研:预期本项目涉及到的新技术,安排人开始熟悉引入 d. 开发环境准备: 阅读全文

posted @ 2023-05-20 11:46 IT老友 阅读(30) 评论(0) 推荐(0) 编辑

数据治理之各类数据概念

摘要: 1. 元数据(Metadata):元数据是关于数据的数据,用于描述、管理和组织其他数据。元数据可以包括:数据的来源、创建时间、格式、数据质量等信息。元数据有助于数据治理过程中的数据分类、数据质量管理和数据安全性。 2. 主数据(Master Data):主数据是描述核心业务实体的关键数据,如客户、产 阅读全文

posted @ 2023-05-20 11:06 IT老友 阅读(235) 评论(0) 推荐(0) 编辑

2023年5月9日

how to configure blackbox.yml

摘要: 点击查看代码 modules: http_2xx: prober: http http: follow_redirects: true http_post_2xx: prober: http http: method: POST follow_redirects: true headers: Con 阅读全文

posted @ 2023-05-09 16:18 IT老友 阅读(21) 评论(0) 推荐(0) 编辑

导航