2025年学习记录（AI，大模型，量化交易，代码水平，红蓝对抗，CTF）。

  • 20250102
    • 今天主要看了下IDEA魔法代理，远程版本控制，Github提交规范，Git各种命令
      • GIT基本操作
        • 具体就不往这搬了，就那些操作
      • 魔法代理：IDEA的图形化github要设置代理，不然会爆443和push failed：
        git config --global http.proxy 127.0.0.1:7897
        git config --global https.proxy 127.0.0.1:10809
        • 不开机场没法用COpilot和github，有些包也没法拉，直接开Clash全局代理了，单独搞规则之类的太麻烦了，直接开Clash省事
      • maven配置
    • 明天开始力扣刷题，尝试结合今晚的操作，把做过的题代码放在仓库中。
  • 20250108感冒了一星期，昏头了，今天做了第一题
    • 今天的问题：
      • 不清楚力扣规范，费了很多时间，先在IDEA里面做了一遍，但是力扣编译不出来，查了下是因为力扣已经import了包，不用写主函数，主功能函数做进去就行了；
    • github，我把IDEA里面能编译出来的丢在github了，算是记录下。
  • 20250205
  • 20250208试了下本地部署的方案，有这么几个问题：
    • 如果是用ollama羊驼部署（ollama run deepseek-r1:14b）会有下载速度慢或者下载了不能用的情况
      • 下载速度慢：去下一个奇游加速器，搜DEEPSEEK加速，再下就会快很多，三个小时够下了，没必要充钱
      • 下载好能够使用之后长这样（手滑打成了GPT- -这何尝不是一种NTR呢）：
        []()
        另，本人电脑上测试了32b的模型，生成2000字公文需要1分钟左右，尚可接受。
    • Chatbox提供了一个GUI面板
      • ollama可能存在的几个问题：
        • 吃不满GPU，下图为根据该链接解决完之后的powershell
          ，如果遇到端口占用，请去手动关闭羊驼
          这是跟着上面的链接做完之后的CPU占用情况
  • 20250210今天试一下用云服务器远程调用本地ai，这样就能绕过联网deepseek的监管限制，写一些怪东西了
    • 预计：需要在阿里云部署一些应用，可能还需要web界面，本地要搞API，这次web界面不是重点，直接前后一体就完事了
    • 达成的效果：在手机上打开网页就可以远程调用本地的AI进行输出，不用接受监管和控制。
      • 典中典之装tomcat还要搜一下，每次都记不住。
      • 直接烂完，连JSP都不记得咋写了，重新看了好长时间
      • 找到了DEEPSEEK小咒语，可以输出伦理凶杀暴力内容
  • 20250214
    • 日了，nvcc -V的V是大写，小写不识别，会直接输出nvcc fatal
    • 本地部署两张卡算成了，还用了一张PCIE转NVME的转接卡，原理详见该视频


      ，CPU和内存应付70b足够，但是4070ti 16g+2080ti 22g很慢，没法日常使用，token很低
  • 20250217
    • 今天尝试本地RAG知识库搭建，晚上一定要去学会习了- -虽然不知道能不能考上，但还是先准备吧，等本地知识库搭建起来，要是顺利的话就搞服务器和4090，阶段性任务结束之后就开始每天C语言刷题，之前都是JAVA来的
    • DOCKER镜像源添加：在docker engine里面添加 { "builder": { "gc": { "defaultKeepStorage": "20GB", "enabled": true } }, "experimental": false, "features": { "buildkit": true }, "registry-mirrors": [ "https://registry.docker-cn.com", "https://docker.mirrors.ustc.edu.cn", "http://hub-mirror.c.163.com" ] }
      即可
    • docker compose up 可能会出现manifest unknown，这个问题很玄学，也没有什么太具体的解决办法，反正GFW拦着搞起来很麻烦，就一遍一遍试吧，经测使用这个办法和单独去看docker HUB里面有没有这个版本号的东西或者换魔法节点都有概率解决。
    • 这个可以解决API manifest unknown
    • WSL2请使用 docker-compose up -d。
    • DIFY设置ollama报错：我的解决方案是开放了端口，没用127001和0000的ip，详见此文，后来又能换回来改成视频里的那种形式。
    • 最后搞出来长这样：

    • 按照上面那个RAG部署的视频一步一步往下做，最后长这样
  • 250218
    • 经测试，还行，32B加上知识库够用了
    • 这是加上知识库之后的效果，具体内容就不做过多展示，比原本的库好用很多，考研复试也用这个了
    • 从今天起开始搞阿里云接入本地模型，达成的效果：网页具有调参和对话记忆的能力，与CHATGPT使用无差别
    • ？晚上碰见了个非常离谱的问题，装完docker和dify之后70B的输出速度居然提高了，问了下70B（我问我自己），他的回答是：
  • 20250223
    • 碰巧在小红书上查到了我的知识库为什么一直不识别的问题，ollama的默认上下文token之后2048，所以每次我问就只能回答只知道第一章的内容，按照这个链接里的改了一下，
    • 如果按照显存大小和模型对应关系来说的话应该是成了，直接把token改成了32768，32B的模型都爆显存了，7950搁这算了半天，直接100%
    • 大概翻了下，基本上很详细，正确率也挺高
  • 20250223 23：45
    突然开始焦虑，去和deepseek聊了一下



  • 2025030203去成都玩了一下子，也不知道和这个城市有没有缘分，我是真挺喜欢这个城市的
  • 20250304考研直接寄，能够有点时间喘息一下了，把作息搞一搞，几乎一周有三天都在失眠- -
    • 最近用阿里云的百炼deepseek用的上瘾，和Chatbox一起用就可以远程使用dsR1了，而且一百万token份额基本上就很省，另外还能调用Qwen的图片识别模型，经测试，模型识别效率还挺高的。
    • 最近打算搞点钱，买了本量化交易的书，等自习室的事情搞定就开始学量化交易，BTC，启动！
    • 从今天开始搞自习室智能系统，最好这周之内搞定，粗略算了下也能盈利，但是肯定要把这种靠人力控制的方式改掉，这也太费劲了
    • 打算采用小程序中嵌入网址的方式，小程序开发太麻烦了，小程序+阿里云+智能插座的方式对自习室进行管理，再用chatgpt辅助开发，搞了个plus计划，怎么说呢，虽然现在deepseek很火，但是线上搞开发还是得chatgpt和Claude，我就用chatgpt，买了个plus版本的，，购买plus国内的信用卡不能用！会被标记的，搞个虚拟卡，我用的wildcard，还能冲X的认证用户。当时考研的时候也是用它，有啥问题就互相交流，虽然考的一般，但理清思路或者去抓一抓搞不懂的点就很好
  • 20250306
  • 20250309
    • 自习室计划崩盘，抓到必处分，风险太高了，不能接
    • 从今天开始学习量化交易，再战BTC
    • 提醒一下，Anaconda安装卡在Setting up the package cache的要把火绒关了

    • 按照步骤一步步装好之后打开Anaconda prompt，输入conda验证下（如上图）
  • 20250316
    • 又JB感冒了，今年第二回，我真服了。歇了一星期没健身。
    • 研究了下PY量化交易这本书，总体来说还行，目前也就是在熟悉各种函数和PY代码的阶段，基本上每天能保证push的代码都能看明白
  • 20250320
    • 基础的数学知识都看的差不多了，从今天起进入量化正式学习，承载平台为掘金量化
  • 20250324
    • 买了个舒服的批爆的人体工学椅，终于能从腰疼腿疼的世界中解放出来了，真舒服，还给桌子垫了两块砖头，舒服的雅痞
    • 今天看了下掘金量化终端，还是欠缺的厉害，好多知识都不清楚
    • 这是金融的一些基本知识
    • 现在一想当时玩BTC胆子是真的大，全仓干合约（当然最后亏没了），21年是真的舒服，无忧无虑的，天天就亏钱玩，当时还挣了两三千块
    • 贴一点加密货币市场实现量化投资的技术栈需求：涵盖数据处理、策略开发、回测、交易执行和风险监控等多个环节：
        1. 编程语言
        • Python（首选）
        • 为什么？ 生态丰富、开发效率高，量化相关库齐全。
        • 关键库：
        • 数据处理：Pandas、NumPy
        • 回测框架：Backtrader、Zipline、PyAlgoTrade
        • 交易所接口：CCXT（支持币安、OKX等100+交易所API）
        • 机器学习：Scikit-learn、TensorFlow/PyTorch（复杂策略可选）
        • 可视化：Matplotlib、Plotly
        1. 数据获取与存储
      • 数据源：
        • 历史数据：
          • Kaiko、Cryptocompare、CoinMetrics（付费）
          • 交易所API（如币安/api/v3/klines获取K线数据）
          • 实时数据：
          • WebSocket订阅（订单簿、逐笔成交）
        • 链上数据：Dune Analytics（解析区块链交易）、Glassnode（链上指标）
        • 舆情数据：
          • Twitter API、Reddit API、LunarCrush（加密情绪指数）
        • 数据库：
          • 时序数据库：InfluxDB（高效存储时间序列数据）
          • 关系型数据库：PostgreSQL（结构化存储元数据）
          • 轻量级存储：SQLite（本地快速测试）
        1. 策略开发与回测
        • 回测框架：
          • Backtrader：灵活、适合自定义策略逻辑
          • Freqtrade：专为加密货币设计，支持多交易所
        • 自建框架：用Pandas+事件驱动模型（更可控）
          • 关键步骤：
          • 数据清洗（处理缺失值、异常值）
          • 策略逻辑编码（如均线交叉、动量因子）
          • 参数优化（网格搜索、遗传算法）
          • 回测评估（夏普比率、最大回撤、胜率）
        1. 交易执行与API
        • 交易所接口：
          • CCXT：统一封装多个交易所的REST/WebSocket API
          • 交易所原生SDK（如币安python-binance、Bybit API）
        • 执行引擎：
          • 订单管理：限价单、市价单、冰山订单
          • 防踩坑：处理API限频（如币安每分钟1200次请求）
          • 容错机制：网络重试、异常捕获（避免因API失败导致资金损失）
        1. 风险监控与可视化
        • 监控工具：
          • Grafana：实时仪表盘（展示盈亏、仓位、市场风险）
          • Prometheus：系统性能监控（延迟、API调用成功率）
        • 日志与报警：
          • 日志库：Loguru（结构化日志记录）
          • 报警通知：Telegram Bot、Slack Webhook（异常事件实时推送）
      • 二、加密货币量化专用技术
          1. 高频与低延迟技术
          • 优化点：
          • 使用WebSocket替代REST API（减少延迟）
          • 服务器部署在交易所机房附近（如AWS东京节点对接币安日本）
          • 内存计算：Redis缓存订单簿快照
          1. 套利策略技术需求
          • 跨交易所套利：
          • 同步多交易所的订单簿数据（需高精度时间戳）
          • 计算净价差（扣除手续费、提币成本）
          • 对冲工具：利用永续合约锁定风险
          • 三角套利：
          • 实时监测货币对汇率（如BTC/USDT、ETH/BTC、ETH/USDT）
          • 路径计算：使用NetworkX库寻找套利环路
          1. 链上数据分析
        • 工具链：
          • 区块链浏览器：Etherscan（ETH）、Blockchair（BTC）
          • 分析框架：Web3.py（读取智能合约数据）
          • 链上指标：巨鲸地址变动、矿工储备、交易所净流入
      • 需要掌握的技术栈可概括为：
        • Python编程 + 数据处理（Pandas） + 交易所API（CCXT） + 回测框架（Backtrader） + 基础设施（Docker/AWS）。
        • 加密货币量化的特殊性要求额外关注链上数据、跨交易所套利和极端风险控制。
      • 总结下来还是得先去掘金量化学，学完再搞加密货币的
  • 20250402
    • 这周搞培训去了，量化没看，报了一个HCIA-IA，复习顺便了解下AI，这次培训讲AI的东西也挺多的，多学点没坏处，4月14号考试，最好是6月之前把HCIE拿下来，简历上就有东西了，不空
  • 20250407
    • 假期过的还行，今天开始继续搞HCIA-AI，买了个题库，直接看题库学吧，后面有啥需要体系化搞的就再系统学
    • 欠拟合：模型啥也没学明白，准确率低，连训练集都搞不明白，狗和猫分辨不出来，问题在于模型过于简单，结合图形就是训练集作为一些点，模型直接是一条直线，没有穿过这些点或者特别少
    • 过拟合：模型全学明白了，但只是把训练集学明白了，泛化能力差，把狗后面的沙发也认为是狗，换个新的图就不认识了，结合图形就是训练集作为一些点，模型全都穿过了，泛化能力差。
    • 解决方案：
    • 数据集的问题问的GPT，需要的自己问吧，总结下来就是越多越好，数据集最好干净又卫生，不然会出现垃圾进垃圾出的情况
    • 这个博客里面关于函数的讲解还可以
  • 20250513
    • HCIA轻敌了，就差一点，过两天再说吧
    • 车已经到手了，最近继续研究量化和CTF
    • 3.0T就是好开，V6兄弟们V6
    • CTF教程
  • 20250515
    • Docker 官方的 GPG key安装失败，提示gpg: no valid OpenPGP data found.
      • 这一步建议把两个命令拆开：
      • 如果遇到
        • curl: (35) Recv failure: Connection reset by peer
      • 没什么好的解决方案，多试几次，或者重新开个终端试一试
      • 这一步直接y就完事了，但会卡住很长时间
  • 20250519
    • kali安装DOCKER失败解决方案：
      • 可能是因为kali不是Debian，所以 Docker 官方仓库默认不支持 Kali 。
      • 先获取密钥
      • curl -fsSL https://download.docker.com/linux/debian/gpg
      • 如果这个时候使用sudo apt-key会报未找到指令，kali已对该命令弃用
      • 下一步 把 GPG 公钥转换为 keyring 文件并保存
      • curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
      • 这一步会：下载 GPG 公钥；用 gpg --dearmor转换为二进制格式；存储在 Kali 系统推荐的路径：/usr/share/keyrings/ 中。
      • 然后echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian bookworm stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
      • update一下
      • 这个时候如果执行sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin有概率弹出
      • 执行一下curl -fsSL https://get.docker.com | sudo bash
      • 再安装即可
  • 20250520
    • kali docker还是有一些问题，没法用，先跳过，直接入门
    • CTF浅尝，这是第一道题
  • 20251127
    • 1011/1121差点爆仓，一夜亏十万，我决定把重心转移到策略交易和AI交易上，正好出了NOFXai，直接DOCKER就完事了，搞个好点的prompt，以稳妥为主。
    • 这个就不贴图了，具体流程就是git拉到本地，然后dockerbuild，这里唯一需要注意的就是最好挂梯子去build，有些东西下不下来，依旧看脸，多试几次
posted on 2025-01-02 23:17  Mr.Stark丿  阅读(143)  评论(0)    收藏  举报

博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3