家庭组网

为何而组网？

• 原本目的仅仅是在家里搭建一台AI主机服务器，用来跑LLM/Deep Learning Model，因为笔记本性能限制，没有Nvidia卡基本跑不动LlaMa3:70b；
• 在下载Ollama/Llama Factory，以及使用GitHub过程中，发现不能「Scientific Internet」的情况下，基本的安装包和源码都无法下载；
• 在解决完「拉包」问题前提下，SFT训练大模型又很耗时，一个训练跑完要几个小时，不可能收在书房干等着，所以需要远程SSH服务；

怎么组网？

1. 基本方案：AI Host（ThinkStation P5）-> Router（ASUS AX86U Pro）-> 阿里云ECS（FRP）->公网设备；
2. 基本步骤：配置「Scientific Internet」->购买ECS，配置FRPS->本地服务器配置FRPC->本地安装Llama3；
3. Llama3配置步骤：CentOS Stream9装机 -> GPU驱动安装 -> CUDA toolkit安装 -> Ollama安装 -> Ollama 运行LLM；

LLM感悟

本轮由OpenAI引领的LLM AI产业革命浪潮，到底预示着什么呢？

• 作为码农，我所看到的AI能力，已经基本可以做到「非结构化输入」向「标准化和结构化输入/输出」转换的「连接器」的作用；
• 计算机软件程序都是标准输入和标准输出的，如果能实现「语音」、「图像」等非结构化数据，经过LLM推理获得计算机程序所需要的「标准化」的结构化数据，那么整个计算机产业就可以从强依赖屏幕输入的GUI「图形界面」向LUI「语言界面」过渡，「AI大模型」具备了一个连接「现实世界」和「计算机网络世界」的「翻译官」的能力；
• 从十年的视角来看，这场技术革命，远比智能手机从键盘向触控屏过渡所带来的价值更大。
• 现在使用LLM的成本还是非常昂贵的，所以，模型的推理成本会进一步降低，直到跟现在访问普通web服务水平差不多；

Scientific Internet

1. 华硕路由器RT AX86U Pro，最大的好处是梅林固件很稳定、也很方便，官网直达：https://www.koolcenter.com/fw/device/rt-ax86u_pro/asus_official
   1.1 梅林固件刷机教程：https://post.smzdm.com/p/anxv5gr0/

2. 「Scientific Internet」官网直达：https://github.com/hq450/fancyss_history_package?tab=readme-ov-file
   2.1 KoolCenter 安装「Scientific Internet」插件教程：https://xtrojan.pro/blog/asus-merlin-firmware-router-installation-bgfw-plug-in.html

3. 多台路由器组网模式，只需要主路由器实现「Scientific Internet」即可：https://www.asus.com.cn/support/faq/1036082/

4. 亲测，AX86U PRO/AC3100两款华硕路由器均可使用，两款路由器还可以组网解决穿墙信号弱的问题。

5. 踩坑记，家里的菊花设备建议直接扔进垃圾桶，即便是中继模式，也无法使用主路由器的「Scientific Internet」网络，垃圾。

小记

• 「Scientific Internet」很重要，找可用的机场节点最麻烦，请合理使用；
• 局域网内大部分人AI的入门障碍，1是成本问题、2是网络条件，这使得AI这种超能力注定是少数弄潮儿的「玩具」；