摘要：
Prompt https://prompt-guide.ncuos.com/prompts.zh Prompt Hub 是提示的集合，可用于测试 prompt 在各种基本能力和复杂任务上的能力。我们希望 Prompt Hub 帮助您发现利用、实验和构建提示词的有趣方法。我们鼓励并欢迎人工智能研究和开
阅读全文
posted @ 2024-07-24 09:40
lightsong
阅读(249)
推荐(0)
摘要：
Best practices for prompt engineering with the OpenAI API https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-the-o
阅读全文
posted @ 2024-07-24 09:19
lightsong
阅读(97)
推荐(0)
摘要：
TinyAgent https://github.com/fanqingsong/tiny-universe/tree/main/content/TinyAgent content/TinyAgent/agent_demo.py from tinyAgent.Agent_Ollama import
阅读全文
posted @ 2024-07-24 00:01
lightsong
阅读(32)
推荐(0)
摘要：
What Are Zero-Shot Prompting and Few-Shot Prompting https://machinelearningmastery.com/what-are-zero-shot-prompting-and-few-shot-prompting/ How Do Lar
阅读全文
posted @ 2024-07-22 00:16
lightsong
阅读(46)
推荐(0)
摘要：
Instruction和Question的区别和联系 https://blog.csdn.net/qq_35082030/article/details/130727016 3. Question和Instruction的区别问答（QA）和指令（Instruction）是人机交互中最常见的形式之一。
阅读全文
posted @ 2024-07-21 19:47
lightsong
阅读(132)
推荐(0)
摘要：
Large Language Models: A Survey https://arxiv.org/pdf/2402.06196 导读 https://developer.volcengine.com/articles/7389111961612451866 1、介绍了语言建模的历史背景，从统计语言
阅读全文
posted @ 2024-07-21 19:46
lightsong
阅读(77)
推荐(0)
摘要：
transformer model architecture https://www.datacamp.com/tutorial/how-transformers-work 动手写 https://www.datacamp.com/tutorial/building-a-transformer-wi
阅读全文
posted @ 2024-07-21 13:18
lightsong
阅读(129)
推荐(0)
摘要：
CUDA Refresher: The CUDA Programming Model https://developer.nvidia.com/blog/cuda-refresher-cuda-programming-model/ To execute any CUDA program, there
阅读全文
posted @ 2024-07-20 20:28
lightsong
阅读(31)
推荐(0)
摘要：
vLLM https://github.com/vllm-project/vllm https://docs.vllm.ai/en/latest/ 推理和服务，但是更加偏向推理。 vLLM is a fast and easy-to-use library for LLM inference and
阅读全文
posted @ 2024-07-20 12:27
lightsong
阅读(382)
推荐(0)
摘要：
Open WebUI https://alphasec.io/open-source-chatgpt-ui-alternative-with-open-webui/ https://docs.openwebui.com/getting-started/ Chatbot UI https://alph
阅读全文
posted @ 2024-07-19 00:12
lightsong
阅读(67)
推荐(0)
摘要：
Ludwig Declarative deep learning framework built for scale and efficiency. https://ludwig.ai/latest/ What is Ludwig?¶ Ludwig is a low-code framework f
阅读全文
posted @ 2024-07-18 23:00
lightsong
阅读(51)
推荐(0)
摘要：
词根：ven, vent = to come 来 https://www.dictool.com/root/search?wd=vent 在世界史上有很多有名的帝王将相留下的言语当时看起来没有什么，但是慢慢的就变成了非常有名的名言了，在外国里面其中一位就是恺撒大帝，他在泽拉战役中获胜后写给罗马元老院
阅读全文
posted @ 2024-07-18 22:31
lightsong
阅读(340)
推荐(0)
摘要：
模型本身的格式是什么？ 模型本身的格式和存储内容可以因模型类型、框架和用途的不同而有所差异。然而，在一般情况下，我们可以从以下几个方面来探讨模型的文件格式和存储内容： 一、模型文件格式 JSON格式： Hugging Face Transformers等框架中，模型文件常以JSON格式存储，包含了模
阅读全文
posted @ 2024-07-18 09:44
lightsong
阅读(321)
推荐(0)
摘要：
HuggingFace Transformers https://www.hugging-face.org/hugging-face-transformers-2/ Hugging Face Transformers has been built by, with, and for the comm
阅读全文
posted @ 2024-07-18 00:16
lightsong
阅读(89)
推荐(0)
摘要：
modelscope上的模型如何下载？ 在ModelScope（魔搭）上下载模型，用户可以通过多种方式进行，主要包括直接通过网站界面下载、使用SDK（软件开发工具包）下载，以及通过Git方式下载。以下是详细的下载步骤：一、通过网站界面下载 访问ModelScope官网： 打开浏览器，访问ModelS
阅读全文
posted @ 2024-07-17 23:18
lightsong
阅读(6285)
推荐(0)
摘要：
大模型中的token是指什么？ 在大模型（尤其是自然语言处理（NLP）领域中的大模型，如BERT、GPT等）的上下文中，"token"是一个关键概念，它指的是文本数据在被模型处理之前或过程中被分割成的最小单元。这些单元可以是单词、标点符号、子词（subword）等，具体取决于模型的词汇表（vocab
阅读全文
posted @ 2024-07-17 22:13
lightsong
阅读(2902)
推荐(0)
摘要：
vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention https://blog.vllm.ai/2023/06/20/vllm.html LLMs promise to fundamentally change how we use
阅读全文
posted @ 2024-07-16 23:41
lightsong
阅读(249)
推荐(0)
摘要：
微调（Fine-Tuning）和检索增强生成（RAG） https://www.toutiao.com/article/7386094597421810186/?log_from=21b91ee0752_1721118518195 2024-06-30 09:05·架构笔记 微调（Fine-Tuni
阅读全文
posted @ 2024-07-16 23:14
lightsong
阅读(145)
推荐(0)
摘要：
大模型的量化 https://developer.baidu.com/article/details/3211764 一、大模型量化的基本概念 大模型量化，简单来说，就是将深度学习模型的浮点运算转换为整型运算的过程。在默认情况下，模型使用32位浮点数进行所有预测计算，这使得模型变得非常大。通过量化技
阅读全文
posted @ 2024-07-16 22:33
lightsong
阅读(787)
推荐(0)
摘要：
Chain-of-Thought Prompting https://www.promptingguide.ai/zh/techniques/cot#%E9%9B%B6%E6%A0%B7%E6%9C%AC-cot-%E6%8F%90%E7%A4%BA 链式思考（CoT）提示 图片来源：Wei等人（2
阅读全文
posted @ 2024-07-16 22:24
lightsong
阅读(92)
推荐(0)
摘要：
phpMyAdmin https://www.phpmyadmin.net/ phpMyAdmin is a free software tool written in PHP, intended to handle the administration of MySQL over the Web.
阅读全文
posted @ 2024-07-16 14:08
lightsong
阅读(39)
推荐(0)
摘要：
confd+etcd+nginx 服务发现 https://learnku.com/articles/36229 https://www.chenshaowen.com/blog/service-discovery-etcd-confd-nginx.html 在进行应用部署时，服务运行起来后，通过接
阅读全文
posted @ 2024-07-13 12:49
lightsong
阅读(87)
推荐(0)
摘要：
How to Use Terraform and Ansible Together: A Practical Example https://www.cloudbolt.io/terraform-best-practices/terraform-vs-ansible/ Now that you kn
阅读全文
posted @ 2024-07-13 00:28
lightsong
阅读(37)
推荐(0)
摘要：
How to link multiple docker-compose services via network New scenario: Sharing a network between services If you want define services in multiple dock
阅读全文
posted @ 2024-07-12 23:34
lightsong
阅读(46)
推荐(0)
摘要：
Nginx VS Traefik Comparison https://reverseproxy.com/docs/comparison/nginx-vs-traefik/#:~:text=In%20summary%2C%20Nginx%20might%20be%20better%20for%20m
阅读全文
posted @ 2024-07-12 23:32
lightsong
阅读(48)
推荐(0)
摘要：
D - Avoid K Palindrome https://atcoder.jp/contests/abc359/tasks/abc359_d 思路 https://atcoder.jp/contests/abc359/submissions/54822869 状压DP 以 K二进制位表示 K字符
阅读全文
posted @ 2024-07-07 18:44
lightsong
阅读(45)
推荐(0)
摘要：
A - Insert https://atcoder.jp/contests/abc361/tasks/abc361_a https://atcoder.jp/contests/abc361/submissions/55260626 int n, k, x; vector<int> a; int m
阅读全文
posted @ 2024-07-07 10:59
lightsong
阅读(38)
推荐(0)
摘要：
A - A Healthy Breakfast https://atcoder.jp/contests/abc360/tasks/abc360_a https://atcoder.jp/contests/abc360/submissions/55049596 int main() { string
阅读全文
posted @ 2024-06-30 22:12
lightsong
阅读(91)
推荐(0)
摘要：
How Do Kubernetes and Docker Create IP Addresses?! https://dustinspecker.com/posts/how-do-kubernetes-and-docker-create-ip-addresses/ iptables: How Doc
阅读全文
posted @ 2024-06-28 22:36
lightsong
阅读(24)
推荐(0)
摘要：
内部负载均衡和 VIP IPVS IPVS, which stands for IP Virtual Server, is a high-performance load balancing technology designed for Linux systems. It operates at
阅读全文
posted @ 2024-06-28 21:35
lightsong
阅读(49)
推荐(0)
摘要：
实验 基于此代码，部署两个web容器， 一个gateway容器。 https://github.com/fanqingsong/microservice-demo song@song-VirtualBox:~/workspace/microservice-demo$ docker network i
阅读全文
posted @ 2024-06-28 20:53
lightsong
阅读(49)
推荐(0)
摘要：
docker-compose scale 配置 https://github.com/docker/compose/issues/5586 version: '2.2' services: template: image: tutum/hello-world scale: 2 version: "3
阅读全文
posted @ 2024-06-28 19:49
lightsong
阅读(47)
推荐(0)
摘要：
microservice-demo https://github.com/fanqingsong/microservice-demo docker-compose.yml version: '2' services: gateway: build: traefik command: --logLev
阅读全文
posted @ 2024-06-28 15:34
lightsong
阅读(35)
推荐(0)
摘要：
Setup SSL using .PFX file on nginx/apache2 https://xy2z.io/posts/2020-pfx-certificates-nginx-apache2/ A complete guide to using a PFX certificate on y
阅读全文
posted @ 2024-06-25 23:29
lightsong
阅读(178)
推荐(0)
摘要：
microservices-with-fastapi https://github.com/fanqingsong/microservices-with-fastapi Microservices, API Gateway, Authentication with FastAPI, non-bloc
阅读全文
posted @ 2024-06-24 21:45
lightsong
阅读(125)
推荐(0)
摘要：
问题 使用docker compose启动的容器组，容器间不能通信。 LLM问答解决 使用docker-compose启动的一组应用，但是容器间网络ping不通，为啥？ 答 当使用docker-compose启动的一组应用出现容器间网络ping不通的情况时，可能的原因和解决方法可以归纳如下： 网络配
阅读全文
posted @ 2024-06-24 08:51
lightsong
阅读(49)
推荐(0)
摘要：
C - Tile Distance 2 https://atcoder.jp/contests/abc359/tasks/abc359_c 思路 在x方向上，让s<t 然后 如果s在tile的左边，移动到右边， 如果t在tile的右边，移动到左边， 计算x 和 y方便的必走的steps， y方向上容
阅读全文
posted @ 2024-06-23 22:50
lightsong
阅读(40)
推荐(0)
摘要：
还能使用的 https://segmentfault.com/q/1010000044951309 发现一些还能用的 sudo vim /etc/docker/daemon.json 写入 { "registry-mirrors": [ "https://ustc-edu-cn.mirror.ali
阅读全文
posted @ 2024-06-22 23:32
lightsong
阅读(215)
推荐(0)
摘要：
docker-fastapi-celery https://github.com/fanqingsong/docker-fastapi-celery 设置了https证书，可以运行查看效果。 Run on local machine Install docker and docker-compose
阅读全文
posted @ 2024-06-18 23:34
lightsong
阅读(170)
推荐(0)
摘要：
E - Alphabet Tiles https://atcoder.jp/contests/abc358/tasks/abc358_e 思路 dp[i][j] 前i项组成j长度字符串的 方案总数。 状态转移为： dp[i-1][j] * combination[j+l][l] > dp[i][j+
阅读全文
posted @ 2024-06-17 23:40
lightsong
阅读(24)
推荐(0)
浙公网安备 33010602011771号