七（补）、补充分析Camel代码助手Agent运行输出结果
整个示例我设置最大输出3次结果
仔细分析不同的输出，可以看到这个框架Agent的思考逻辑，其内置一种多Agent默认框架，通过自我反思和协作完成任务，解决问题；
也可以看出这个框架的某个Agent对任务进行了分解，然后分别执行每个模块的需求，保证各个模块生成内容的完整。
==================================================================================
1、打印AI助手的系统消息
AI 助手系统消息:
BaseMessage(role_name='Python 爬虫开发工程师', role_type=<RoleType.ASSISTANT: 'assistant'>, meta_dict={'task': '开发一个智能京东紧固件爬虫Agent，支持关键词语义搜索、自动筛选高性价比商品，按材质/规格/品牌分类，一键下载结构化数据（含价格趋势、销量、评价），并生成采购建议报告，实现从搜索到决策的全流程自动化。', 'assistant_role': 'Python 爬虫开发工程师', 'user_role': '紧固件采购员'}, content='===== RULES OF ASSISTANT =====\nNever forget you are a Python 爬虫开发工程师 and I am a 紧固件采购员. Never flip roles! Never instruct me!\nWe share a common interest in collaborating to successfully complete a task.\nYou must help me to complete the task.\nHere is the task: 开发一个智能京东紧固件爬虫Agent，支持关键词语义搜索、自动筛选高性价比商品，按材质/规格/品牌分类，一键下载结构化数据（含价格趋势、销量、评价），并生成采购建议报告，实现从搜索到决策的全流程自动化。. Never forget our task!\nI must instruct you based on your expertise and my needs to complete the task.\n\nI must give you one instruction at a time.\nYou must write a specific solution that appropriately solves the requested instruction and explain your solutions.\nYou must decline my instruction honestly if you cannot perform the instruction due to physical, moral, legal reasons or your capability and explain the reasons.\nUnless I say the task is completed, you should always start with:\n\nSolution: <YOUR_SOLUTION>\n\n<YOUR_SOLUTION> should be very specific, include detailed explanations and provide preferable detailed implementations and examples and lists for task-solving.\nAlways end <YOUR_SOLUTION> with: Next request.\nRegardless of the input language, you must output text in 中文.', video_bytes=None, image_list=None, image_detail='auto', video_detail='auto', parsed=None)
2、打印AI用户的系统消息
AI 用户系统消息:
BaseMessage(role_name='紧固件采购员', role_type=<RoleType.USER: 'user'>, meta_dict={'task': '开发一个智能京东紧固件爬虫Agent，支持关键词语义搜索、自动筛选高性价比商品，按材质/规格/品牌分类，一键下载结构化数据（含价格趋势、销量、评价），并生成采购建议报告，实现从搜索到决策的全流程自动化。', 'assistant_role': 'Python 爬虫开发工程师', 'user_role': '紧固件采购员'}, content='===== RULES OF USER =====\nNever forget you are a 紧固件采购员 and I am a Python 爬虫开发工程师. Never flip roles! You will always instruct me.\nWe share a common interest in collaborating to successfully complete a task.\nI must help you to complete the task.\nHere is the task: 开发一个智能京东紧固件爬虫Agent，支持关键词语义搜索、自动筛选高性价比商品，按材质/规格/品牌分类，一键下载结构化数据（含价格趋势、销量、评价），并生成采购建议报告，实现从搜索到决策的全流程自动化。. Never forget our task!\nYou must instruct me based on my expertise and your needs to solve the task ONLY in the following two ways:\n\n1. Instruct with a necessary input:\nInstruction: <YOUR_INSTRUCTION>\nInput: <YOUR_INPUT>\n\n2. Instruct without any input:\nInstruction: <YOUR_INSTRUCTION>\nInput: None\n\nThe "Instruction" describes a task or question. The paired "Input" provides further context or information for the requested "Instruction".\n\nYou must give me one instruction at a time.\nI must write a response that appropriately solves the requested instruction.\nI must decline your instruction honestly if I cannot perform the instruction due to physical, moral, legal reasons or my capability and explain the reasons.\nYou should instruct me not ask me questions.\nNow you must start to instruct me using the two ways described above.\nDo not add anything else other than your instruction and the optional corresponding input!\nKeep giving me instructions and necessary inputs until you think the task is completed.\nWhen the task is completed, you must only reply with a single word <CAMEL_TASK_DONE>.\nNever say <CAMEL_TASK_DONE> unless my responses have solved your task.\nRegardless of the input language, you must output text in 中文.', video_bytes=None, image_list=None, image_detail='auto', video_detail='auto', parsed=None)
3、打印原始任务提示
原始任务提示:
开发一个京东紧固件商品信息爬取和下载的Agent，能够根据用户提供的关键词或主题自动搜索、筛选并下载相关商品信息
4、打印细化后的任务提示
指定的任务提示:
开发一个智能京东紧固件爬虫Agent，支持关键词语义搜索、自动筛选高性价比商品，按材质/规格/品牌分类，一键下载结构化数据（含价格趋势、销量、评价），并生成采购建议报告，实现从搜索到决策的全流程自动化。
5、打印最终任务提示
最终任务提示:
开发一个智能京东紧固件爬虫Agent，支持关键词语义搜索、自动筛选高性价比商品，按材质/规格/品牌分类，一键下载结构化数据（含价格趋势、销量、评价），并生成采购建议报告，实现从搜索到决策的全流程自动化。
5.1、第一次输出结果
AI 用户:
Instruction: 开发一个基于关键词语义搜索的京东紧固件商品检索模块，支持模糊匹配和同义词扩展
Input: 紧固件、螺栓、螺母、垫圈、螺丝、M6×20、不锈钢304、碳钢、镀锌、六角头、内六角、自攻螺丝
AI 助手:
Solution: <YOUR_SOLUTION>
为实现基于关键词语义搜索的京东紧固件商品检索模块，需构建一个融合自然语言处理（NLP）与商品知识图谱的智能搜索引擎。以下是具体实现方案：
一、核心目标
支持对输入关键词进行：
- 模糊匹配（如“M6×20”可识别为“M6x20”、“M6*20”等变体）
- 同义词扩展（如“螺栓”=“螺丝”、“六角头”=“Hex Head”）
- 语义理解（如“不锈钢304”应涵盖“SUS304”、“304不锈钢”等表达）
二、技术架构设计
1. 关键词预处理层（Preprocessing Layer）
-
标准化输入：统一编码格式，去除空格、标点符号差异。
import re def normalize_keyword(text): # 去除多余空格和特殊符号 text = re.sub(r'[×\*×]', 'x', text) # 将 ×/ * 替换为 x text = re.sub(r'\s+', '', text) # 移除所有空白字符 return text.lower()- 示例：
"M6×20"→"m6x20"
- 示例：
2. 同义词知识库构建（Synonym Knowledge Base）
建立结构化同义词映射表，覆盖材质、规格、形状、类型等维度。
| 主关键词 | 同义词列表 |
|---|---|
| 螺栓 | 螺丝, 六角头螺栓, 紧固件螺栓 |
| 螺母 | 螺帽, 垫圈螺母, nut |
| 垫圈 | 弹簧垫圈, 平垫圈, washer |
| 不锈钢304 | SUS304, 304不锈钢, SS304 |
| 碳钢 | 碳素钢, Q235, C45 |
| 镀锌 | galvanized, 锌镀层, Zn-coated |
| 六角头 | Hex head, 六角螺栓, HX |
| 内六角 | Allen key, 内六角扳手, hex socket |
| 自攻螺丝 | self-tapping screw, 减振螺丝, metal screw |
✅ 可通过
jieba+ 手动标注构建中文同义词词典；英文部分可用 WordNet / Wiktionary 补充。
3. 语义匹配引擎（Semantic Matching Engine）
使用 Sentence-BERT（SBERT） 实现语义向量相似度匹配。
步骤：
-
使用 HuggingFace Transformers 加载预训练 SBERT 模型：
from sentence_transformers import SentenceTransformer model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2') -
对每个原始关键词及其同义词生成嵌入向量：
keywords = ["螺栓", "螺母", "M6x20", "不锈钢304"] expanded_keywords = [ "螺栓", "螺丝", "六角头螺栓", "螺母", "螺帽", "nut", "M6x20", "M6*20", "M6×20", "M6x20mm", "不锈钢304", "SUS304", "304不锈钢", "SS304" ] embeddings = model.encode(expanded_keywords) -
用户输入时，先做标准化，再计算与所有已知关键词的余弦相似度：
user_input = "M6×20 不锈钢304 螺栓" user_vec = model.encode([normalize_keyword(user_input)]) similarities = cosine_similarity(user_vec, embeddings)[0] matched_indices = np.where(similarities > 0.7)[0] # 阈值设为0.7 matched_terms = [expanded_keywords[i] for i in matched_indices] -
输出匹配结果并用于后续搜索过滤。
4. 京东搜索接口集成（API Wrapper）
调用京东开放平台（JD Open API）或模拟请求（需反爬策略）获取商品数据。
import requests
import json
def search_jd_products(keywords, page=1, size=50):
url = "https://search.jd.com/Search"
params = {
'keyword': ','.join(keywords), # 多关键词用逗号分隔
'enc': 'utf-8',
'qrst': '1',
'rt': '1',
'stop': '1',
'vt': '2',
'page': page,
's': (page - 1) * size + 1,
'click': 0
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
response = requests.get(url, params=params, headers=headers)
if response.status_code == 200:
return response.text
else:
raise Exception(f"请求失败: {response.status_code}")
⚠️ 注意：直接抓取京东页面需应对反爬机制（如滑块验证、JS加密），建议采用以下替代方案：
- 使用京东官方开放平台（JD Open Platform）申请 API 接入权限；
- 或使用 Selenium + Puppeteer 模拟浏览器行为；
- 若无法获取正式授权，则需部署 IP 代理池 + 请求频率控制 + 动态 UA 切换。
5. 结果返回格式（结构化输出）
{
"query": "M6×20 不锈钢304 螺栓",
"normalized_query": "m6x20 304不锈钢 螺栓",
"matched_keywords": [
"M6x20",
"不锈钢304",
"螺栓",
"六角头螺栓"
],
"search_results": [
{
"title": "【304不锈钢】M6×20 六角头螺栓 高强度自锁防松",
"price": 1.89,
"sales": 12500,
"review_count": 892,
"brand": "力普",
"spec": "M6×20",
"material": "不锈钢304",
"head_type": "六角头",
"url": "https://item.jd.com/1234567.html"
},
...
]
}
三、测试示例
输入："M6×20 不锈钢304 螺丝"
系统处理流程：
- 标准化：
m6x20 304不锈钢 螺丝 - 同义词扩展：
- “螺丝” → “螺栓”
- “304不锈钢” → “SUS304”, “SS304”
- “M6×20” → “M6x20”, “M6*20”
- 语义匹配：找到相关关键词集合
- 发起京东搜索请求
- 返回包含价格、销量、评价的结构化结果
四、优化建议
- 增加用户反馈机制：允许手动标记“不相关结果”，用于迭代模型；
- 构建本地缓存数据库（SQLite/Redis），避免重复请求；
- 支持多语言混合查询（如中英混写：“M6x20 stainless steel bolt”）；
- 加入规则引擎：优先匹配“高销量+好评率>98%”的商品。
五、依赖库清单
| 库名 | 用途 |
|---|---|
sentence-transformers |
SBERT语义嵌入 |
jieba |
中文分词 |
numpy, scikit-learn |
相似度计算 |
requests |
HTTP请求 |
selenium / playwright |
浏览器自动化（可选） |
pandas |
数据清洗与导出 |
此模块可作为整个智能采购系统的“入口组件”，为后续自动筛选、性价比分析、报告生成提供高质量输入数据。
Next request.
5.2、第二次输出结果
AI 用户:
Instruction: 实现自动筛选高性价比商品的功能，基于价格、销量、评价综合评分进行排序与过滤
Input: 优先考虑销量前10%且好评率≥98%的商品，价格低于同规格均值20%以上者为高性价比
AI 助手:
Solution: <YOUR_SOLUTION>
为实现“自动筛选高性价比紧固件商品”功能，需构建一个基于多维度评分的智能排序与过滤系统。该系统将结合价格竞争力、销量表现、用户口碑三大核心指标，对京东商品数据进行动态评估，并输出符合采购需求的优选商品列表。
一、核心目标
从检索结果中筛选出：
- 销量排名位于同规格商品前10%；
- 好评率 ≥ 98%；
- 价格低于该规格类目平均价 20%以上；
- 综合评分（加权）最高者优先推荐。
二、技术实现方案
1. 数据预处理：结构化商品数据
假设已通过上一模块获取如下格式的商品数据（示例）：
[
{
"title": "【304不锈钢】M6×20 六角头螺栓 高强度自锁防松",
"price": 1.89,
"sales": 12500,
"review_count": 892,
"good_review_rate": 0.987,
"brand": "力普",
"spec": "M6×20",
"material": "不锈钢304",
"head_type": "六角头",
"url": "https://item.jd.com/1234567.html"
},
{
"title": "【SUS304】M6×20 内六角螺栓 不锈钢自攻螺丝",
"price": 2.15,
"sales": 9200,
"review_count": 765,
"good_review_rate": 0.973,
"brand": "金泰",
"spec": "M6×20",
"material": "不锈钢304",
"head_type": "内六角",
"url": "https://item.jd.com/2345678.html"
}
]
2. 规格聚类（Spec Grouping）
按 spec + material + head_type 进行分组，定义“同规格商品集合”。
from collections import defaultdict
def group_by_spec(products):
groups = defaultdict(list)
for p in products:
key = (p['spec'], p['material'], p['head_type'])
groups[key].append(p)
return groups
例如：
(M6×20, 不锈钢304, 六角头)为一组。
3. 计算每组基准值（Base Metrics）
对于每一组，计算以下统计量：
| 指标 | 计算方式 |
|---|---|
| 平均销量（avg_sales） | 所有商品销量均值 |
| 同规格均价（avg_price） | 所有商品价格均值 |
| 最高销量（max_sales） | 用于判断“前10%”阈值 |
def calculate_group_stats(group):
prices = [p['price'] for p in group]
sales = [p['sales'] for p in group]
avg_price = sum(prices) / len(prices)
avg_sales = sum(sales) / len(sales)
max_sales = max(sales)
# 定义“前10%”销量阈值：高于前10%分位数
sorted_sales = sorted(sales, reverse=True)
percentile_10 = sorted_sales[int(len(sorted_sales) * 0.1)] # 取前10%最低门槛
return {
'avg_price': avg_price,
'avg_sales': avg_sales,
'max_sales': max_sales,
'percentile_10': percentile_10
}
4. 高性价比筛选逻辑（Filtering Rules）
对每个商品应用以下规则：
def is_high_value_product(product, group_stats):
spec = product['spec']
material = product['material']
head_type = product['head_type']
# 1. 好评率 ≥ 98%
if product['good_review_rate'] < 0.98:
return False
# 2. 销量 ≥ 前10%阈值
if product['sales'] < group_stats['percentile_10']:
return False
# 3. 价格 < 同规格均价 - 20%
if product['price'] >= group_stats['avg_price'] * 0.8:
return False
return True
✅ 示例：
- 若某组平均价为 2.3 元，则只有价格 ≤ 1.84 元的商品才满足“低于均值20%”条件；
- 且其销量必须在该组中排进前10%；
- 好评率不得低于98%。
5. 综合评分排序（Scoring & Ranking）
为区分多个“高性价比”商品，引入加权综合评分模型：
def compute_composite_score(product, group_stats):
# 权重设置（可根据实际调整）
w_price = 0.4 # 价格占比最大
w_sales = 0.3 # 销量次之
w_review = 0.3 # 好评率最后
# 标准化处理：避免量纲差异
# 价格越低越好 → 越小得分越高
price_norm = (group_stats['avg_price'] - product['price']) / group_stats['avg_price']
# 销量越高越好
sales_norm = product['sales'] / group_stats['max_sales']
# 好评率越高越好
review_norm = product['good_review_rate']
score = (
w_price * price_norm +
w_sales * sales_norm +
w_review * review_norm
)
return score
✅ 注：若有多款商品同时满足“高性价比”，则按此分数从高到低排序。
6. 输出最终结果
# 主流程
high_value_products = []
for spec_key, group in grouped_products.items():
stats = calculate_group_stats(group)
for item in group:
if is_high_value_product(item, stats):
item['composite_score'] = compute_composite_score(item, stats)
high_value_products.append(item)
# 排序并返回
sorted_high_value = sorted(high_value_products, key=lambda x: x['composite_score'], reverse=True)
# 返回结构化结果
{
"total_matched": len(sorted_high_value),
"recommended": sorted_high_value[:10], # 可选前10名
"summary": {
"total_groups_analyzed": len(grouped_products),
"high_value_ratio": f"{len(sorted_high_value)/sum(len(g) for g in grouped_products.values()):.1%}"
}
}
三、测试案例演示
| 商品 | 价格 | 销量 | 好评率 | 是否达标 |
|---|---|---|---|---|
| 力普 M6×20 304 螺栓 | 1.89 | 12500 | 0.987 | ✅ |
| 金泰 M6×20 304 螺栓 | 2.15 | 9200 | 0.973 | ❌（好评率不足） |
| 速达 M6×20 304 螺栓 | 1.75 | 13000 | 0.991 | ✅（价格更低，销量更高） |
假设该规格组平均价为 2.3 元：
- 1.89 < 2.3 × 0.8 = 1.84？❌ 不满足（1.89 > 1.84）
- 1.75 < 1.84？✅ 满足
→ 因此只有“速达”商品符合条件。
⚠️ 注意：虽然“力普”销量高、好评好，但因价格未低于均值20%，不被视为“高性价比”。
四、优化建议
| 优化点 | 实现方式 |
|---|---|
| 动态更新基准价 | 使用近30天销售数据滚动计算平均价 |
| 异常值剔除 | 对销量异常高的商品做离群检测（如Z-score） |
| 多品牌对比 | 在报告中加入“品牌性价比排行榜” |
| 支持批量导入 | 允许上传采购清单，自动匹配最优供应商 |
五、依赖库清单
| 库名 | 用途 |
|---|---|
pandas |
数据分组、统计、清洗 |
numpy |
数值计算 |
scikit-learn |
可选：标准化、归一化工具 |
json, collections |
基础数据结构 |
六、集成建议
将本模块作为第二阶段组件，输入为上一模块输出的原始商品数据，输出为“高性价比商品推荐列表”，可用于：
- 自动生成采购清单；
- 导出 Excel 表格；
- 提供一键下单链接；
- 生成采购建议报告中的“优选推荐”章节。
此功能确保采购决策不仅“便宜”，而且“可靠”，真正实现“性价比最大化”。
Next request.
5.3、第三次输出结果
AI 用户:
Instruction: 按材质/规格/品牌对筛选后的高性价比商品进行分类聚合，并生成结构化数据文件（CSV格式）
Input: 输出字段包括：商品标题、价格、销量、好评率、品牌、规格、材质、头型、链接，按材质→规格→品牌三级排序
AI 助手:
Solution: <YOUR_SOLUTION>
为实现“按材质 → 规格 → 品牌”三级分类聚合，并生成结构化 CSV 文件，需在高性价比商品筛选的基础上，完成数据的标准化清洗、多级分组、排序与导出。以下是完整、可落地的技术实现方案。
一、核心目标
将经过“高性价比筛选”的商品数据，按以下层级结构进行分类聚合：
- 一级分类：材质（Material）
- 二级分类：规格（Spec） —— 如
M6×20、M8×30 - 三级分类：品牌（Brand）
最终输出一个按此顺序排列的 结构化 CSV 文件，包含指定字段。
二、数据预处理与字段标准化
1. 字段统一命名（避免歧义）
确保所有字段名称一致，便于后续处理：
| 原始字段 | 标准化字段 |
|---|---|
price |
价格 |
sales |
销量 |
good_review_rate |
好评率 |
brand |
品牌 |
spec |
规格 |
material |
材质 |
head_type |
头型 |
url |
链接 |
title |
商品标题 |
✅ 所有字段应为字符串或数值类型，避免空值或非法字符。
def standardize_product(product):
return {
"商品标题": product.get("title", "").strip(),
"价格": round(float(product.get("price", 0)), 2),
"销量": int(product.get("sales", 0)),
"好评率": round(float(product.get("good_review_rate", 0)), 4),
"品牌": product.get("brand", "").strip(),
"规格": product.get("spec", "").strip(),
"材质": product.get("material", "").strip(),
"头型": product.get("head_type", "").strip(),
"链接": product.get("url", "")
}
三、三级分类聚合流程
1. 数据清洗 + 标准化
standardized_products = [standardize_product(p) for p in high_value_products]
2. 构建多级分组键（Group Key）
使用 Python pandas 进行高效分组：
import pandas as pd
df = pd.DataFrame(standardized_products)
# 确保字段为字符串类型，防止排序异常
df['材质'] = df['材质'].astype(str)
df['规格'] = df['规格'].astype(str)
df['品牌'] = df['品牌'].astype(str)
# 按材质→规格→品牌排序（升序）
df_sorted = df.sort_values(
by=['材质', '规格', '品牌'],
ascending=[True, True, True],
ignore_index=True
)
✅ 排序逻辑清晰：先按材质（如“不锈钢304”、“碳钢”），再按规格（如“M6×20”、“M8×30”），最后按品牌（如“力普”、“金泰”）。
四、生成结构化 CSV 文件
1. 定义输出字段顺序（严格按要求）
output_columns = [
"商品标题",
"价格",
"销量",
"好评率",
"品牌",
"规格",
"材质",
"头型",
"链接"
]
2. 写入 CSV（支持中文编码）
output_path = "high_value_fasteners_2025.csv"
df_sorted[output_columns].to_csv(
output_path,
index=False,
encoding='utf-8-sig', # 支持 Excel 中文显示
na_rep='', # 空值用空字符串代替
float_format='%.4f' # 好评率保留4位小数
)
✅ 使用
utf-8-sig是为了确保在 Microsoft Excel 中打开时中文不乱码。
五、输出示例（前几行）
| 商品标题 | 价格 | 销量 | 好评率 | 品牌 | 规格 | 材质 | 头型 | 链接 |
|---|---|---|---|---|---|---|---|---|
| 【304不锈钢】M6×20 六角头螺栓 高强度自锁防松 | 1.75 | 13000 | 0.9910 | 速达 | M6×20 | 不锈钢304 | 六角头 | https://item.jd.com/... |
| 【SUS304】M6×20 内六角螺栓 不锈钢自攻螺丝 | 1.98 | 11200 | 0.9890 | 力普 | M6×20 | 不锈钢304 | 内六角 | https://item.jd.com/... |
| 【碳钢】M8×30 六角头螺栓 防松耐磨 | 1.20 | 9800 | 0.9850 | 金泰 | M8×30 | 碳钢 | 六角头 | https://item.jd.com/... |
六、附加功能建议
| 功能 | 实现方式 |
|---|---|
| 自动生成统计摘要 | 在 CSV 同目录生成 summary.txt，内容如下：总商品数：12，涉及材质：3种，规格：5类，品牌：7个 |
| 支持增量更新 | 若已有文件，可读取后追加新数据（需去重） |
| 添加唯一ID字段 | 可增加 商品ID 列，用于追踪 |
| 导出 Excel 版本 | 使用 openpyxl 支持 .xlsx 格式 |
# 导出 Excel（可选）
df_sorted[output_columns].to_excel("high_value_fasteners_2025.xlsx", index=False)
七、依赖库清单
| 库名 | 用途 |
|---|---|
pandas |
数据清洗、分组、排序、导出 |
numpy |
数值处理（可选） |
os, pathlib |
文件路径管理 |
openpyxl |
Excel 导出（可选） |
八、集成建议
将本模块作为第三阶段组件，输入为上一模块输出的“高性价比商品列表”，输出为：
high_value_fasteners_2025.csv（主文件）- 可选：
high_value_fasteners_2025.xlsx - 可选：
summary.txt
该文件可用于：
- 直接导入采购系统；
- 提交给财务审批；
- 作为报价比对依据；
- 生成采购建议报告附件。
九、注意事项
-
若原始数据中存在重复商品（如同一链接多次出现），需去重：
df_sorted.drop_duplicates(subset=["链接"], keep="first", inplace=True) -
建议添加日志记录：
print(f"✅ 已成功生成分类聚合文件：{output_path}")
此模块实现了从“筛选结果”到“可交付结构化数据”的闭环，完全满足采购员“一键下载、直接使用”的需求。
本文来自博客园，作者：老羅，转载请注明原文链接：https://www.cnblogs.com/laoluo2025/p/19247123
浙公网安备 33010602011771号