技能提取库技术解析与应用

简介

英国职位广告中所需的技能缺乏公开数据，导致难以分析地区技能差异和职业技能需求。某机构于2021年开始收集职位广告并开发信息提取算法，其开放职位观测站（OJO）已收集超500万条广告数据。

该项目通过算法提取技能信息，可分析以下问题：

• 英国各地区和职业的职位广告占比
• 各职业的常见技能需求
• 技能需求相似的职业分类
• 地区间技能需求的差异

新发布的技能提取库为开源Python工具包，支持从职位文本中提取技能短语并映射到标准化技能分类体系（ESCO或Lightcast），解决同义技能表述归一化问题。

方法论

技能标准化提取包含两个核心步骤：

1. 实体识别
   使用基于spaCy命名实体识别（NER）神经网络架构的模型，预测职位广告中的技能实体部分

2. 语义映射
   通过huggingface的sentence-transformers/all-MiniLM-L6-v2预训练模型生成数值表示，计算提取技能与分类体系中技能语义相似度，实现精准映射

详细技术说明参见模型文档。

使用方式

提供两种使用方案：

• 交互界面工具：适合非Python用户处理单个广告
• Python库(ojd–daps–skills)：支持批量处理，需参考技术文档

算法优势与局限

优势

• 未知技能检测：可识别分类体系未收录的新技能（如"React"映射到"使用脚本编程"）
• 分类体系适配：支持自定义技能分类体系
• 多级映射能力：支持广义技能（如"计算机编程"）与具体技能（如"Python"）的匹配

经200个样本测试，技能提取准确率94%，映射准确率88%，性能优于同类算法。

局限性

1. 隐喻处理：例如"understand the bigger picture"可能错误映射到"解释技术文档"
2. 多技能语句：复杂句式可能导致部分技能遗漏
3. 非技能实体误判：如"assist with the"被误识别为技能

建议专家评审后再用于技能需求分析，禁止用于歧视性招聘实践。

未来改进

• 优化多技能实体分割算法
• 开发长实体多技能映射机制
• 采用职位文本专用嵌入训练提升模型性能

应用成果

该库已处理数百万职位广告，成功分析出：

• 雇主技能需求模式
• 职业技能相似性
• 地理技能差异

支持进一步分析行业技能差异或人口统计维度的技能需求。

相关资源

• 演示工具
• 交互式分析博客
• 技术文档
• 开源代码

更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码