基于知识工程方法的阅读材料推荐系统的开发
基于知识工程方法的阅读材料推荐系统的开发
一、摘要
在语文课程中，阅读能力的培养是最重要的方面之一。以往的研究表明，为学生分配合适的文章对于培养他们的阅读能力非常重要；然而，以往的经验也表明，由于个人因素的复杂性以及候选文章的多样性，这一问题面临着挑战。本研究提出一个知识工程的方法来开发阅读材料推荐系统，从多个专家那里获取领域知识。对29名高中生的实验结果表明，该系统能够综合考虑学生个人的偏好和知识水平，以及文章的类别和特点，为学生提供专家式的推荐。
关键词：改进课堂教学智能辅导系统
二、介绍
阅读被认为是英语课程中最重要的一个方面。为了培养学生的英语阅读能力，教师需要准备好要阅读的文章，这已成为英语课程中开展学习活动的一项重要任务。在传统的英语课堂上，一个老师需要引导几十个学生学习，因此，通常会为每个学生准备相同的教学材料，特别是阅读文章。因此，对一些学生来说，文章可能太容易阅读，而对另一些学生来说，文章可能太难。这样的文章分配策略很可能会导致学生对学习英语失去兴趣。
研究者指出，要求所有学生阅读同一篇文章是不恰当的，因为他们的阅读成绩、学习偏好或需求不尽相同。为了提高学生的阅读成绩，重要的是通过考虑学生的个人资料或学习成绩，为学生提供个性化的阅读建议。为了解决这一问题，研究人员致力于开发推荐系统或自适应学习系统，通过分析学生的个人资料或学习档案，为学生提供个性化的学习材料
研究人员指出，这种技术强化的学习环境可以对阅读结果做出积极贡献。虽然现有的推荐系统能够减少教师为学生分配阅读材料的工作量，但在使用这些系统时遇到了一些问题。一个主要的问题是由于对领域经验的忽视，这可能使系统做出的决策与教师做出的决策不一致。大多数系统采用数据挖掘或统计方法来分析学生的学习档案和概况，并使用分析结果来确定要推荐的学习材料。开发一个模拟领域专家决策行为的英文文章阅读推荐系统是一个具有挑战性的课题。要开发这样一个专家型系统，既要考虑英语文章阅读方面的专业知识，又要考虑学生个人的情况。本研究提出一个知识工程的方法来协助教师合作定义个别学生的英文文章推荐规则。这些规则存储在艺术推荐专家系统的知识库中，以模拟领域专家（即教师）的文章推荐决策。此外，本研究在台湾一所高中的英语课程上进行实验，以评估此方法的有效性。
三、研究方法
在本研究中，我们开发了一个专家系统来向个别学生推荐阅读材料。专家系统是一种人工智能程序，旨在根据从领域专家那里获得的知识来模拟专家推理。此外，一个专家系统可以整合不同专家的意见，数据库中的知识可以长期积累和保存。在过去的十年中，一些成功的案例已经证明了专家系统的好处。为了开发一个英文文章推荐专家系统，需要采取一些准备步骤，包括收集相关文献、收集英文文章和采访领域专家。最困难的阶段是后续阶段，即从领域专家那里获取知识。
这种过程称为知识获取。
3.1为英语文章推荐建立储备网格
单个储备网格表示为矩阵，其列具有元素标签，而其行具有构造标签。要素可以是要做出的决定、要分类的对象或要学习的概念。结构是用来描述元素之间的相似性或差异性的特征。每个结构都由一个特征和特征的对立面组成。通常使用5级评分机制来表示元素和结构之间的关系；即每个评分都是1到5之间的整数，其中“5”表示元素很可能具有特征；“4”表示该元素可能具有该特征；“3”表示“未知”或“无相关性”；“2”表示该元素可能具有该特征的相反特征；“1”表示该元素在研究中很可能具有该特征的相反特征。
本研究通过对一所高中两位经验丰富的英语教师的访谈，获得了专家知识。此外，学习者的特征和偏好是从学生和专家那里获得的。也就是说，建立了两种储备网格。一种是对所选阅读文章进行分类的储备格；另一种是根据学习者对英语阅读的偏好来描述他们的特征。
通过访谈教师开发的第一种储备格，收集了不同难度水平文章的数据，并在相应的格中呈现。在本研究中，两位英语教学专家根据词汇、完形填空、句型填空、句型填空和句型填空，将所选文章分为三个较低难度水平，以及对每一级短文的理解。100篇文献的Spearman相关系数为0.93，p<0.01，表明专家的判断具有很高的一致性。剔除专家们有不同分类意见的8篇文章后，选出92篇文章作为推荐系统的候选文章
表1
|
Article schema code |
A1 |
A2 |
A3 |
A4 |
A5 |
A6 |
A7 |
A8 |
A9 |
|
Family life |
3 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
|
School life |
3 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
|
Job related |
3 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
|
food |
1 |
1 |
1 |
2 |
1 |
1 |
1 |
1 |
1 |
|
entertainment |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
|
Biology or environment |
1 |
5 |
1 |
1 |
1 |
1 |
1 |
5 |
1 |
|
medical |
1 |
1 |
1 |
1 |
5 |
1 |
5 |
5 |
1 |
|
Astronomy or geography |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
|
medical |
1 |
1 |
1 |
1 |
5 |
1 |
1 |
1 |
1 |
|
Astronomy or geography |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
|
art |
1 |
1 |
1 |
1 |
5 |
1 |
1 |
1 |
1 |
|
fashion |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
|
Information or science |
1 |
1 |
1 |
1 |
1 |
1 |
5 |
1 |
1 |
|
history |
4 |
1 |
5 |
5 |
1 |
5 |
1 |
1 |
5 |
|
literature |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
表1显示了一个用于描述中高级英语文章特点的储备表格的示例。在这个示例中，文章用从A1到A9的数字编码，描述文章特征的特征与学生的偏好有关。
表2描述学生个人偏好的例子
|
Student ID |
S01 |
S02 |
S03 |
S04 |
S05 |
S06 |
S07 |
....... |
S25 |
|
Family life |
2 |
3 |
2 |
4 |
2 |
3 |
1 |
....... |
2 |
|
School life |
3 |
3 |
2 |
3 |
2 |
2 |
1 |
....... |
2 |
|
Job related |
2 |
3 |
2 |
3 |
2 |
3 |
2 |
....... |
3 |
|
food |
3 |
3 |
2 |
3 |
2 |
2 |
3 |
....... |
2 |
|
entertainment |
3 |
3 |
2 |
3 |
2 |
3 |
2 |
....... |
2 |
|
Biology or environment |
3 |
2 |
2 |
3 |
2 |
2 |
3 |
....... |
3 |
|
medical |
3 |
3 |
2 |
3 |
2 |
3 |
2 |
....... |
2 |
|
Astronomy or geography |
3 |
2 |
2 |
3 |
2 |
2 |
3 |
....... |
1 |
|
medical |
4 |
3 |
2 |
3 |
2 |
2 |
2 |
....... |
2 |
|
Astronomy or geography |
5 |
1 |
3 |
3 |
2 |
2 |
2 |
....... |
1 |
|
art |
2 |
2 |
3 |
3 |
2 |
2 |
2 |
....... |
2 |
|
fashion |
2 |
3 |
3 |
3 |
2 |
2 |
2 |
....... |
1 |
|
Information or science |
2 |
4 |
3 |
3 |
2 |
2 |
3 |
....... |
2 |
|
history |
2 |
2 |
3 |
3 |
2 |
3 |
2 |
....... |
1 |
|
literature |
2 |
1 |
3 |
3 |
2 |
2 |
2 |
....... |
2 |
四、实验设计
为了评估推荐系统的性能，在一所高中进行了一个实验，两名教师和29名学生参加了实验。教师推荐了92篇候选文章，题目包括“家庭生活”、“学校生活”、“工作相关”、“饮食”、“娱乐”、“生物或环境”、“医学”、“天文或地理”、“艺术”、“时尚”，“信息或科学”，“历史”和“文学”。采用前测和问卷调查的方法对学生的英语阅读能力和阅读偏好进行了评价。然后，系统根据学生的英语能力和偏好向他们推荐文章。同时，两位英语阅读老师被要求向学生推荐文章。然后将专家系统提出的建议与教师提出的建议进行比较，以证明所提出方法的正确性。实验过程如图所示。
除上述调查外，本研究还设计了问卷来收集学生对阅读文章的反馈和感受，如学习动机问卷、学习策略问来探讨学生的学习动机是否有所提
高。
实验设计图
五、结果与讨论
接下来的分析从推荐评价开始，然后详细阐述了动机和认知调查。
基于教师对推荐系统的反馈，本研究设计了一份问卷调查学生的阅读偏好。学生们被要求对每一个项目进行五级评分，即“非常喜欢”、“喜欢”、“或多或少喜欢”、“不喜欢”和“非常不喜欢”，如表2所示。表3给出了系统的建议。通过对29名学生的反馈，发现系统的推荐是可取的，通过对学生的调查和专家的推荐，80%以上的推荐文章适合参与者。
当推荐法在高中英语阅读教学中实际实施时，94.59%的受试者认为，与传统的阅读文章分配方法相比，基于英语水平和偏好的推荐文章可以增加他们的成就感，因为他们没有像使用传统方法时那样感到沮丧。也有学生评论说，他们有自己的兴趣和愿望；因此，他们可能不会接受对每个人都一样的统一阅读材料。
事实上，有一些学生被推荐了类似的文章，因为一些参与的青少年有许多相似的兴趣。
此外，这些高中生的英语水平是两极分化的，这在台湾是一个普遍现象。
在台湾，英语课对一部分英语水平较高的学生来说可能太容易了，而其他学生则可能落在后面，被认为是同一个班级的“平均水平以下”。造成这种现象的原因是小学和初中教育资源的不平等，家庭经济差异也影响了学生学习英语的机会。在本研究中，实验结果显示大部分学生都是初级水平或高中级水平的推荐文章，但只有一名学生是中级水平。在不喜欢英语阅读课的被试中，81.25%的被试不喜欢阅读课，原因是所提供的文章对他们来说要么太难，要么太容易，从而丧失了学习动机和兴趣。相比之下，在本实验中，75.86%的学生认为系统推荐给他们的文章很有趣。
系统建议表
|
Student id |
Recommendation |
|
|
|
Fitness |
Difficulty level |
|
S01 |
Article 14 |
|
|
|
61.54 |
Elementary |
|
S02 |
Article 33 |
|
|
|
50.00 |
Intermediate |
|
S03 |
Article 92 |
|
|
|
53.85 |
High-intermediate |
|
S04 |
Article 7 |
Article15 |
|
|
96.15 |
Elementary |
|
S05 |
Article66 |
Article71 |
|
|
57.69 |
High-intermediate |
|
S06 |
Article 18 |
...... |
...... |
...... |
53.85 |
Elementary |
|
...... |
...... |
...... |
...... |
...... |
...... |
...... |
|
...... |
...... |
...... |
...... |
...... |
...... |
...... |
|
...... |
...... |
...... |
...... |
...... |
...... |
...... |
|
S025 |
Article 66 |
Article79 |
Article82 |
Article89 |
61.54 |
High-intermediate |
中级到高级和低水平两个组进行前测，采用了独立t检验，模拟数据如下：
|
组统计 |
|||||
|
|
group |
个案数 |
平均值 |
标准差 |
标准误差平均值 |
|
前测分数 |
中级到高级 |
12 |
68.00 |
15.480 |
4.469 |
|
低水平 |
12 |
67.25 |
15.004 |
4.331 |
|
|
独立样本检验 |
||||||||||
|
|
莱文方差等同性检验 |
平均值等同性 t 检验 |
||||||||
|
F |
显著性 |
t |
自由度 |
显著性（双尾） |
平均值差值 |
标准误差差值 |
差值 95% 置信区间 |
|||
|
下限 |
上限 |
|||||||||
|
前测分数 |
假定等方差 |
.050 |
.825 |
.121 |
22 |
.905 |
.750 |
6.223 |
-12.156 |
13.656 |
|
不假定等方差 |
|
|
.121 |
21.979 |
.905 |
.750 |
6.223 |
-12.157 |
13.657 |
|
|
group |
N |
Mean |
S.D |
t |
|
中级到高级 |
12 |
68.00 |
15.480 |
.121 |
|
低水平 |
12 |
67.25 |
15.004 |
|
模拟数据p>0.05说明实验之前两组之间不存在显著性差异。
5.2推荐评价
二十九名高中生参加了这个实验。 根据测试结果，将参与者分为三个层次的英语阅读能力。 因此，14名学生被归类为“低于小学”组，因为他们没有通过小学水平的预试；因此，推荐给他们的文章是小学水平和低难度。 其他15名通过初级水平考试的学生被要求参加另一次中级水平考试。 一名未能通过第二次考试的学生被归类为“初级到中级”级别，并被建议阅读中级难度级别的文章。 其余14名通过小学和中学两级考试的学生被归类为“中级至高级”组。
由于只有一个学生在中级水平，本研究只比较学生的学习表现在“以下-初级”组和那些在“中级到高级”组。 上述表格显示了“下元”组和“中到中”组学生小学水平预试的t检验结果，表明两组学生在进行学习活动之前的英语阅读水平有显着性差异。 通过分析能力测试结果和偏好数据，推荐系统给出了建议(即。 推荐文章)给个别学生基于建议的方法。 此外，还进行了一项实验，以评估该系统提出的建议是否符合专家的决定。 在本实验中，两位专家被要求通过确定文章从“最合适”到“不合适”的顺序，将N篇文章的“适宜性”排序给学生”。 N篇文章包含推荐系统和N1篇随机选择的文章。
在这项研究中，有两名专家参加了实验。 下表显示了“中级到高级”学位学生和“初级”学位学生的实验结果，通过比较专家的推荐意见和方法的推荐结果。 研究发现，学习系统所提建议的平均准确率较高（即“中级至高级”学位学生和“初级以下”学位学生分别为95%和91）。 此外，还应用Spearman秩相关来检验两位英语教学专家提出的建议之间的一致性。 两位专家的相关系数为。 552与p<。 01(n=28)；即两位专家作出的相应决定之间的一致性呈中相关，这意味着下表所示的准确性程度是可以接受的.
通过这些方法比较专家建议表
|
|
Student ID |
|
S03 |
S05 |
S12 |
S13 |
S15 |
S16 |
S20 |
S22 |
S24 |
S25 |
S26 |
S28 |
S29 |
|
Intermediate-to-high-intermediate degree students 中级到高级学生 |
Expert 1 |
Recommendation Order |
3 |
1 |
2 |
1 |
1 |
1 |
1 |
1 |
2 |
1 |
1 |
1 |
1 |
|
accuracy degree |
0.6 |
1.0 |
0.8 |
1.0 |
1.0 |
0.8 |
1.0 |
1.0 |
1.0 |
1.0 |
1.0 |
1.0 |
1.0 |
||
|
Expert2 |
Recommendation order |
2 |
1 |
2 |
1 |
1 |
2 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
|
|
Accuracy degree |
0.8 |
1.0 |
0.8 |
1.0 |
1.0 |
0.8 |
1.0 |
1.0 |
1.0 |
1.0 |
1.0 |
1.0 |
1.0 |
||
|
|
Student ID |
S01 |
S04 |
S06 |
S07 |
S08 |
S09 |
S10 |
S11 |
S17 |
S18 |
S19 |
S21 |
S23 |
S27 |
|
BELOW-elementary degree students 低水平学生 |
Expert1 |
Recommendation Order |
1 |
4 |
2 |
2 |
3 |
1 |
1 |
1 |
1 |
2 |
1 |
1 |
2 |
|
|
|
accuracy degree |
1.0 |
0.4 |
0.8 |
0.6 |
1.0 |
1.0 |
1.0 |
0.8 |
1.0 |
0.6 |
0.4 |
1.0 |
1.0 |
|
Expert2 |
Recommendation Order |
1 |
2 |
1 |
1 |
1 |
1 |
1 |
1 |
2 |
1 |
1 |
1 |
1 |
|
|
accuracy degree |
1.0 |
0.8 |
0.6 |
1.0 |
1.0 |
1.0 |
0.8 |
0.6 |
1.0 |
1.0 |
0.6 |
1.0 |
0.6 |
5.3学习动机调查
推荐系统已实际应用于高中英语阅读课程。 发现学生在使用推荐系统后有明显的动机。 从问卷调查的统计结果来看，使用推荐系统后，超过62%的参与者的学习动机增加泰姆。 此外，近31%的参与者的学习动机下降。 有趣的是，78%的学习动机下降的学生的学习结果很差。 这意味着，如果没有推荐系统的帮助（或拒绝接受帮助），大多数学生可能无法在提高英语阅读水平方面取得进展。 从使用推荐系统后问卷的统计结果来看，大多数参与者都给出了积极的反馈。 超过80%的参与者一致认为该方法有助于他们提高学习动机。 使用推荐系统前后学生学习动机调查的t检验结果如表所示。 可见，学生在阅读系统推荐的文章后，学习动机增加。
模拟数据独立t检验--使用推荐系统前后学生学习动机调查结果表
|
一对比较的样本 |
N |
Mean |
S.D |
t |
|
参与学习活动之后 |
29 |
5.46 |
0.81 |
2.15 |
|
参与学习活动之前 |
29 |
5.03 |
0.76 |
|
5.4感知有用性和满意度调查
为了确认推荐系统在英语阅读课上使用时学生的感知，本研究引入了从技术接受模型中修改的感知有用性问卷。 调查结果见下表。 发现近90%的用户赞成使用推荐系统。 比例接近推荐准确率。 还调查了用户的意图和满意度。 研究发现，超过83.68%的参与者同意并满意推荐的文章。 此外，75.86%的学习者指出推荐的文章很有趣，因此阅读材料推荐对满足他们的兴趣以及提高他们的学习动机是有效的。
|
Perception survey: perceived usefulness
|
Extremely unlikely (%) 极不可能性 |
Quite unlikely (%)
|
Slightly unlikely (%)
|
Neither (%)
|
Slightly likely (%)
|
Quite likely (%) |
Extremely likely (%)
|
|
Using the reading article recommendation system in English reading would enable me to find appropriate reading articles more quickly 快速发现合适的英文文章 |
0 |
0 |
0 |
2.6 |
23.7 |
39.5 |
34.2 |
|
Using the reading article recommendation system would improve my English reading performance 提高英语成绩0 |
0 |
0 |
0 |
7.9 |
23.7 |
39.5 |
28.9 |
|
Using the reading article recommendation system in English reading would increase my reading comprehension productivity 提高阅读理解能力 |
0 |
0 |
2.6 |
10.5 |
15.8 |
34.2 |
36.8 |
|
Using the reading article recommendation system would make it easier to do English reading 读英语阅读更加容易 |
0 |
0 |
2.6 |
7.9 |
18.4 |
44.7 |
26.3 |
|
I would find the reading article recommendation system useful in English 发现推荐系统在课堂上有用 reading class
|
0 |
0 |
2.6 |
7.9 |
18.4 |
44.7 |
26.3 |
5.5不同推荐方法的比较调查
为了更清楚地总结所提出的方法的优点，下表给出了现有学习材料推荐方法的比较，从中可以看出，所提出的方法使阅读材料推荐行为更像领域专家。 此外，采用这种方法开发的系统将更容易维护，并提供更准确的建议。 然而，应当指出，这一办法取决于从专家那里获取知识，这一步骤需要时间，而且在数据挖掘或统计方法中不需要。
|
Comparison比较 |
This study这篇研究 |
Data minging 数据最小 |
Statistical 统计学的 |
|
System training time （development time） 系统培训时间 |
short |
long |
medium |
|
Behave more like domain experts 行为更像领域专家 |
Yes
|
no |
no |
|
Need to collect large number of training data 需要收集大量培训数据 |
No |
yes |
yes |
|
Flexibility（easy to maintain and modify 容易维护） |
Yes |
no |
no |
|
Time needed for interviewing domain experts 需要时间面试领域专家 |
Yes |
no |
no |
六、总结
本研究基于英语教学专家的意见和领域知识，成功地开发了EFL英语阅读推荐专家系统。 提出了一种从多个专家那里获取领域专业知识的知识工程方法。 此外，一些试点测试表明了该方法的有效性。 本研究的主要贡献是提出一种方法，通过考虑个别学生的偏好和知识水平以及文章的类别和特征，开发一种类似专家的英语阅读推荐。 这种方法与以前的研究有很大的不同，这些研究主要集中在分析学生的概况或学习组合。 所开发的推荐系统不仅表现得更像领域专家，而且具有易于维护和扩展的优点，尽管采访领域专家需要时间。 在未来，建议数据库中的文章数量不仅要不断增加，以促进成功匹配用户需求的机会，而且要增加文章类别的数量建议的条款。 通过在未来尝试寻找并增加与其偏好相对应的文章类别数量，希望能轻松找到最优或最合适的文章。
5.3学习动机调查
浙公网安备 33010602011771号