论文笔记 Prerequisite-Driven Deep Knowledge Tracing

摘要

这篇文章考虑了知识追踪任务中概念之间的先决条件关系，为了能够建模这种关系，将先决条件关系建模为有序对（ordering pairs),用作知识追踪模型中的约束，提出了PDKT-C（Prerequisite-driven Deep Knowledge Tracing with Constraint modeling）

方法

1 对习题序列的建模

这一部分主要是使用GRU来建模，学生在时间\(t\)的知识状态为\(\mathbf{h}_{i,t}\) ,那么学生\(i\)对于一个知识点\(k\)的掌握为

\[P(m_{i,k,t}=1|\Theta)=\sigma(\mathbf{h}^T_{i,t-1}\mathbf{c}_k+b_m) \]

\(c_k\)是知识点的嵌入表示

2 对先决条件的建模

给定\(k_1\)是\(k_2\)的先决条件，那么存在如下两个要求：

\(R_1\):如果学生\(i\)在时间\(t_2\)掌握了\(k_2\),那么我们直觉上认为他从那以后也掌握了\(k_1\) ,形式化定义为\((m_{i,k_2,t_2}=1)\Rightarrow(m_{i,k_1,t_1}=1)\),其中\(t_1\ge t_2\)
\(R_2\):如果学生\(i\)没在时间\(t_1\)掌握了\(k_1\),那大概率也没掌握了\(k_2\) ,形式化定义为\((m_{i,k_1,t_1}=0)\Rightarrow(m_{i,k_2,t_2}=0)\),其中\(t_2\ge t_1\)

这两个条件并不容易建模，于是文章提出另一个版本：

\(\widetilde{R}_1\):如果\(P(m_{i,k_2,t_2}=1)\)很大，那么\(P(m_{i,k_1,t_1}=1)\)也会很大

\(\widetilde{R}_2\):如果\(P(m_{i,k_1,t_1}=1)\)很小，那么\(P(m_{i,k_2,t_2}=1)\)也会很小

进一步有：

\[P(m_{i,k_2,t_2}=1)\le P(m_{i,k_1,t_1}=1)\\ \forall y_{i,\pi(i,t_1),t_1} = y_{i,\pi(i,t_2),t_2} \]

它可以作为正则项出现在目标函数中：

\[\max_\Theta \sum_i\sum_t logP(y_i,\pi(i,t),t|\mathbf{s}_i,\Theta)+\\\lambda \sum_i\sum_{k_1,k_2}\sum_{t_1}\sum_{t_2}\delta(*)[logP(m_{i,k_1,t_1}=1) - logP(m_{i,k_2,t_2}=1)] \]