一个互动的的同伴评价标准发展方法能否提高学生使用手持设备的艺术设计能力

一个互动的的同伴评价标准发展方法能否提高学生使用手持设备的艺术设计能力

一、摘要

让学生进行更高层次的思考。如评价和分析已经成为帮助学生发展知识和技能的最重要的策略，尤其是在发展以创新为导向的学习活动中，如艺术设计。在本文中，我们提出了一种互动的同伴评估标准开发方法，以帮助学生制定评估标准，从观看同伴的作品中学习，并在使用移动设备的美术设计活动中进行反思。为了评估该方法的有效性，我们在某小学美术课程中进行了实验。参与实验的103名学生被分为实验组和控制组。实验组的学生使用建议的方法学习，而控制组的学生使用传统的同伴评估方法学习。实验结果发现，该方法显著提高了学生的学习成绩、学习动机和元认知意识，表明以互动的方式让学生参与评价标准的制定是有效的。

二、简介

几十年来，学者们一直强调在学校环境中进行高层次思维活动的重要性。在艺术与设计课程等以创意为导向的课程中，培养学生对艺术作品评价标准的认识，已被认为是提高学生知识水平和发展艺术技能的关键。在各种学习策略中，同伴评价被认为是帮助学生了解教师评价准则，并在学习过程中进行反思的有效方法。在过去的十年中，一些研究报告了在学校环境中进行同伴评估活动的有效性。

另一方面，学者们指出了在应用同伴评价方法时存在的几个问题。例如，学生可能不能完全理解同伴评估的意义或老师提供的规则。当面对复杂的评估任务时，他们也会感到沮丧。此外，一些学生可能会忽略评估标准和来自同龄人的反馈。此外，传统的同伴评价也存在一些局限性。例如，它缺乏有效的方法让学生在评估过程中开发、检查和修改评分规则;也就是说，学生只是按照老师提供的标准去做，并没有考虑为什么会采用这些标准

因此，要培养学生在艺术或设计课程中的评价能力，让学生参与到评价标准的制定中是很重要的。在本研究，提出了一种互动的同伴评价标准开发方法。在此基础上，我们实施了一个学习系统，让学生可以利用移动设备，制定评估标准，分享作品，评论同伴的作品，并根据同伴的评论做出回应。本研究从学习成就、动机、元认知等方面对该方法进行了实验评估。

 

三、文献综述

3.1同伴评价

通过理解教师的评估标准，从观察同伴的工作中学习，并进行反思，同伴评价被认为是一种潜在的学习策略，可以让学生参与知识构建和技能发展。将同伴评价定义为一种学习策略，通过这种方式，学生们可以对学习内容相同的同学的学习成果或工作的价值或质量进行评价或评论。进行同伴评估活动的目的是提高学生的学习成果，刺激他们的更高层次思维(如元认知意识，并增加他们的自主性。例如，一些研究报告指出，同伴评价活动在提高学生自主学习能力方面是有效的。此外，还指出让学生在充当他们反思过程中的审查者的角色。

另一方面，从同伴那里得到反馈对提高学生的学习成果也有好处。在学习过程中，通过检查同学的评价，学生的反馈可以逐渐变得更加全面和正确。其他研究人员也发现，评估训练可以显著减少学生和教师对示范项目的评分差异;也就是说，可以提高学生的元认知意识。

几项研究进一步强调了让学生参与同伴评估活动的好处，包括激发学生的自我反思和更高层次的思考。此外，已经有报道指出让学生参与同伴评价的其它优势，如促进他们的学习表现、学习动机、促进他们的自我反思和沟通能力。有学者指出指出，让学生参与评优活动，不仅能让他们参与反思，还能提高他们更高层次的思维和沟通能力。

另一方面，研究人员指出了传统同伴评价方法的问题。其中一个问题是学生可能难以完全理解教师提供的评价标准。因此，建议研究者和教育工作者可以考虑让学生参与评价标准的制定。然而，据我们所知，尽管有这些建议，这些之前的研究都没有涉及学生制定自己的同伴评价准则;相反，他们只是要求学生根据这些标准（由教师提供的标准）来评价他们同龄人的作业。在大多数的同伴评价活动中遇到的另一个问题是由于缺乏有效的工具或策略，教师通常无法提供即时的评论或反馈。在学习过程中，遇到困难的问题时，学生很容易感到沮丧和失去兴趣。

因此，本研究的目的是通过提出一种互动的同伴评价标准来克服这些问题方法，并在此基础上实施学习支持系统，以提高学生的学习成果。

3.2移动技术强化学习

移动技术被认为是一种潜在的媒介，可以让学生在课堂或实地学习。而流行的手持设备，如智能手机和平板电脑，则不是这样，不仅使学生不受时间或空间的限制获得学习材料，也为教师提供了学习的机会，从新的角度开展学习活动。此外，许多研究人员报告了在学校环境中使用移动技术的好处，例如提供个性化学习目标和时间表、学习设施的使用，以及提供学习支持，随时随地的进行学习。

移动技术的出现将标准的发展带到了一个新的阶段。在移动技术的帮助下，学生们能够观察到由他们的同龄人开发的真实的艺术品，获得新的知识，通过访问在线资源，分享他们的作品和意见，重组他们的知识，创建评估标准，和对自己的作品进行反思。此外，提供个性化反馈的设施可以帮助学生发现自己在自己制定的标准中存在的不足，并认识到他们可能对教师提供的学习目标产生误解。

因此，本研究提出一种互动的同伴评价标准开发方法，用于开发一所小学美术课程海报设计单元的移动学习系统。此外，还调查了几个研究问题来评估所提方法的有效性：

(1)同伴评价标准开发方法能否提高学生的学习成绩?
(2)同伴评价标准开发方法能否提高学生的学习动机?
(3)同伴评价标准开发方法能否提高学生的元认知意识?
(4)同伴评价标准开发方法是否增加了学生的认知负荷?

3.3.基于形成标准的移动学习系统开发方法

为了鼓励学生进行更高层次的思考，开发了一个移动学习系统，以支持互动式同伴评价标准的发展。该系统由学生海报画廊、标准设置系统、同伴评价系统、学生档案和专家标准数据库。

学生海报廊提供所有学生的海报，供同学参考。

标准设置系统由一个评分海报单元、一个标准设置单元和一个显示他人标准的观察平台组成。同伴评价系统可让学生评价同学所制作的海报。专家标准数据库存储由专家开发的标准。专家(如教师)。

学习系统。学生登录学习系统后，可以在画廊中观看各个小组的海报。当他们开始

设定标准，提供了一个三步的标准设定程序:给海报打分，制定标准，查看他人的标准。在

学生制定标准的过程中，系统将他们的标准与专家的标准进行比较，然后给出

反馈。在学生完成所有的标准后，他们根据自己设计的标准来评价其他组的海报他们自己。

在这个过程中，学生需要排名前十由其他团体和自己制作的海报。在这一阶段，学生从事比较每一张海报的整体质量和评分海报是基于他们的优点和缺点。

 

四、基于形成标准的移动学习系统开发方法

 

 

 

 

 

                                                                                                                        Fig. 1. Structure of the mobile learning system.

 

 

 

Fig. 2. Flow of the interactive peer-assessment criteria development approach

五、实验设计

 

维度	等级
	3	2	1
文字	标题的大小是巨大的和醒目的。 内容的大小为中间类型。 文本具有丰富的修饰性。	标题的大小不够大。 内容的大小看起来与标题相同。 文字只有部分修饰。	标题太小了。 内容的大小太大。 文字没有修饰。
空间	空间的分布很好。 主要内容的字体大小合适。	空间的分布不够好。 主要内容的字体大小不够大。	空间的分布是凌乱的。 主要内容的字体大小太小
色彩	这张海报色彩鲜艳。 采用的颜色是主要的引人注目的内容。	这张海报只有2-3种颜色。 采用的颜色没有使主要内容醒目	这张海报太无聊了。 采用的颜色使海报显得凌乱
主题	所有的海报内容都与主题一致。 标题与主题高度相关。	海报的部分内容与主题相关。 标题与主题部分相关。	所有的内容，包括标题，都与主题无关。

海报设计的四个维度标准

 

 

 

 

Fig. 3 Diagram of the experiment design

一、实验结果

6.1 学习成绩分析

实验组的测试前分数的平均值和标准偏差分别为53.26和22.89，对照组为51.93和25.59。  t检验结果表明，两组之间没有显着差异，这意味着两组学生在学习活动之前具有相同的实验设计技能。

组统计
	组	个案数	平均值	标准差	标准误差平均值
学生成绩	实验组	10	88.7000	55.61585	17.58727
	对照组	10	66.6000	19.81694	6.26667

 

 

 

 

独立样本检验
		莱文方差等同性检验		平均值等同性 t 检验
		F	显著性	t	自由度	显著性（双尾）	平均值差值	标准误差差值	差值 95% 置信区间
									下限	上限
学生成绩	假定等方差	7.710	.012	1.184	18	.252	22.10000	18.67039	-17.12503	61.32503
	不假定等方差			1.184	11.249	.261	22.10000	18.67039	-18.88251	63.08251

 

    在学习活动之后，进行了第二次海报设计作为后测，以评估学生的设计技能。 表中数据显示了两组的测试后分数的t检验结果。 实验组的平均值和标准偏差为88.7000和55.61585，对照组为66.6000和19.81694。 根据t检验结果，p=0.012.p<0.05，所以实验组和对照组的学生成绩存在显著性差异。

 

5.2学习动机 ---- 协方差分析-------排除前侧对于后侧数据的影响。学习动机前侧作为协变量

问卷调查前学习动机评分的平均值和标准差在实验组中为4.00和0.59，在对照组中为4.19和0.62。t检验结果显示p>0.05,两组的问卷调查前评分之间无显着差异,表明两组学生在参加学习活动之前具有相同的学习动机。

 

方差的单变量分析

 

主体间因子
		个案数
V1	控制组	10
	实验组	11

 

 

描述统计
因变量:   后测
V1	平均值	标准偏差	个案数
控制组	255.10	308.137 137.00	10
实验组	255.10	308.137 137.00	11
总计	193.24	280.271	21

没有去除无关因素之后的描述统计

 

主体间效应检验
因变量:   后测
源	III 类平方和	自由度	均方	F	显著性	偏 Eta 平方
修正模型	234528.618a	2	117264.309	1.579	.233	.149
截距	339643.225	1	339643.225	4.574	.046	.203
前测	161469.709	1	161469.709	2.175	.158	.108
V1	115182.720	1	115182.720	1.551	.229	.079
误差	1336505.191	18	74250.288
总计	2355194.000	21
修正后总计	1571033.810	20
a. R 方 = .149（调整后 R 方 = .055）

前侧显著性大于0.05，也就说前侧对后侧的影响不大。

V1组别的显著性大于0.05，所以说前侧成绩中的两个组别对后侧成绩是没有影响的。

 

参数估算值
因变量:   后测
参数	B	标准误差	t	显著性	95% 置信区间		偏 Eta 平方
					下限	上限
截距	525.693	276.086	1.904	.073	-54.343	1105.728	.168
前测	-5.567	3.775	-1.475	.158	-13.499	2.364	.108
[V1=控制组]	150.845	121.112	1.246	.229	-103.602	405.292	.079
[V1=实验组]	0a	.	.	.	.	.	.
a. 此参数冗余，因此设置为零。

 

估算边际平均值

V1

 

估算值
因变量:   后测
V1	平均值	标准误差	95% 置信区间
			下限	上限
控制组	272.252a 121.407a	86.950	89.577	454.928
实验组	272.252a 121.407a	82.836	-52.625	295.439
a. 按下列值对模型中出现的协变量进行求值：前测 = 72.62。

 

 

 

成对比较
因变量:   后测
(I) V1	(J) V1	平均值差值 (I-J)	标准误差	显著性a	差值的 95% 置信区间a
					下限	上限
控制组	实验组	150.845	121.112 121.112	.229	-103.602	405.292
实验组	控制组	-150.845	121.112 121.112	.229	-405.292	103.602
基于估算边际平均值
a. 多重比较调节：体间因子值标签个案数组1实验10 2对照组10

 

 

单变量检验
因变量:   后测
	平方和	自由度	均方	F	显著性	偏 Eta 平方
对比	115182.720	1	115182.720	1.551	.229	.079
误差	1336505.191	18	74250.288
F 检验 V1 的效应。此检验基于估算边际平均值之间的线性无关成对比较。

 

 

	样本个数	平均值	标准差	调整后的均值	标准误差	f	显著性
实验组	10	255.10	137.00	121.407	121.112	1.551	0.229
控制组	11	255.10	308.137	272.252	121.112

 

P>0.05这表明互动性学习策略对学生的学习动机没有显著性影响。

5.3元认知意识-----协方差检验

元认知意识在评价标准的发展过程中，学生参与了确定要完成的目标、提出实现目标的标准、评价教师和同伴提出的标准、与他人交换意见、制定评价标准等高阶思维活动对标准修订的思考和判断。这些活动与元认知意识高度相关，元认知意识是指个体对自己和他人的认知过程和状态的了解。元认知意识帮助学习者制定和监控他们的学习计划，并使他们认识到自己的学习优势和弱点。

在本研究中，实验组的元认知意识问卷前评分的平均值和标准差分别为3.93和0.67，对照组为4.05和0.66。t检验结果表明，两组学生问卷前评分无显著性差异，表明两组学生在参与学习活动前具有相当的元认知意识。

 

	样本个数	平均值	标准差	调整后的均值	标准误差	f	显著性
实验组	17	26810	223.00	125.40	121.112	1.68	0.042
控制组	16	268.10	224.13	272.25	121.112

表中数据显示了两组元认知后问卷调查评分的结果，实验组的调整后的均值为125.40和标准差为121.112，控制组的为272.25和121.25，结果发现，p<0.05说明互动性学习策略对学生的元认知是有显著性影响的。

5.4认知负荷

作为一种新的体验，学生在美术课中采用互动式同伴评价标准发展法学习，是否会增加学生在学习过程中的认知负荷，是一个值得关注的问题。

 

 

 

组统计
	组	个案数	平均值	标准差	标准误差平均值
分数	实验组	10	167.1000	184.91046	58.47382
	对照组	10	206.6000	287.21931	90.82672

 

独立样本检验
		莱文方差等同性检验		平均值等同性 t 检验
		F	显著性	t	自由度	显著性（双尾）	平均值差值	标准误差差值	差值 95% 置信区间
									下限	上限
分数	假定等方差	2.375	.141	-.366	18	.719	-39.50000	108.02167	-266.44511	187.44511
	不假定等方差			-.366	15.367	.720	-39.50000	108.02167	-269.26503	190.26503

 

表中显示了t检验结果，p>0.05表明两组的认知负荷评分没有发现显著差异也就是说，互动同伴评估标准制定方法并没有增加学生的认知负荷。

二、讨论和总结

本篇文章主要是为了检测互动性学习策略对于学生的影响，分别从学习动机、元认知意识、以及认知负载三个方面心境讨论，其中在学习成绩时对后侧数据进行独立t检验，在检测学习动机以及元认知意识时运用了协方差分析，排除前侧对于后侧两组数据的影响，在认知负载时也采用了对后侧数据进行独立t检验来进行检测。

 

前后测都需要学生设计一张海报，这可以评判学生的学习成绩。

为什么前测有学习动机和元认知，后侧却是三个学习动机、元认知、和学习负载。学生的认知负载认为在前测都是一致的，所以用进行前测，

为什么学习成绩用了独立t检验？实际上独立t检验检测的是两个变量的平均数，方差分析主要检测的三个及其以上变量的独立t检验。所以两个变量进行独立t检验和方差分析算的结果是一样的。

在未经学习活动前，让实验组和对照组的学生进行了的海报设计技能相差不大，在除了学习方法不同外，其余因素都相同的条件下，让学生在进行学习活动后进行后测，画了第二幅海报，

为什么研究学习动机和元认知意识要用协方差检验。因为前后测用的是同一份试卷，要将前测作为协变量，排除前测对后测的影响。

要研究基于交互的同伴评价发展方法的学习方法对学生动机的影响，需要控制 学生使用的传统的同伴互评的学习方法作为控制变量，也就是协变量，将其排除掉，来研究新的基于同伴评价发展方法对学生学习动机的影响。