电子书

收集学习历程数据可以提供给教学设计者、内容製作者、甚至学习者本身作为分析与行动的根据,如果将学习过程视为控制系统,具有反馈机制的负回馈系统才能提升往目标趋近的效率,在反馈 (Feedback) 对学习的重要与可能性一文指出,学习反馈要经常发生、尽快发生(最好即时)、并提供丰富资讯,才能有效帮助学习过程。

IEEE Actionable Data Book (ADB,註) 委员会主席 John Costa 提出利用 xAPI 数据形成即时反馈的概念,旨将学习历程数据变成”可驱动行动” (Actionable) 的第一步。我们认为发挥一些创意,可以非常有效的转化一般的学习内容。以下是一个情境案例,展示如何运用 xAPI 学习记录,在学习者阅读的电子书中即时的提供他们 (视觉化的) 的反馈。

 

John B Costa 製作

 

故事背景

(建立者 : Frank Polster and Jeff Segall)

Susan 最近被录用加入 Nanno LLC 公司的安全团队。Nanno LLC 刚从一家拥有奈米生产技术的研发公司扩展为拥有小规模生产线的企业,现在正致力提升它们的生产力来成为具有大规模奈米产品生产力的公司。Nanno LLC 的挑战之一在於因为它们是新行业,目前没有奈米产品生产的职业安全与健康管理 (OSHA) 标準。Nanno LLC 目前只有一整套它自己的最佳实务 (Best Practices) 和标準作业流程 (SOPs),而安全部门则有一堆良好的追踪记录。

安全团队拥有一名主管、一名安全工程师和 20 名技术人员,其中 5 人 是新人,15 名团队其他成员已经跟随 Nanno LLC 好几年,有些甚至从公司成立就已加入,他们的技术水準有高有低。随著 Nanno LLC 要扩大产量到更高层次,安全步骤需要修订,团队成员的技术水準和遵守新生产流程的能力需要重新认證。安全团队也需要重新评估用来评量 Nanno LLC 整个工厂安全水準的最佳实务、标準作业流程 (SOPs) 和检核表 (Checklists)。

安全团队的主管和安全工程师著手建立了一套 ADB,里面包含 Nanno LLC 最佳实务、标準作业流程、各个团队成员的任务、检核表以及来自疾管局 (CDC) 关於奈米製造相关资讯。

技术人员的技能等级是描述为低、中和高。主管和安全工程师在接下来一个月会观看 ADB 分析资料来追踪个别成员和整个团队进度。最後主管和安全工程师需回报 Nanno LLC 管理阶层是否其安全团队已经为进行大规模奈米生产做好準备。

 

故事细节

(建立者 : Jeff Segall and Jessie Chuang)

案例: “迈向安全奈米技术” ADB 电子书团队研习专案

专案研习时程: 2015/4/1~ 2015/4/30

评量: 期初评量: 4/1,最终评量: 4/30

形成性评量: 第四章结束後: 测验1 (在 p.7),第七章结束後: 测验 2 (在 p.18)。测验时间限制皆为 10 分钟。每个测验各有 3 项分别对应布卢姆分类 (Bloom’s Taxonomy) 之”记忆” (Remembering)、”理解” (Understanding) 和”应用” (Application) 的题目。

学习者案例

(这里仅描述 5 个极端案例 (Corner Cases))

Paul: 书的内容是对他来说太过简单,但他透过回应他人请求及分享外部资源对团队提供助益。

Tom: 他是一个勤奋的学习者,但缺乏学习或解决问题的能力; 当他要求提供协助时为时已晚,因此无法跟上团队进度。

Emily: 她有良好的学习技能 (做笔记,标示重点、测验前做複习,请求协助),但她从来不协助他人。

Mary: 她并未真正投入学习行列,指导员提供两次协助她都没有回应。但无法从学习记录找出真正的原因,需要另外的介入了解。

Watson: 他是一个快速的学习者,积极投入、主动学习并利用反馈小工具 (Widget),具有优秀的研读和学习能力,而专案研习开始时他还只是个新人。

 

学习證据

努力 (Experience Points): 所花时间; 采取的行动(动词): 阅读、观看、尝试、回答、互动

研读技能 (Study Skills): 动词: 做笔记、标示重点、搜寻

解决问题 (Problem Solving): 提出要求 (要求同事或指导员的协助)

影响力 (Influencer): 分享资源、回应同侪问题

学习技能: 动词: 提出要求、回应,分享及所有的研读技能 (Study Skills)动词

(註: 学习技能是较高层次且更广泛的技能,透过与内容、工具、团队学习者和指导员的互动,做出有意义的内容,研究、收集、分享、教导他人……,几乎所有的动词会在过程中出现)

 

电子书设计设定

嵌入式的小工具 (Widget) 能使学习者在他们阅读这本书标示重点、做笔记、提出要求等等。标示重点、做笔记、分享 (外部资源)、提出要求、回应要求 (从指导员或同侪) 都可以被专案研习团队其他人所看到,只有指导员对各别学习者的介入协助 (Intervention) 不会被看见。

 

反餽仪表板 (Dashboard)

反馈小工具 (Widget) 被嵌入到电子书页面可以触发学习者的行为并提供指导。当学习者与可钻研式图表 (Drillable Chart,点进去可看到更详细的资料的图表) 进行互动时,他们可以得到他们改变行为的即时反馈,进而学习到如何提升他们的学习。他们也可以在仪表板内直接要求指导。以下範例是一个基本的设计,可以依需求客製化或优化。当学习者点击横条图,他们可以看到那些行动能有助於提升学习技能、影响力和解决问题。

 

 

分析

(建立者 : Jessie Chuang and Roger Hu)

在学习记录储存库 (Learning Record Store,LRS) 仪表板中,指导员可以进行整体监看、或详细检查学习者表现数据。

 

电子书使用行为分析

指导员可以查看群组和个别学习者的图表,学习者也可以选择查看自己的、或整个学习团队累积的图表。指导员和学习者都可以点击动词以查看学习团队的集体智慧,例如详细的笔记、重点标示或要求。书本使用资讯如花费时间、动词、各页测验结果都能被视觉化呈现(以下是时间花费分布的例子)。指导员可以在仪表板内发送介入指导(Intervention) 给个别学习者。

 

 

时间轴 (Timeline) 分析

我们可以观察到每个学习者开始学习的时间 (积极主动的学习比较早开始),指导员介入的影响 ,以及,学习者的习惯,像是测验和评量前複习等等。

 

关联性

我们可以把学习过程相关指标 (时间花费,动词计数…) 跟实际表现关联在一起,以找出可能的因果关係。我们应该把业务目标分解成有形的指标,对於这个例子,指标 (KPI) 可能是零步骤(程序)错误、快速回应工厂内事件、新的改善建议以减少人为错误和风险等等。

 

学习者专业能力

藉由对齐适当的专业能力标準与建立元数据 (Metadata) ,评量可以协助我们找出学习者的技能水準和专业能力,来自包括学习过程或职场内真正的绩效表现,而 xAPI 把所有这些资料都包含在其资料迴圈中。

 

结论

由这个故事可看到,不同的学习者可以采取行动的下一步骤会有所不同,指导员可以在过程采取行动来改善学习。这是一个案例故事用以阐明资料迴圈如何能够即时协助学习者和教练。实际上,分析钻研会更加深入。

当我们可以建立这种资料迴圈时,要测量什麽是个大问题。基本资料,如花费时间和动词计数不能给我们足够的资讯和正确诊断。这份报告指出,”针对 118 生物学学生的研究发现,讨论张贴讯息、已完成的评量和发送邮件的数量对预测学生表现是有用的,但其他例如上网总时间则不是。它发现,学业成绩表现很难由基本资料预测。相反的,更丰富的资讯,如评估期间各种不同评量的表现、学习策略以及对学习的态度才让研究人员更加理解学生为什麽会,以及,如何随著时间推移在这学习环境中互动。因此,至关重要的是把学生纳入作为改变的关键(Active Agent) 和协作者 (Collaborators)。以学生为导向 (Student-Oriented) 的学习分析,将资料显示给学习者,能为学生和教师提供自我省思和发展分享所知的机会。”

反馈小工具可以成为媒介与学员互动,为不同的目的做不同的设计。它是一种与学习者合作 (设计上要试著吸引学习者) 、并能对学习者的行为和态度获得更深入理解的方法。我们现在离理想的以證据驱动学习策略又靠近了一步。

虽然上面例子是在电子书学习环境中进行,但学习数据来源或反馈迴圈并不局限於电子书本身。这是一个自主学习 (Self-Paced) 的培训案例。下一次我们将要讨论运用 xAPI 来为效能支持 (Performance Support) 建立即时的资料迴圈。

 

感谢

仪表板设计和分析是与资策会数位教育研究所 (DEI) 共同研究及发展的成果,智财权为 DEI 与 Classroom Aid 共有。

 

如果您有兴趣进一步了解 xAPI 可以如何转化您的学习内容、产品或方案,加入 xAPI 学习生态系,请联络我们或预约谘询

註: 这个实施例应用在 ADB 之上,IEEE Actionable Data Book (ADB) 是根据 ePub3 标準及最新的学习标準 — Experienced API ( xAPI) 为电子书所建立的标準,目的在提供以数据驱动学习 (Data-Driven Learning) 设计使用。IEEE ADB 专案源自 2011年 IEEE 全球人道主义科技会议提交的一份论文,有关於建立一个广泛适用的架构来构建能够结合资料收集和视觉化的教育应用程式。

 

资讯来源: Classroom Aid Inc./数位学习无国界

 

转载时请复制以下文字与链接贴到文章下方:

本文出自数位学习无国界 (chinese.classroom-aid.com),由 Classroom Aid 团队所建立,开放授权条件 CC BY-NC-SA,转载请复制贴上此段声明在文章下方即可。