2016-12-22 社群月会 – 教育信息化时代的评量

主题: 教育信息化时代的评量
Buckingham Shum (2012) : “Our learning analytics are our pedagogy.” 直指学习分析与评量 — 两者都是对学习者的心智状态或技能作评估 — 其实与教学法(pedagogy)强相关,例如: 测验对知识的记忆,正对应学习是知识转移的信念。谈再多教育与学习的创新转化,例如翻转教学、遊戏式学习、或老师要为学生準备未来能力,瓶颈都在评量,评量方式与指标没有改变,空喊别让考试领导教学(teach to the test), 必是徒劳无功。

– Assessment of learning vs. Assessment for learning?
– 信息化学习环境可能带来新的评量方式,或评量出新的维度吗?
– 如何评量 21C 能力、多元智能、现代所需的数位知能?
– 互联网 + 教育信息化时代,有哪些新的评量需求与机会?

与会者:

實體:

中華數位學習學會 林立傑博士

中華數位學習學會 郭經華 理事長

佛光大學 林繼任博士

松盟科技 解宗沛 執行董事

新竹市政府 李宬風 督學

資策會教研所 江玠峰、王敏嫻、鄭淵澤

劉林榮校長

線上:

Classroom Aid Inc. Jessie Chuang 

National Taiwan Normal University (visiting The University of Hong Kong): Shawn Sun Lin 孫林宏證

宏鼎資訊 : Irene、Rena、思妘、John

育睿科技 張大明

解宗沛:
松盟服务全台湾学校在评量上需求,以模拟考为主,一年约180万学生人次,目前有发展一些简单分析,看到评量数据後面有很大的发展空间,不过非标準化资料的问题,以及老师的接受度,的确也是产品化的障碍。

李宬风:
评量分成形成性评量与总结性评量,过去做形成性评量的方式很粗暴,是用大量试题及多次施测来理解学生程度,考过也不见得有反馈给学生(个别差异),很浪费学习时间,对这个问题适性学习系统绝对帮得上忙。

考试领导教学由来已久,这是必然,我们应该利用它。例如: 学习目标颗粒化,目标订好之後,先设计评量与规準(rubrics),再进行课程设计,这样考试就能很有效率去领导教学。

另一个困境,是中小学学生的学习焦点有些转移,从九年一贯到十二年国教,以前是学知识,後来九年一贯强调学能力,现在十二年国教更拉高层次强调学习素养,但是对教育界很多老师是很困惑的。困境在於,如何评量。这部分希望各领域专家讨论应该更多,因为教育部提出的概念是很糢糊的。方向对了才能聚焦。

Jessie:
第一个问题是,我们要评量甚麽? 如何评量?

社会的变迁让学习的目标必须跟著进步,普遍社会看法知道现在要学能力,但是如何评量? 评量 “能力” 还需研究发展,但是即使我们发展出一套方法,是否有机会在实际的教育系统内落实执行?

李宬风:
评量能力可能还比较明确,例如 PISA 的方式,给一个问题让学生去回答,还算明确。但评量素养就比较糢糊,可能需要学生提一套解决方案或模式出来,可能无法线上评量,更不能用选择题,势必要有人(老师)做介面去评量。不知松盟有没有开发一些评量能力导向的问题? 我想你们应该有这能力,也可结合教授或老师来开发评量题目。至於学生答题如何去解析,那是後面的问题。

我曾参与为 PISA 应试而开的会议,我想可以参考 PISA 的设计,找几个单位,例如台南大学,他们做关於 PISA 的研究已经很长一段时间了,另外,交大教育所科学教育组也有研究,有兴趣可以跟它们接触合作。

解宗沛:
我们目前以服务模拟考需求为主,商业机构必须有投资报酬率,才能有动能往前,也才能投入研究资源。即使在美国,强调培养独立思考、团队合作、专案学习与计画能力,但是目前仍没有一个量化方法来评量这些能力,大多以专案研究方式来进行,例如机器人专案、医学研究专案。

李宬风:
这是一个大环境,大家要各自分工,例如学术界应该要去做研究,把方法建构清楚後,商业界就可以把它商业化,那老师可以做实务上的命题或导入现场。其实教育部还是有政策聚焦的功能,它走在前面,还是有带动各领域的影响力。教学现场就会慢慢转移,例如 60% 时间在知识的传授,30 % 时间做专案,10% 时间做更有创意的活动。现在会考占的比例也降到 30%,转变的确有在发生,但需要时间。更重要的是先要大家有共识,整个产业会很有发展空间,例如本来要做 100 题才能测出学生迷失概念,如果有适性评量机制,可能做 3-5 题就知道迷失概念所在,效率提升是大家都要的。

解宗沛:
第一步应该从哪里开始?

李宬风:
我建议大学领头做研究,带一群老师去做,无论是能力或素养评量的工具开发与命题,会很好,而资策会可以提供软体系统的开发,无法用机器做的,先用人来评量,评量出来数据再用机器去分析或建模。最後,这些方法与模型都成熟,再交给厂商去商品化。老师其实是 follow 政策在做,可以建立工作坊让老师参与,而领头可以由教育局找一些大学来建立研究专案。

Jessie:
因为数位化,下世代的评量可以嵌入在学习中(降低浪费在考试上的时间,更真实),反馈可以是即时的,而且评量题目的形式不只是文字或图表,可以包含多媒体素材、可以是遊戏;可以是模拟(simulation),模拟有很多可能,例如像PhET 是一种,从学生跟它的互动动作,我们可以对学习过程有更深入的分析,模拟也可以是针对技能性的评量,像开飞机,也可以针对道德的评量,像给出一个 scenario ,可能以问答方式或选择路径来评量学习者,这些都是数位评量的新可能。

以 PISA 要评量合作解决问题(CPS) 的能力,有对 CPS 过程订出明确框架与步骤,这些都可能评量,而 Pearson 也有做过这方面研究,探讨是否能以数位系统与人的互动作为评量方式,解决必须以人来评量 CPS 能力而可能造成的标準不一致,的确有看到正面结论。

现在许多老师使用分组进行专案合作的教学法,但是因为学生使用各种不同社群媒体联络与沟通合作,所以老师无法监控过程而给予适时辅导或正确评价个人贡献,所以 Queensland University of Technology 有个教授就是利用 xAPI 介接不同工具的纪录,以标準格式收集过程资料,而能即时整合资料做学习分析,甚至即时返回给学生做同侪评估与自我评估。

林继任:
有个哈佛大学教授分享他实验性的授课方式 — 不考试,因为考试可能造成学生焦虑、影响学习兴趣,但是评量主要目的应该是为了给学生与老师反馈,所以他的课主要专注在过程中给学生反馈,其实这本身就是一种评量,而这样实施的效果很好,学生并没有因为没考试就不学习,但是实际上要真的把分数整个从教育系统中取消仍有困难。

老师在课程中如果用心观察学生其实都可以知道学生状况,但学生太多还是有困难,我们要记得评量是为了帮学生学习。而利用数位系统收集资料的问题是通常只能取得片面局部的资料,无法有完整数据,如果能用 xAPI 收集彙整更多学习数据,加上更多研究,可以进行更好的评量。
李宬风:
新竹的玄奘大学对此相当积极,对於入学评量方式的 P 部分,它想往下与中小学学习历程做整合,但是问题是教学尚未全面数位化,所以目前仍无法有细部过程资料,只是粗的统计资料对学生帮助有限。

评量需要细分去看待与设计,例如老师所谓学习单其实也是一种评量,从每堂课的小範围评量到大的範围评量,需要不同命题设计,不能一概而论。

林继任:
在练习时即时反馈其实学生学习非常快,这也是一种评量,本身就与学习结合,非常有价值。

解宗沛:
形成性评量与学习结合 — assessment embedded in learning, real-time feedback — 的确是最好的学习方式,又有诊断功能;但是总结性评量目的不同,两者考题设计不同。不过前者问题在开发成本太高,开发出来老师也不见得会照单全收。

李宬风:
目前尚未有这样的系统,不过我们的确有跟出版社合作开发,直接将评量对应知识节点嵌入学习中,仅是小量实验,开发成本太高,所以还是需要内容共享,给老师共同备课的机制、内容与评量素材就好,老师可以取其所需客製化。一定需要大家一起合作才可能成功,只要架构对,慢慢改进补足都可行。值得探讨看看商业化的做法。

如果有个共同的规格与metadata,不须太複杂(降低门槛),老师上传内容,就可以开始共同备课的机制。

Jessie:
共同备课是一直谈到应该要做的,我们如何解决困难点? 让共享有效率,要处理授权问题,使用开放授权可让开放协作有效率,降低内容取得的成本,以及知识地图的标準化,平台内建 xAPI,内容在使用时自动会送标準化纪录,不须老师操心。

李宬风:
知识结构的地图可能标準化,但个人学习路径应该不同。(topology or learning map)

郑渊泽:
目前酷课云采自建式知识地图,由北市政府教育局成立的臺北市数位学习教育中心,召集老师们制定各学制(国小、国中、高中)内各科目的知识地图,目前已有雏型架构上系统(架构可至酷课云的酷课学习网页下方有地图学习专区,能点击展开观看内容),成为目前酷课云在对所有数位内容下”标籤tag”一重要的指标,无论共备或後续资料分析应能扮演一定角色。

唯实际执行上目前观察第一线教师初步对於如何选择节点内容是有落差的,观察一方面是目前台湾教师还是较熟悉各出版社教科书章节结构,二方面是官方於知识结点推动上目前也较无一系统化推动与宣达,造成目前虽有初步节点架构,但在使用上并不是那麽的直觉与好用。因应现况,学习中心也有在思考目前知识節点与出版社教科书章节的对应。唯目前尚未有明确的结论。

(p.s.北市酷课云有这样的节点机制其实是很好的一个开始,但是从执行面上还有满多可以结合各方力量的整合)

刘林荣:
需要提升老师的专业能力,跟上时代需求,老师要知道教育目标是甚麽,要让孩子具备甚麽能力,才可能做教学设计与评量。德国总理也说,为因应新科技时代的快速变化,教育要跟上脚步,老师的能力与资格要重新审视思考。

研究重要,产品化更重要,评量绝对有巨大市场。我主张以评量引领教学。

中共国务院副总理刘延东公开建议学校跟企业购买优质的服务,参考新闻:
http://big5.jinri-toutiao.com/id/123316.html

李宬风:
教育部有个计划 — 国中学生学习成就评量标準,在师大心测中心进行,把每个概念分成主题跟次主题,以次主题为评量单位,已经试办很多年,今年 105 学年度是第五年试办,但一直推不出来,碰到瓶颈,五年间也收集老师端产出的题目题库,这套是走教学现场的实施(不像会考),目的是从将评量常模参照转化为标準参照,学生很清楚知道自己的能力在那里。这计画希望未来能取代入学考试,从在学期间累积这些与标準对齐的评量纪录,是学习履历,作为入学参考。无论是不是取代会考,这些成果对学习或评量都很有价值。值得延续探讨发展。

孫林:

*Ideas of assessment (knowledge, abilities, and skills, literacy)

  1. pre-test and post-test -> memory and retrieval
  2. stealth assessment -> happening now, feedback, assist, and support immediately
  3. multiple intelligences -> conventional tests and behavioural analytics -> patterns -> abilities, skills, and literacy
  4. indicators -> criteria -> framework -> marking system -> task design -> performance assessment/evaluation -> productive work (e.g., pre-test, post-test, stealth assessment, assessment as conversation or interaction with learning content)

*Learning analytics and adaptive assessment

  1. what happened? -> learning worksheets and stealth assessments
  2. what may happen next? -> pattern developing and matching
  3. what we should do? -> developed worked examples and expert feedback

张大明:
育睿科技发展一套以问与答的学习服务云端系统(欧倍特培育数据云),解决企业市场人才培育的问题 (B2B员工训练市场),企业员工训练绩效标準采用Kirkpatrick four Level +ROI框架,配合对应的视觉化图表,实施内部种子讲师为先,并导入内部讲师制度,以及课程发展会议,作为训练规划实施的基础。所以在绩效评估需依企业需求而定,再看训练设计与实施,属於以终为始的模式。

2016-12-22 社群月会 – 教育信息化时代的评量
Tagged on:             

发表评论