全国站北京站

揭秘首份义务教育质量监测报告:借力AI和大数据

编辑:csm351
2018-09-02来源:人民政协报教育在线周刊

       日前,《中国义务教育质量监测报告》已正式向社会公布,这是我国首份由国家专业监测机构对义务教育质量做出的“体检报告”。
       这份报告是如何完成的?其专业性和权威性如何?将对我国义务教育产生哪些影响?
       ■教育和质量监测的根本目的在于科学评估全国义务教育质量的总体水平,客观反映影响义务教育质量的基本因素状况,系统监测国家课程标准和相关政策的执行情况,做义务教育健康发展的“指挥棒”和“体检仪”。
       ■由于教育质量监测在我国是一项填补空白的事业,而西方已有的一些做法和经验也并不适用于我国,为此,2007年我国依托北京师范大学成立了教育部基础教育质量监测中心。
       ■根据《中华人民共和国义务教育法》和《国家义务教育质量监测方案》,教育部基础教育质量监测中心自2015年起,开展了国家义务教育质量监测工作。
整合优势资源
组建教育质量监测的“国家队”
       长期以来,由于缺乏准确反映义务教育质量状况的客观数据,我们难以全面客观地对义务教育质量做出评价,也很难有效诊断存在的问题及其根源,单纯以成绩和升学率为标准来评价学校教育教学质量的现象一直存在。为此,亟需建立国家义务教育质量监测制度,一方面通过对学生德智体美等全面发展状况的监测,在义务教育应当“培养什么人”和“如何培养人”方面发挥积极导向作用;另一方面,通过收集学生发展及其影响因素的客观数据,对国家和地方义务教育质量发展状况进行全面“体检”,为诊断问题、分析原因、调整政策提供科学依据。
       然而,由于教育质量监测在我国是一项填补空白的事业,而西方已有的一些做法和经验也并不适用于我国,为此,2007年我国依托北京师范大学成立了教育部基础教育质量监测中心。中心成立后,中心主任董奇教授马上开始着手组建国家义务教育质量监测工作队伍,核心力量主要来自于北京师范大学和全国高校、相关科研机构、教育行政机构具有相关专业背景的专家。
       通过搭建广泛开放的平台,汇聚国内外相关领域的资源和力量,监测中心逐步建立起一支强大的监测协同专家队伍。经过8年的试点监测和4年的正式监测,这支队伍通过监测实践不断发展壮大,成为一支既拥有前沿教育测量技术和国际视野,同时具有丰富教育实践经验和改革能力的队伍。目前,这个团队已拥有千余名专家,通过不同方式、从不同层面为教育质量监测的有效开展提供助力、作出贡献。团队成员既有各个学科领域的知名专家,也有来自于中小学一线的教育行政专家、教研员、校长、教师等;既有课程教学论、心理学、教育统计与测量学等方面的专家,也有教育政策学、社会学等方面的专家。在监测组织实施过程中,还组建了一支500余人的监测视导队伍,从事监测数据采集过程的监督与指导。另有一支来自20个国家、地区和国际组织机构,由40余人组成的海外专家队伍,为监测提供技术咨询与专业服务。监测队伍中的专家们或直接参与,或通过参与研讨会、论证会、审核会以及短期讲学、定期访学、开设研究生课程等方式,为义务教育质量监测工作提供了强有力的支持,有力保障了义务教育质量监测工作的顺利开展。
科学打造监测指标和工具
跑好监测的“马拉松”
       在整个教育质量监测过程中,花费时间最长、投入精力最多且对监测结果至关重要的一环便是监测指标和工具的研制。其远比一般考试命题更复杂、更严密,每一个监测学科从基础调研到监测工具的初步形成,至少要一两年的时间,好比一场“马拉松”:
       首先,要对我国义务教育阶段各学科课程标准进行深入分析,了解课程标准对学生知识、能力、情感态度等方面的要求,确立监测指标和工具研制的依据。其次,要对国内外大量相关监测评价项目、研究文献、国内相关政策文本等进行精细化梳理分析,为监测指标和工具的研制提供理论、政策和科学研究支撑。第三,比较义务教育阶段不同版本教材的内容差异、特点与分布,确保监测指标和工具能够体现不同版本教材所教内容。第四,要深入中小学教育教学一线进行深度调研,了解有关热点问题、现实突出问题以及各地教育教学实际。第五,通过多次预测试对监测指标和工具进行检验,确保监测指标和工具具有广泛适应性,成为良好的测量学指标。
       但以上只是各学科监测指标和工具研制所需要遵循的基本程序,在实际操作中,不同学科仍会面临各种问题。以德育监测为例,“如何对学生的品德各方面进行有效监测?”就是挡在德育监测面前最大的“路障”。
       一开始,有的专家认为德育太难测,因为品德多为学生的内在意识、思想,不好量化;有的认为品德内容十分丰富,难以全面测量。但经过全国专家们的大量工作,还是成功越过了这一“路障”。首先,从个体差异角度入手,因为测量的本质就是对事物的差异进行区分,而学生的德育状况显然是存在差异的,比如有遵守交通规则和不遵守交通规则的差异,有浪费食物与珍惜食物的差异等;其次,从内外一致性来看,内在思想、情感、态度、价值观可通过外在行为来反映,中小学生的思想、情感、态度、价值观等与其外在行为表达的一致性程度比成人还高,通过对他们外在行为的测量可以了解把握其内在思想、情感、态度、价值观。最后,在这两个前提下,监测中心专家团队坚持以审慎的态度和恰当的方法进行德育监测,努力营造低利害的监测氛围,根据不同内容特征采用相应的监测方法,谨慎解读监测结果。
       在清理了各学科领域监测所面临的“路障”之后,监测中心真正开始了监测指标和工具研制的“马拉松”赛程。“试试试”,“磨磨磨”,“改改改”是整个研制工作的“三部曲”。所有测试题目在正式“出炉”前,均需经过数十场研讨会、磨题会、审题会的推敲与打磨,同时还要开展3次以上不同规模的预测试检验,并基于预测试的结果对监测工具进行修订完善。
建立严密的数据采集制度
守护质量监测“生命线”
       “我们学校在正式监测开始前两个月,就参加了区组织的统一培训,系统学习,学校内部也组织了多次培训,为做到万无一失,准确完成国家监测数据采集工作。”深圳龙岗区某小学刘校长的话反映了绝大部分监测组织工作者的心声。
       数据客观、真实是监测工作的“生命线”。为确保做到这点,国家义务教育质量监测建立了一系列严密规范的数据采集制度:制定细化到分钟的工作时间表,明确每一项工作的先后顺序、具体要求及时间节点;在正式监测前组织视导专家对全国部分省份监测准备工作情况进行专项督导检查,督促和指导地方做好监测各项工作准备;正式监测时规定由非样本校教师担任测试员,责任督学全程监督、巡视测试工作;测试开始前半小时方能拆封监测工具包和学生名册密件,在监测公示栏公布学生名单并接受监督;测试过程中通过QQ群、微信群、热线电话等方式实时指导和监控测试情况;测试结束后监测工具仍不能对外公开以避免不必要的操练和应对,所有监测工具和学生答卷仍然通过机要系统回邮。
       建立如此复杂、严格的数据采集系统是为了获取真实、客观的数据。以体育为例,监测采取现场测试的方式,由体育专业测试人员到学校对学生进行直接测试来采集数据,所有数据直接汇总到国家监测组织实施机构,不经过任何中间层级。在这个过程中,不仅对测试项目的场地、组织、仪器设备等做出明确、严格的规定和要求,还制订了细致、充分的预案,比如筛查学生身体条件是否具备测试资格、现场配备医务人员和必备药品、如遇天气不适于室外测试可延迟或取消测试等,确保了测试过程的安全、规范。
客观全面报告教育质量状况
为义务教育下“诊断书”
       数据采集完成后,还需经过数据录入、数据清理、数据分析等一系列复杂的流程,才能真正建立国家义务教育质量监测数据库。
       首先,通过机器扫描、人工录入的方式,将纸质的测试结果转化为电子化的数据;其次,采用多种科学方法进行数据清理,包括对学业测试中的异常反应模式(如猜测、随机作答等)进行甄别或处理,对问卷进行编码审核、重新定义、逻辑判断等,初步形成国家监测数据库。为更好地对学生的学业表现进行解释和说明,监测中心按照国际惯例并结合我国课程标准,采用科学的方法进行了水平划定,并具体明确了不同等级的学生能够做什么。通过一系列程序,最终生成可用于正式统计分析的国家义务教育质量监测数据库。
       建立数据库仅仅是迈出了监测结果报告撰写的第一步。国家义务教育质量监测除了对海量数据进行深入发掘、分析外,还开展了广泛的调研、咨询等工作。为了更好借鉴和参考国内外有关监测评价报告的经验和做法,监测中心调研了包括国际学生评估项目(PISA)、国际阅读素养进展研究(PIRLS)、美国国家教育进展评估(NAEP)等在内的10多个国际大型监测项目,以及包括中国儿童青少年心理发育特征调查项目、中国教育追踪调查、中国家庭追踪调查等国内有重大影响力的教育相关调研项目。同时,还广泛开展了关于监测结果报告的专家意见征求工作:一方面,广泛听取有关学科领域专家的意见,与专家就核心指标、表现水平描述、报告框架等问题进行了广泛、深入的研讨;另一方面,积极征求各省市教育管理人员的意见,与各地教育管理人员就报告框架的合理性进行研讨。通过广泛的意见征求,对国家监测报告进行调整、修改,使国家监测报告得以完善。
       除了研制国家监测结果报告以外,监测中心还向所有参加监测的省、区县提供了本地区的监测结果报告。自2015年启动正式监测以来,中心共研制了百余份省域监测结果报告、千余份区县监测结果报告,为各地区教育政策提供了重要参考。与此同时,中心还组织开展了监测结果报告解读会,帮助各地人员读懂监测报告。2017年9月,监测中心在全国分片区召开了省域监测结果报告解读会,全国32个省级单位及其所有样本区县参加了解读会。会上有关专家着重介绍了样本地区义务教育质量基本状况以及监测结果有效使用的方法,为各地准确了解本地区义务教育质量状况,改进教育教学提供了数据支撑。监测结果报告得到了与会人员的高度评价,“监测好比提供了一把尺子,帮助我们找准自己的位子,并为解决问题提供突破的口子。”合肥市包河区教育体育局相关负责人如此评价国家教育质量监测的作用。
融合人工智能
建教育质量监测“大数据”
       国家义务教育质量监测是一项专业性强、技术含量高的工作,尤其是在大数据、AI人工智能、“互联网+”等领域技术快速发展的今天,教育质量监测如何紧跟时代步伐、向日新月异的教育信息化借力,实现更高效更优质的监测技术升级,这是监测中心一直思考的问题。
       为此,监测中心与科大讯飞等有关机构合作,在数据采集与分析、数据可视化呈现方面取得了很大的研究进展。例如,在大规模音乐演唱测试中,数据采集、结果评分等工作任务极其繁重,传统的人工采集、评分方式不仅耗时、耗力,且效果不理想。为有效解决这个问题,监测中心将国际领先的语音技术用于音乐演唱监测中,研发了基于语音合成、语音评测等智能语音技术的演唱电子化测试系统,对全国5万余名学生进行了音乐演唱数据采集,并采用模拟人机对话的客观评价技术,对学生的音乐表现进行计算机评分,实现了语音数据采集、数据储存、结果评分的一体化和智能化,为低成本、大规模开展语音评测提供了强大的技术支撑。
       此外,为了探索传统的纸笔测试之外新的测试方式,监测中心在前期充分调研、分析和论证的基础上,组织技术团队研发了校长和教师问卷电子填答系统。经反复测试,校长和教师电子填答系统于2017年开始投入使用,目前已对全国约15万余名教师和校长进行了数据采集,效果明显。以网络作答替代纸笔作答,节约了纸张、不仅符合绿色环保的要求,还省去了大量分拣、扫描数据的工作,提高工作效率。更重要的是,系统内设了逻辑判断和合法值范围,减少了不合理数据,大大提升了数据质量。
       除了数据采集和分析方面的信息化以外,监测中心还积极致力于解决数据的可视化问题。为了更好满足教育决策需求、提供更精准服务和指导,教育部基础教育质量监测中心研发了“中国义务教育质量地图”,该地图利用交互式展示等大数据分析模型与方法,以更直观、更形象地提供有关义务教育质量与公平状况的数据结果。
       随着技术日趋成熟,监测手段更加丰富,义务教育监测工作在新技术的帮助下必然能够更贴近中国义务教育实践,为义务教育决策提供更多高质量的诊断数据和决策依据,共同服务于义务教育的改革发展,为中国义务教育未来的发展做出自己的贡献。
责任编辑人:徐鹏远 PN071

关键词

中音联智库

共享基金

中音联化蝶商学院

邻居儿童音乐学院

新城市核心示范区学位房描述

新城市核心示范区学位房描述

分布于全国1000个城市的中国邻居儿童音乐学院CSMES学位房,是由中音联智库领衔的大师级设计团队统一打造,给予家庭儿童成员一个最为和谐与精致的生活及音乐文化学习小环境。......

  • 示范区楼盘申请方式
  • 核心示范区学区房的服务政策
  • 让孩子受益一生的好房子
  • 中音联认证

    中音联指数

    社区指导师事务所

    中音联博览会

    CSMES Forum More

    0