(新闻网讯 教务处报道)审核评估专家线上评估与入校评估工作指南(第二期)
二、专家线上评估
(一)线上评估目的
线上评估是新一轮审核评估方法手段的创新,体现了评估思想理念的丰富和发展。与上轮审核评估不同,新一轮审核评估增加线上评估环节,目的是充分发挥线上评估考察不受时间、空间限制的灵活优势,调动更多境内外、业内外专家参与。灵活的时间安排,也便于专家投入更多精力,更加全面深人地对参评学校本科教育教学工作进行考察,为入校评估打下良好基础。
(二)线上评估任务与要求线上评估要求专家网上认真审阅参评学校的自评报告及相关支撑材料,以审核评估指标体系中二级指标为基准点,结合每个指标的审核重点,做全做深。其主要任务概括起来说:
一是划“句号”。即对线上评估支撑材料充分、能够审定的指标和审核重点,给出明确的问题和结论,入校评估时不再核查。
二是划“破折号”。即对线上评估支撑材料不够,不足以给定结论的指标和审核重点,需要进一步补充调阅材料或开展随机暗访、线上访谈等,以便给出确切的问题和结论。
三是划“问号”。即对线上评估支撑材料和访谈过程中存在疑问,或者专家组观点不一致,不能给出明确结论的指标和审核重点,需要列出入校考察问题清单,将待核查的问题延伸到入校评估时做深度考察,以对存疑问题进行全面查证。
线上评估要注重评估的全面性。每位专家都要聚焦审核评估一级、二级指标和审核重点,通过阅读自评报告,系统调阅、审阅高校各类评估材料,对参评学校本科教育教学工作“全貌”进行全方位审核,查找本科教育教学存在的问题,列出明确的问题清单,并确定需要入校深入考察的问题,形成专家个人线上评估意见。针对某些专项的评估,专家组组长可以基于专家学科专业背景,有侧重地安排专家进行深入评估、分析,便于更准确地形成评估意见。
线上评估要注重评估的深入性。专家要深挖资源,充分运用互联网、大数据、人工智能等现代信息技术手段挖掘高校自评报告、上轮评估整改报告、本科教学质量报告、高等教育质量监测国家数据平台等常态资源;深度问诊,通过开展线上访谈,随机实地暗访等,精准研判、找准问题,并对发现的问题进行深入分析、刨根问底,确保提出的问题切中要害,体现评估的科学性、专业性和客观性。
充分尊重专家的专业裁量权,仅规定专家组应该完成的评估环节和工作量,不限定专家个人听课、调阅材料等的数量,也不规定具体考察方式。线上评估期间,专家听课、调阅课程试卷和毕业论文(设计)的数量,由专家组和专家视评估工作需要和高校信息化条件确定。原则上专家组听课不少于30门、调阅课程试卷不少于30门、调阅毕业论文(设计)应至少覆盖15个专业。如果学校不具备条件,上述工作均可延伸到入校评估时进行。对于首次参加审核评估的高校,每位专家至少要听课看课2门次,调阅2门课程的试卷及相关资料,调阅1个专业(全部或部分)学生的毕业论文(设计)。专家听课、调阅课程试卷和毕业论文(设计)需填写相应的评价表。
对参评学校通过教育部专业认证(评估)并在有效期内的专业(课程),学校申请了免于评估考察的,专家不再评估考察。
(三)线上评估流程
1.线上评估准备
审核评估专家组包括评估专家15~21人(其中组长1人,视需要设副组长1人)、项目管理员1人、秘书1~2人。根据评估类型需要,可视情况配备青年教师专家1人、学生观察员1人、境外专家若干人。
审核评估专家组全体成员都要参加线上评估。专家组成员接到线上评估任务并同意参加后,签订《专家组成员承诺书》。
项目管理员要与参评学校对接,做好评估系统测试,核查评估系统中参评学校自评报告及其他材料的提交情况。
专家组全体成员要调整好自己的工作安排,确保为审核评估期间工作的顺利开展留有充足的时间,并做好线上评估工作计划和任务安排。
2.线上评估布置会
线上评估时间一般为2~4周。专家组组长负责组织召开专家组线上评估布置会,明确评估要求及时间安排,分配工作任务,提出工作要求。专家组成员根据分配的工作任务和要求,制定个人评估工作计划和任务安排。
线上评估布置会的具体形式、时长不作统一要求,由专家组组长确定。
3.研读评估材料
专家应本着客观、公正、对参评学校负责的态度,认真细致地研读参评学校和评估单位(部门)提供的有关评估材料。
3.1 研读材料
包括1个《自评报告》(含支撑材料及《本科教学质量报告》),3个教学报告即《本科教学状态数据分析报告》《在校生学习体验调查报告》《教师教学体验调查报告》,3个就业报告即《本科生就业数据分析报告》《本科毕业生跟踪调查报告》《用人单位跟踪调查报告》,简称“1+3+3”报告。
3.2 研读要求
一是要注重全面系统。围绕高校自主选择的评估类型、评估指标和审核重点,认真对照一级指标和二级指标的内涵要求,全面分析、综合诊断,审核参评学校各项教育教学工作对评估指标的达成情况。重点关注高校“该说的是否说了”“说了的是否做了”“做了的是否有效”“无效的是否改了”等,从定性和定量两个方面,深入全面了解参评学校的发展状况和教育教学工作情况,特别是对参评学校人才培养效果与培养目标的达成度、办学定位和人才培养目标与国家和区域经济社会发展需求的适应度、教师和教学资源条件的保障度、教学和质量保障体系运行的有效度、学生和社会用人单位的满意度等“五个度”进行初步判断。在此基础上,深入思考、深刻分析,为参评学校精准“画像”。
二是要注重问题导向。聚焦审核指标和审核重点的内涵要求,深入查找参评学校存在的问题,列出问题清单。特别是要重点分析和找出影响学校发展和人才培养质量的根本问题、学校教育教学工作中存在但自评中没有反映的问题、上轮评估和专业认证中专家指出过但尚没有完成整改的问题。问题要明确,既不能泛化,也不能碎化,更不能虚化;诊断要有依据,对依据不充分、不能明确定论的问题,要进一步通过补充调阅材料或开展随机暗访、线上访谈等给出结论;“开方”要对症,针对问题,给出精准、可行的意见建议。
三是要注重发展变化。关注参评学校教育教学状态的变化及发展趋势情况,包括专业调整情况以及专业招生规模的变化情况,专任教师数量、教育教学经费、实验室设施条件和校内外实训基地、学生发展等状态数据的变化趋势等。通过数据对比,分析学校质量保障措施是否发挥作用。对数据变化较大的相关指标,在研读《自评报告》时,重点要看参评学校在相应指标项上具体实施了哪些积极有效的措施,或哪些政策制度没有落实到位,以此判断该信息是参评学校亮点、还是不足或者是数据失真。
四是要注重个性差异。要把参评学校放在所处的社会环境中进行综合分析,把握参评学校所处的地域和经济发展环境的特殊性和特色点、学校所依托的行业发展状况及对学校事业发展和人才培养工作的影响,包括经费支持、教师引进、生源质量和学生就业等,关注参评学校培养目标和社会需求的契合度,人才培养对社会的贡献度,从而给出符合学校实际的审核意见和切实有效的改进建议。
3.3 研读时间
专家研读时间可自行安排,不作统一规定,根据研读情况及时填写个人线上评估意见(含问题清单)。专家组组长根据本组问题清单,统筹安排专家组线上深度考察活动,视工作需要决定是否召开专家组线上工作会议。
4.线上调阅材料
专家线上调阅材料一般应相对集中于线上评估第1周。专家如线上调阅课程大纲、课程试卷、课程评价总结材料、毕业论文(设计)等资料,要由专家组秘书汇总后形成调阅材料清单,统一向参评学校提出补充调阅需求。若参评学校不具备线上调阅材料的条件,可向专家组进行说明,专家组不强制要求参评学校提交。
5.在线访谈座谈
专家根据评估需要,可以在线上评估期间自行安排在线访谈座谈环节,通过访谈和座谈,对拿不准、看不透、仍存疑的问题和数据进行证据收集,以便做进一步的核准和验证。访谈座谈的对象包括校领导、管理人员、教师、学生等。对校领导的访谈一般可视学校的意见和校领导的时间集中安排。访谈前,专家需确定访谈座谈对象名单、日程和要求,根据访谈问题拟定访谈提纲、准备探讨性话题或设计线上调查问卷等。如果需要召开小型在线座谈会,需要控制座谈会规模,一般不超过15人。
专家需要在线访谈座谈时,需由专家组秘书提前与参评学校沟通。如果参评学校不具备在线访谈座谈条件或不便于安排在线访谈座谈环节时,而专家觉得确有必要,则可把该任务连同目的和要求提交给入校评估专家组,进行实地访谈和座谈。
如能进行在线访谈和座谈,可采用一对一、一对多、多对一、多对多的形式连线访谈人员。访谈结束后,专家对访谈和座谈记录进行总结分析,及时把各种信息重新梳理,对访谈和座谈中获得的信息及时去伪存真,提炼出有价值的信息,专家可选择填写。如作为问题判断依据,则专家必须填写。
6.线上听课看课及随机暗访
专家线上听课看课可视学校信息化条件建设情况自行安排,由秘书提前与参评学校沟通。如果参评学校不具备线上听课看课条件,专家组组长可根据需求性和必要性,就近安排1~3名专家分散入校进行听课看课。
专家也可入校暗访核查核实问题,专家入校暗访应是专家组的决定,而不是专家的个人行为。专家组计划随机暗访听课看课,或者暗访核查核实问题,可由秘书告知学校,但不告知所选课程、核查问题和具体行程。此外,也可视需要安排学生观察员实地暗访。
7.专家提交个人线上评估意见
专家认真撰写《专家个人线上评估意见》,并于线上评估总结会召开前,通过评估系统提交。专家的线上评估意见应是在全面审读材料、全面考察学校本科教育教学情况的基础上,独立评判和撰写。其中在问题清单中要说明问题来源,即来自学校自评报告、来自学校各类数据分析报告(包括《本科教学状态数据分析报告》《在校生学习体验调查报告》《教师教学体验调查报告》《本科生就业数据分析报告》《本科毕业生跟踪调查报告》《用人单位跟踪调查报告》),还是专家依据研读材料、在线访谈座谈、听课看课、调阅资料、随机暗访等得出的个人基本判断。
专家组秘书收集全部专家个人线上评估意见后进行汇总,采取“删减重复项、合并同类项、分解混合项、移动错位项”等方法,对专家个人线上评估所提的各项问题进行初步梳理,提交给专家组组长。
8.线上评估总结会
线上评估结束后,专家组组长要组织召开线上评估总结会,全面总结专家组线上评估工作情况。会议主要内容包括:讨论确定专家组线上评估发现的问题,既要反复核查并确认线上评估已经坐实的问题,又要认真讨论并明确需要入校考察求证的问题,最终形成《专家组线上评估问题汇总表》,同时还要确定入校评估专家。
线上评估总结会的具体形式、时间不作统一要求,由专家组组长确定。
一审:闫唯 二审:李健 三审:赵彦杰