11月4-6日，由教育部人文社会科学重点研究基地华东师范大学课程与教学研究所主办的第14届上海国际课程论坛在华东师范大学举行。本届论坛以“基于证据的课程与教学研究”为主题。来自美国、加拿大、法国、香港和台湾等国家与地区的教育政策、教育心理学、教育测量与评价等领域的专家与学者，以及来自全国十几个省市的200余位专家学者、教育行政部门领导、一线教育工作者参与了本次论坛。
台湾师范大学教育心理与辅导学系教授陈柏熹作为特邀专家出席，并作题为“大型教育调查研究的過去、現在与未來：台湾经验”的报告，此为报告全文。
陈柏熹
台湾师范大学教育心理与辅导学系教授、云端测验中心主任，台湾师范大学心理与教育测验研究发展中心主任，台湾华语文能力测验(TOCFL)推动工作委员会执行长。曾被中国测验学会推荐获得教育团体木铎奖，并于获得台湾国科会的奖励特殊优秀人才奖助。专长领域为测验与评量、电脑化适性测验、心理与教育统计。
报告全文
尊敬的各位来宾，早上好！很高兴又有机会回到上海，我大概前来过上海，今天再回来感觉蛮温馨的。我前来大陆参加“海峡两岸测验学术研讨会”的时候顺便来过上海，那个时候是在浙江大学办的。我大概上个月才来过大陆，这个月又来了一次。
我就谈一点台湾过去做的大型教育数据研究的状况，然后来看看我们是不是可以提供一些经验，供内地这边来做参考。
我首先做一个简单的自我介绍，我目前是在台湾师大教育心理学系任教，也负责管理台湾师大的心理测验中心，我们是在做有关初中毕业生进高中时参加的一项考试，它是一个高风险的考试，拿了这个成绩之后就可以去申请高中。每年大概有28万人可以拿到成绩，但是今年变少了，明年会更少，“少子化”的现象一直在袭击着我们，三年前有32万人，大概到明年我们这个考试会剩下23万人，再过七八年只剩下19万人，一共少掉了1/3的人口。意思就是说，台湾目前有1/3的大学即将要关掉了，我们一直在想办法怎么让这些大学转型，变成别的形式，比如社会教育或者是推广教育。我们也在协助台湾的“华语能力鉴定考试”，相当于大陆地区的HSK考试。另外还有我们自己发展的一个“云端测验中心”，这个就是我们开发的一些测验系统，可以在线上直接做一些测验，用实验的方式选择不同的实验变向，然后做实验记录，实验记录完还可以做一些结论和自动计分。这个是我们在发展大学生基本素养测验，就是创造力测验。
大型教育数据库研究的历史相当悠久，在我还没有出生的时候它就已经有了。1964年第一次的大型教育数据的研究已经开始，被称作“First international study”，实际上当时IEN还没有成立，它是1967年开始进行大型教育数据研究后才成立的，那个时候是十年才做一次，现在几乎每年都有各种不同的大型数据的资料收集。IEN刚成立时数学和科学是不分开的，第二届的时候还是不分的，第三届就分开了，那个时候是叫TIMMS， T是指第三届。第三届之后，每十年才做一次时间间隔过长，这意味着十年以后才能知道我们国家的状况。于是研究者们设想着有没有可能在短时间内再做一次，所以1999年又做了一次TIMMS，后来大家觉得应该要有一个统一的名称，如果一直变会让别人产生误解，所以1999年之后研究者们设想是否可能把它全部称为“TIMMS”，即“趋势研究”，“TIMMS”就是这样产生的，现在学界都称之为“TIMMS”，每隔四年做一次。
除了TIMMS之外，各位可能也知道它不只是做数学和科学的研究，也做阅读的研究，比如PIRLS，还有做ICCS，也就是国际公民素养。早期它们的名称在不断地变化，现在慢慢都固定了下来。IEA在做这些研究时，调查的主题跟调查的目的是分开的，调查的学科、调查的内容、关注的方式也是分开的。分开就会导致一个后果——资料间不便于联系起来，因为TIMMS的抽样和ICCS抽样不一样，我们无法知道学生阅读方面的表现跟科学的学习、数学的学习以及公民素养间是否存在关联。OECD就很聪明，第一次在推行PISA的时候，就把数学、科学、阅读直接结合起来。实际上不只是推PISA，还推了PIAAC，即国际成人能力的测量，PIAAC比较针对咨询、问题解决领域。
这两个大型数据库的研究在走向上不太一样，我们就直接看它们的一些描述。TIMMS的走向是课程导向的，也就是说，它每次做调查前会请各国的专家到IEA那边开会讨论，把各国的课程跟IEA想要测量的课程做一个对照，看看到底我们做的调查是否是有效。如果要做国际评比，一定要有一个比较公平的原则，大家都有教过同样的课程然后再做这样的评比才是可靠的。如果一个国家教过了所要测量的课程，别的国家没有教过，那么这样的评比是没有意义的。所以每年开会时会针对各国的课程做一些讨论，你们可以看看我们现在定出的这个标准是否符合你们国家的课程纲要，如果每个国家都符合了，我们就进行这项测验，所以它具有很浓的课程导向的意味，并且在测量时非常强调学习成就。在经过课程的学习之后，我看看你到底学得如何，此时会比较强调知识的理解、应用，以及一些简单的推理问题，而很少强调课程在问题解决方面的作用。
以数学来讲，它的整个内容就是很纯粹的数、代数、测量、几何、资料，虽然每次名称都有一点调整，但都是差不多的，自然科学一般包括物理化学、生命科学或者有些国家称之生物、地球科学、环境科学都融合在里面。所以会发现，这样的一个调查它其实是很注意课程导向的。调查的对象主要是家长、教师、学校，如果你想要了解某个班级的层次影响就要拿TIMMS的资料，而这是PISA的资料无法提供的信息。并且因为它是跟课程有关，所以班级层次的变向就很重要。另外它在整个时间变化中比较稳定， 1999年有38个国家参与测量，有49个国家参与，有60个国家参与，现在变成63个国家参与，已经差不多60多个比较有经济基础并且关心教育的国家参与，这是TIMMS。
ICCS在1971年和1994年的时候做了两次，那个时候叫做CIVED。后来在就把它改成为国际公民素养的调查，全部称之为ICCS。TIMMS最主要的研究对象是来自于四年级和八年级的学生。ICCS最主要研究的对象是八年级的学生，有一些别的研究也聚焦在国中阶段，所以我们的初中生是蛮可怜的，初中生就是没隔多久就会经历一个国际调查研究，有些初中运气不好每次都被抽样，这样的学校初三的学生要做PISA，初二学生要做TIMMS。如果那个学校刚好是小学初中一贯制的学校，不停的抽样调查会使学校不堪其扰。
公民素养研究最想要了解的东西，就是公民社会的体系、公民的原则、学生在参与公民活动时的状况、整个公民的认同感、和一些认知概念的推理能力等。调查对象也一样，只要是IEA做的调查，调查对象都吃不上，有学校、教师、学生。这些其实也都跟各国公民课程的内容多多少少有一些关联。我们这个礼拜才在讨论ICCS初步的试题分析结果，我们发现一些很有趣的现象，有人说一些题目对台湾地区的人来讲好像过于简单，有些题目过于难，我们就研究了那些题目，发现确实在台湾地区公民的活动的思想方式、思考方式跟国外是不太一样的。我们内部在分析这个现象的时候，发现题目真的是跟文化特征是有关系的，所以我们很好奇，ICCS国际评比跟数学科学不一样，数学科学课程是很少受到文化因素的影响，但是公民课程与文化因素非常有关联。比如台湾的学生在思考公民议题时，常常会把道德因素放进来。所以我们就发现一些公民的议题不应该去思考道德的问题，但是我们的学生因为都思考得比较偏道德方向，而不是偏法律或者是文化差异的方向，所以都答错了，于是试题的难度变得比较难。
参与的国家在的时候还有38个，的时候只剩下24个，也就是说，公民素养这个调查其实有一点在没落，也反映出我刚才讲的那个问题，对于世界各国做同一套标准，以去评判公民的素养是不准确的，因为公民素养受文化因素影响太大。PISA在要推出一个类似公民素养的测验，叫国际素养，它的概念跟公民素养的测验有点像，但它就不会有太多的课程导向，一旦有了课程导向就免不了会受到当地文化背景的影响。
PIRLS是比较强调阅读层面的测验，通常我们比较希望从小就开始培养，所以它研究的重点放在小学四年级。小学四年级的学童，不同的国家有什么样不同的政策，怎样去针对他们的阅读能力来进行培育呢？台湾以前没有这方面的政策，没有特别强调学生的阅读，我们比较强调学生的考试成绩，但是他们试图从小去培养学生的阅读习惯。所以我们在参加第一次测试的时候，台湾的教育单位受到了很大的震撼。因为我们参加的其他的评比，比如TIMMS、PISA，学生表现得都不错，都可以在世界前5名以内，而PIRLS测试的结果是20几名，而且那个时候参与测试的国家也没有那么多，台湾地区已经在中段以后了。于是大家开始担心，等一下我会谈到它对台湾教育政策发生了一些影响。PIRLS测试包含了文学类以及讯息类这两大类的题材，主要是了解学生在阅读过程中阅读的历程，即阅读目标，阅读行为跟态度，阅读理解里面还细化为讯息的提取，要怎么去推论，怎么做整合跟诠释，以及你去评估这个讯息的可靠性，它也同时收集学生、家长、教师等等一些背景资料，当然它也研究学校的环境怎样去培育小孩子的阅读习惯，我们从这些资料里面发现，我们根本没有特别去培育小孩阅读的活动跟教育意识。
再来看PISA。刚才我们谈到TIMMS的测试重点是国二或者小学生四年级的学生。初中二年级学生的学习过程都还是比较课程导向的，但是PISA测试比较着重在一般的方面。各国的基础教育完成时，PISA测试便在那个末端看看各国的基础教育做得如何，所以它的时间点差不多就是在15岁的时候，以台湾来讲，基础教育就是初中三年级刚好要升高中的时候，有一些抽样也会抽到高中，因为它那个年级是以年龄来分界的，高中或者是高职或者是五专，所以要看看各国对于基础教育的完成程度如何，对于那些概念的掌握，对于某一些历程、知识的应用，他一直强调它是“素养”的：数学的素养、科学的素养、阅读的素养，是以literacy为导向的。
在这里跟各位分享一个很有趣的讯息，在国际上有一个学会叫“国际素养协会”，这个学会已经成立相当久了，好象有将近60年的历史，但是在前两年，我不知道是不是因为受到PISA的影响，就把它的“international trading”这个词换成了“international literacy”所以现在变成“国际素养学会”，而且这个素养已经被扩大解释了，以前素养比较强调阅读层面，现在已经由阅读层面过渡到你在看到一篇文章或一些内容后，有没有把过去的比如说科学的知识、数学的概念，甚至于对于某一个公民议题的态度拿出来运用，以此来解释你看到的这篇文章的内容，甚至把运用这些知识判断文章里面写的一些资讯是否可靠，如果你要进一步验证的话应该怎样发展一个研究，那个素养它的层面已经变得比较广泛了。
PISA每次的评量，不是说这三个主题都是全部的学生都做，比如这一次以数学为主，数学的评量就是全部的学生都要做，但是有一部分的学生是同时要做阅读跟科学，所以每一次会有一个主题。参加的国家越来越多，现在已有65个国家参与测验。还有一些比较新的，的时候也做了一个“数位化”的评量，IT的部分，收集的资讯比较强调学生的自身，还有一些是比较学校端的部分，没有比较强调在课程教学这一块，而并没有太强调课程部分，所以对于我们的课程所，可能各位更倾向于用TIMMS的资料而不是PISA的资料，因为它缺乏教师端的内容，教师问卷比较详细的资讯可能会找不到。如果你要教师端的资料它也有，但必须另外付钱购买，你要参加TALIS测验，就是针对教师教训端的这些咨询。有些国家在又参加PISA的测量又参加TALIS，就可以也获取教师端的资讯。
从1995年到，仅仅间就执行了这么多的调查研究，每一个调查研究并不是说今年要做这个调查研究今年就准备就好了。以台湾来讲，我们做调查研究的前两年就要征集团队，因为必须要把这些国际调查评比的题目翻成每一个国家自己的语言，然后再把它做出一些抽样的资料，然后要送回去，那个来来回回的时间特别久，调查完之后还有资料要分析、做国内的研究报告、开记者会做说明，所以前后需要四年左右的时间。可以看出，为了这些国际调查研究，搞得人仰马翻，所以谁会愿意接受调查研究？想要接受调查研究的学校，通常都有一个想法，即想要发展专业团队，因为参加这个调查研究就可以学习国际评比是怎么做的，未来如果自己想要去发展这样的研究，就可以在这个过程中储备和发展人才，了解整个执行过程。
台湾是从1999年最早操作TIMMS，很多都是在之后才参加的，除了TIMMS以外。台湾1999年时参加了TIMMS，其他测验都是之后参加的。意思就是说到这期间，我们总共做了13次的国际调查研究，平均每1.3年到1.4年就要做一次。我刚才讲过参加测验前后两年都要做相关的工作，所以我们在台湾跟测量有关的老师都接触过大型教育资料库的调查，不论是接触哪一个。
刚才讲的都是过去，我们来看看台湾现在的状况，做了这些调查研究到底发现了什么？其实名次部分不是那么重要，因为每一年参加的国家数是不一样的，每一年都会有新的国家加入进来，像上海一加进来台湾的名次就会往下掉。还有一些国家加进来，那些国家又是在这方面表现不错，那么台湾的名次马上就往下掉。名次没有那么重要，重要的是看分数，它的international scale是有跨年度跟跨地区的等划的，是一个共同体，不同年段有共同体，利用那个共同体去做等划。所以这些分数可以看出你在这个方面的表现，因为每一年调查的forom work不会相差太多，所以可以做一个大致的现象描述。
大致地看，会发现台湾在数学方面的表现其实是一直在提升，从之前的549到后面变成560、585、590、600，都已经比全世界的平均数多了，600已经多了一个标准差，实际你的数学能力是有提升的，名次却没有进步。这是代表什么呢？但我们常常会沾沾自喜，以为我们的学生表现都有提升，等下给各位看我们最近一直很忧心的一个现象，也放到我们在即将要执行的十二年的课程纲要里面。
科学的表现就不太一样，科学的表现排名虽然是比较落后的，但是它在某一些阶段，比如说这个是PISA的部分，这里的下降或上升是跟前一次相比得出的，比如假设分数超过10分以上，我觉得它会有一个比较明显的改变，所以到科学的分数有略微的下降。以TIMMS来讲，在八年级的科学部分，我们有稍微下降，从到，也有些微的下降。发生了什么事情？比如有下降，表示它的影响是发生在、的阶段，我们就去找、台湾的课程内容在科学方面有什么改变，我们那段时间刚好在执行国中基本学历测验，这个测验那个时候比较强调在基础能力的评量，国中阶段学生最主要的工作就是学会基本的能力，未来参加基本学历测验作为高中升学的依据。当然后来这个测验就改成国中教育会考，那个时候太强调基础的能力表现，所以我们那个测验里难的题目其实是蛮少的。学生就会觉得，我只要达到一个很基本的水准就可以了，就算答得太好也不会有什么变化，所以学生就不会针对这方面的表现努力。
刚才那个是就成绩上的表现来讲，去反省到底我们有哪些课程变化了，这些变化跟测验的成绩会不会有关联。
阅读的部分，我们第一次参加阅读评量的时候名次是16，第二次是23，分数都没有改变。台湾政府在第一次测试完后，立刻就推出了促进中小学阅读的教育方案，一直执行到现在，现在的名称叫“阅读101”，因为我们有一个101大楼。这个计划在学生刚入学时就送给他一袋书，要求爸爸妈妈带着小朋友去阅读，每年寒暑假必须要有阅读相关的活动，政府会给出一个书单，学生要去私立图书馆借书，或者就去图书馆看，然后你要做阅读的活动并且写心得。我就带着我的孩子去图书馆看书，写心得。以前都没有这种活动的，但是最近这几年发现那样的活动一做下来会有很明显的改变。所以国际调查评比资料可以给我们作为检查教育政策执行结果的参考，也可以检查我们有哪些不足的地方，这样你就可以拟定你的教育目标。
过去我们做有关调查研究资料的时候，我们会比较强调以下几个层面，一个是教育政策的部分，就是我刚才讲的，到底哪些因素造成我们台湾地区表现得没有那么好，然后我们就去检讨并且对政策进行修改，然后再来看，因为我们一直在参与，我们就可以看看政策的改变会不会对评比结果产生影响。我们也会关心班级或者学校的层面，像师生比、班级大小、教师薪资，或者是教学层面、学生的筛选跟分组，比如说我们有执行所谓的“常态编班”，以前我们强调因材施教，但是因材施教已经执行好几十年了，后来从评比的结果发现，好像因材施教并没有多大的效果，并且造成一个很大的问题，就是学生的分类，学生会被分成两群不同的人，好像后面那一群就被政府给放弃了，被教育给放弃了。所以现在就会比较强调常态编班，学校自主管理的做法，评量绩效。如果是家庭因素的考虑，家庭社经第一位，其实对于教育的影响真的是蛮大的。台湾在做了一个分析，发现数学科学表现比较强的国家，家庭社经第一位的陡坡图是最高的，什么叫陡坡图？我们来看一下，横轴代表社经地位的指标，纵轴代表分数的变化，意思就是说，你的社经地位在哪个位置，就已经决定了你未来的分数会在哪里。所以感觉上学科成绩不太应该跟你的社经地位有这么强的关联，我们却在社经地位陡坡图里面是最高的，我们是58，就是和临近地区像日本、韩国相比。后来发现，只要是在数学科学表现不错的国家和地区，它的社经地位陡坡图都蛮高的，上海也蛮高的，但是没有台湾高。意思就是说，教育应该要做一些什么事情？怎么可以让这些低社经地位的人变成是一些学习成就落后的，是不是要加强这些人的教育。这些人就是因为家庭教学的资源资讯不足，所以他们接受教育时学校应该帮助弥补他们的不足。家庭社经地位、资源已经相当充足的，其实学校不用给他太多的资源家庭也会好好来培育他。所以可能在这个部分就要加强，现在台湾地区就一直强调一个概念，我们把它叫做“减C”，像我们国中教育考试会分成ABC三个层级，“C”就是待加强。我们现在目的就是要把待加强的人数比例降低，像我们的数学跟英文课，被列为待加强的比例占了1/3。所以我们一直强调怎么把数学和英文课中那些待加强的人给拉上来，因为他们就是在这方面的表现不理想。
关于个人的因素，我们分析了个人的动机、投入、自信心等的一些研究，这些研究其实在台湾很容易搜寻得到，我在这里不再特别提了。
我们也发现一些很有趣的现象，比如说动机，右边这边都是属于比较高动机的，高数学素养表现的这些地区，上海也在这边。我们就一直在分析几个点，不只这一个，还有学习态度，对数学的喜好度。就会发现，台湾都是落在中等阶段，假设以动机来讲，内在动机就是你自己会不会主动想学习数学、你觉得数学对你未来是否有用，数学对你有没有帮助。台湾的学生都会觉得数学对他们没有帮助，于是我们的排名就在后面了。我们常常说，上海地区也是中等。我们对数学的学习动机没有那么高还可以做到世界第一、第二，那万一数学动机被我们提高了那还得了。但是我们发现在中学阶段，学生们在相关课程方面表现这么好，但在大学研究所，甚至于诺贝尔奖比较少看到我们的身影，所以问题好像不是出在这些学科的训练方面而是出在别的地方。
我们会根据这些大型教育数据库的评比来改变我们现在的课程，包含我们讲的过去比较强调的基本学历测验.我们以前是以常模作为参照的，后来改成标准参照，从而定出不同的阶段的学科的标准，即在基础的部分它至少要达到什么程度，从这些描述可以看出它其实受到了PISA的影响，因为它不是只强调数学的基本的数与量，代数，统计这些学科的内容，会比较强调在应用层次方面，甚至怎么样去发展一个数学的模式来建立论证。自然科学也是一样的，会比较强调在问题解决的部分，这是我们最近发生的一些改变。从即将要实施的十二年国家的课程纲要中就可以看出，我们现在比较强调思考的能力、问题解决的能力、科学的态度跟本质，这个也是PISA在强调的，我们直接把它搬到课程纲要里面，这个不见得是适合的，不过它确实提供了一个发展方向。所以我们现在慢慢的会被台湾的教育单位要求出这样的题目，即不再只是很单纯的数学运算的题目，不再只是很单纯的一个几何图形，而是要把生活情境中会遇到的概念直接拿来，看看你能不能用数学的原理来解决生活情境中的问题。
除了这个之外，我们也培养了很多相关的团队，这些团队就是台湾自己发展的叫做“TASA”的团队，台湾有一个教育研究院，后来就建设了一个叫台湾教育的学习资料的资料库，它也是做小学四年级、八年级甚至于高中级的学习资料，所有学科都做，完全比照大型资料教育库的做法进行抽样，来做这些调查研究，在这之前我们如果没有去参加这些国际大型教育资料的评比，我们就没有能力来执行这个工作，我想这个是我们得到最大的收获。
除此之外我们还做了两个长期追踪的调查，一个叫做TEPS，是追踪一群受测者样本的调查，连续追踪7年。婴幼儿调查研究也是，这个是从3个月开始就追踪，我们要追踪到16岁，实际上不是一直追踪到16岁，而是一个阶段一个阶段地追踪，比如说3个月的我们只会追踪他到3岁，3岁的婴幼儿会追踪到6岁，6岁那一群样本会追踪到16岁，用这种方式去执行，大概会执行八年，并且要一直执行下去。为什么？因为国际调查研究它都是横断式的研究，每一次横断式的研究没有办法提供同一群样本，当作了什么变化的时候，到底对学生的学习会产生什么影响？婴幼儿发展的追踪调查，会强调在动作、社会情绪、认知能力的发展，另外还有教养的部分，教养的方式怎么去影响到他的学习，这些都是大型教育调查的收获。
我要特别提的是在几次的大型教育调查里面，发现学生在学习能力方面的表现真的都还蛮不错的.但是我们很忧心的状况是，以TIMMS为例，四年级学生对数学学习的正向态度比例有50%，中等的21%，低度学习态度有29%，还不错，算偏正向。到了八年级之后，当然这两个是不同的样本，但是将八年级的学生TIMMS的测试结果和1999年对比时，我们发现学生的正向学习态度正在逐渐的下降，对数学的喜欢程度也在逐渐下降中。不只是随着年代在下降，随着年级也在下降，越到中高年级对数学就越不喜欢。现在的学生对于数学的讨厌程度比以前的学生更严重，所以后来我们就把数学学习态度跟兴趣列入我们课程纲要里面，我们的很多计划都要去提出，特别是各种学习活动，在数学的学科里面一定要提出“学习活动”，让学生喜欢数学。在中学阶段虽然不喜欢数学，但为了应付考试可以把它学好。但是一旦学完之后，学生再也不想碰数学了，因为他们都是为了要考试，为了要去申请到好的大学才去学这个的——我们并没有培养出喜欢数学的人。国际评比里就算达到世界第一，但是如果学生不喜欢，未来也不会有这方面优秀的人物出现，国家在这方面也不会有好的表现，其实这个部分我想我们已经遇到了这个问题，可能上海这边也要思考这个问题。
其实在很多国际评比里取向是不一样的，TIMMS是课程趋向，所以在使用这个资料的时候就要小心。PISA是素养趋向的。我们其实有很多像基础教育质量监测这样的几乎是全面性的调查，假设是整个地区全部都参与的话，那个就是普测，普测跟抽样调查的资料也是不一样的。大部分的教育调查研究都是横断研究，它跟纵观研究里面想要看出一些政策的变化可能还是有所不同。
在教育研究的问题里面，通常可能假设自己要去发展教育调查研究，你一定要先思考，对于我们这个地区来讲，哪一些议题是我关心的，因为教育的议题太多了，你不可能全部的都做，一定要去思考最近有哪些议题对学生的影响很大。不同的资料来自于不同的层次，所以进行分析的时候就要考虑到它是属于学校层次还是班级层次的，甚至于学生层次的，然后你的变向是比较偏重在硬体设施方面，还是软体的策略方法方面的？还有就是说到底有哪些变向要作为成效的变向，这一点要特别提示的。目前的大部分的教育研究都是研究认知能力，但是实际上教育的目标，认知只是其中的一部分，培养学生的兴趣、嗜好、自信心或者是实做技能即他能不能有操作性的能力，这个都是在教育研究的目标里面，但是这些都没有受到重视。现在的研究都把态度、实做技能拿来当自变向实际上在教育的领域里面应该是1变向，不是自变向，这个部分是未来要思考的。还有就是，里面得到的结果到底是量化的还是执行的结果？目前国际调查研究，大部分都是用贝式估计法去产生资料，应该是说，他估计的重点不在于个体，而是在于群体。但是因为要估计群体的结果和效果，你需要有这些个体资料才能进行统计分析，这些群体效果要估计的时候他们认为，我出去直接给你一个人的分数，你做的题本的题目数量很少，而且你又不是所有题目都做，不同的地区做不同的题本，这样的结果不太可靠，所以他给你一个Plausible value，你要拿那个Plausible value来做运算，而不是拿单一的资料结果来做运算，另外如果是执行的标准，可能会有一个分类的指标。
目前我们比较关心的重点不是只做一般的中小学生，我们会强调对大学的关注，因为我们现在已经发现，中小学生的学习状况已经做得差不多了，我们也大概了解了那个状况。但是在大学阶段，到底学生的学习到了大学又变成什么样我们是不知道的。所以我们现在慢慢也在发展这种大学生素养的评量，这也是针对21世纪的，我们发展了有关于各种素养评量的资料，而且不是只有认知能力，态度的部分我们也都放进去了。以科学为例，我们在科学素养上面会强调这些能力，也去发展相关的题目，比如说这些相关的题型，类似像PISA导向的。我们也有发展美感素养的试题，这些通常比较电脑化，因为有一些多媒体的技术，我们要呈现出这些资料，就必须要在电脑上面来执行，然后来提供学校或者学生这些相关的表现。
谢谢大家。
课程与教学研究所
ECNU课程与教学研究盛宴，为您悉心制造
▼
