目前相当多的教育研究是无用的（养活相关从业人员不算），其无用的原因很多，其中的一个原因涉及到一个常见的方法论问题。
我在这里所说的这个方法论问题就是系统层次问题。社会科学研究面向的是一个复杂的系统，这个系统有多个不同的层面，有个人的层面以及从家庭到整个人类社会许多不同组织的层面。显然，我们可以在不同层面上描述在不断发生着各种各样的事情。容易忽略的是，不同层面上有着不同的运作机制或规律。在社会科学研究中最容易犯的一个错误就是进行跨层的推论。
举个弱智的例子。一个问题，求一个人在多少秒内能够把一个定时炸弹扔到一个安全的地方，不炸死任何人。随机抽取了1万个人分别做实验，并用统计方法排除个人的性格、年龄、智商、教育等种种因素，得到结论是平均为x秒，标准误为e。我们知道这是关于个人的一个普遍结论。那么，这个结论能不能推论到人类社会整体呢？如果全人类所有人在同一时间都拿着一个定时炸弹，这时候找到安全地点所需的时间还是原来的x秒吗？显然不是。一个人拿着炸弹和一群人拿着炸弹完全是不同的场景。后者很可能是满大街的人到处乱窜，既要扔掉自己的炸弹又要躲别人的炸弹，这时找一个安全的地方相对而言可能要困难很多。
上面的例子要表达两层意思。一是说明两个概念的区别。关于某个现象的一般化结论与某个现象普遍存在之后的结论，这两个概念表达的是完全不同的意思，因为它们谈论的是两个不同层面上发生的事情。前者是个体层面的事情，后者是系统层面的事情。二是说一个现象普遍存在之后，这个世界就变得和原来完全不同，导致原来的关于个体的一般化结论不再适用。这就是复杂系统的涌现现象(emergence)，指的是数量的增加导致在较高的层面涌现出新的特性。
与此相关的错误就是把较低层面上研究的结论推论到较高层面，也就是把关于个体的一般化结论直接变成政策建议。这在政策研究领域是相当常见的错误。其基本的逻辑是，如果我们发现某种好的做法，只要拿来将其推广就能实现社会整体福利的提高。这种逻辑是错的，因为将好的做法普遍化以后的世界就不再是原来的世界了，原来的好的做法在这个新的世界里就不见得是好的做法了。虽然政策研究者知道个别结论不能随意推广，但是他们并不见得意识到这个跨层的问题。
教育研究里与此有关的一个普遍错误就是关于“公立”“私立”的所谓实证研究。研究者们不知道的是，现在已经是一个公立教育普遍化的世界1 ，在这个状态下调研出来的关于个体的结论完全无法推论到公立教育不普遍的世界，因为公立教育普遍化之后整个教育的运作方式被完全改变了。在这个现状下的实证研究的结论只能适用与这个现状，因而根本不能用来作为政策依据，如果你的政策是要改变这个现状的话。
比如，一个常见的论点是私立教育太昂贵，没有公立教育的话就会导致平民接受不到教育。这个观点首先可以用历史证伪，中国古代的私塾就是反证。农家子弟靠地里挑几棵菜、鸡窝里摸几个蛋就可以去穷秀才那里读书识字了，只要够聪明就能考取功名，进“中央常委”都可能。放到现代，私立教育的确很贵，但是其论证的逻辑是错的。现在的私立教育之所以贵，恰恰就是因为存在公立教育。公立学校给学生免费，给教师开高工资，导致了普通的私立学校完全无法生存。因为公立教育的存在，导致市场秩序被完全打乱，价格全部被扭曲。不管学生学费还是教师工资，都是被严重扭曲的价格。makzhou指出美国的绝大多数盈利的私立大学也是吃财政饭的。然而如果不懂得背后的逻辑就不能正确地解读这个事实。现有的私立大学之所以会这样，是因为存在现有的公立大学。私立大学在这种情形下需要财政资助，不等于私立大学本来就需要财政资助。
教育研究是个糟糕的领域，绝对多数现有的实证的政策研究一点用处也没有。因为现在的教育界是一个被各种严重错误的政策搞得乌七八糟的教育界，在这个垃圾场里收集的数据都是垃圾数据。只有你首先认识到这是垃圾数据，你才能对它作出正确的解读。然而要认识到这是垃圾数据，你首先必须有一个系统层面的正确理论。某些实证研究者可能还要纠结，你怎么就知道现在是一个错乱的教育界，你有什么实证依据？可惜的是，这个问题事实上根本无法被实证地解决。虽然不少统计教材会反复强调理论比数据、比统计分析手段更重要，但是普通的实证研究者很少真正理解这一点。你必须先要有个理论框架才能认识和分析这个问题，否则只能是胡乱摆弄无数的数据。
- 美国基础教育阶段公立教育占90%，高等教育阶段占50%。 [↩]