それは、絶対的なものではないが、疑似相関ではなくて、因果関係ではないかと推理、判断できるくらいの質の高いエビデンスはあるのだと思う。それはどこまでも推理で、因果関係を証明することはできないけれど、質の高い推理、より信憑性の高い推理はあると思う。
教材や現場などの具体的な知識がないどうにもならないという現実はあるけれど。
退けれるかの判断の視点は、
やはり牧口先生の哲学かな。エビデンスは経験から出発するものなので、価値と経済。自分の仕事の文脈で、全体のバランスを考えながら、子どもたちも自分も、経済的に価値的な経験につながるだろうと考えられる要因を重ねていく（逆に退けることもあると思う）。
教育なら、ある要因がどれだけ、教育的効果があるか、変化を起こすパワーがあるかということ。どんな知識も、自分の知っていること、体験してきたことに結び付けないと意味がわからない。
ある要因で、あるテストの数値が向上するという相関関係、因果関係、効果があるのではとなった時に、そのテストで測られるものでの効果しか推理できない。でも、自分の経験に照らし合わせて考えれば、もっと違った意味を引き出せる可能性はあると思う。
量的な研究は大事。
今、教育分野で、科学的に因果関係を推理できる方法はランダム比較試験しかないみたいですし（統計的因果推論も医療などの実践レベルで使われているらしいので、これもそうなんだと思うけれど。）、この知見を判断材料の一つとして無視しないほうがいいと思う。
だからどんなテストに影響を与えたのかというのが大切かもしれない。そのテストで測られる力とは、違った教育的影響を求めるのなら、自分の仕事の文脈で程度の問題だけれど、退けるということはあると思う。
例えば、ある要因がただ浅いレベルの知識を再生できるというテストに効果があるからといって、そればかりやるということにならないかな。でもとても効果的となれば、その文脈に合わせて、少しは受け入れるかもしれない。
浅いレベルの知識の再生を求めるテストで、大学の入学が決まってしまう場合、その結果を出せる効果のある要因をまっすぐに重ねていくのがいい。でもそればかりやって、時間を使ってしまうのは、違ったレベルの知性、思考力、学ぶことの違った喜びから遠ざけてしまうのかもしれない（トレードオフ）。ある要因に効果があるといっても、その意味を考えなければいけないと思うというのは、こういうことでもあるのだと思う。
状況、経験、価値、経済、こういう視点かな、自分の場合。エビデンスの意味を実践で考えるときの判断の視点。
統計の数値の意味について考える事例として、『ヤバい統計学』という本がおすすめです。プロの統計学者は、数値やそのばらつきの意味を現実のいろいろなことと結びつけて考えているので（ハッティの本を読んでもそう。同じ思考法、パタンを使って考えている）、教育においてのエビデンスの付き合い方にも役立つ内容の本だと思います（どのように考えているのか、コツが書いてある）。誰から求められることなくても本をおすすめする自分。みんな読まないのかなー。
メタ分析は、数値のばらつきが小さくなっていくことから信憑性が高くなっていくのだろうけれど、そのメタ分析の中のばらつきが何を意味するのかについて、ハッティが著書で考えていたことを思い出しました。ハッティは、メタ分析を統合したランキングを出しておしまいという人ではないということ。
https://www.amazon.co.jp/ヤバい統計学-カイザー・ファング/dp/4484111020/ref=sr_1_1?__mk_ja_JP=カタカナ&keywords=ヤバい統計学&qid=1569200535&sr=8-1
