このコーナーでは、TOEFLテストの実施運営団体であるETSのプロダクツをご利用いただいている高等学校・大学での導入事例を、現場の教室からお伝えします。
　ETSプロダクツとは、TOEFL-PBT（Paper-Based Testing）テストの過去問題を使った「団体向けTOEFLテストプログラム：TOEFLテストITP」や、インターネットに接続できる環境があればどこからでもアクセスができ、短時間で採点とフィードバックを自動で行う、ライティングの授業には欠かせない「オンライン・ライティング自動評価ツール：Criterion」など、現在日本国内のみならず世界の教育現場の皆様に多くご利用 ・ご活用いただいているETS開発のテスト・教材です。
　今回は2005年7月6日に京都で開催した第1回Criterion研究会でも発表いただいた、立命館大学嘱託講師・大年順子先生からのレポートです。

　Process-oriented approachでは、1つのエッセイを作成するにあたり、その過程で内容・文法の両面から学習者にFeedbackを与え、最終的なテキストの完成を手助けするという手法が有効な指導法であると考えられている(e.g., Celce-Murcia & Larsen-Freeman, 1999)。しかしながら、現場の語学教師であれば実感があるように、英作文のFeedbackは時間的な労力や手間が非常にかかり、例えば1クラス平均30人のエッセイにそれぞれ等しいFeedbackを与えるとすれば、1週間後の次回の授業でエッセイを全員に返却できるであろうか？また、そのFeedbackはどのエッセイにも公平で正確なものを提供できるであろうか？さらに、Non-nativeの教師にとって、内容面はまだしも、文法や語法など100パーセントの自信や直感を持ってFeedbackを行うことは困難である。このような英語WritingのFeedbackの複雑さや困難さを少しでも軽減することのできるテクノロジーがあれば、その使用を考慮することは現場教師のWriting指導を促進するだけでなく、学習者にとってもProcess-oriented approachを促進する恩恵を受けられるはずである。

　CriterionはProcess-oriented approachの理念のもとにEducational Testing Serviceによって開発されたWeb-based assessmentツールである。学習者はオンライン上でエッセイを作成でき、即座にスコアとFeedbackを受け取ることができるという画期的なシステムとなっている。Writing力向上のためには練習とFeedbackの両面が大切ということを実感している教師の立場からは、Criterionに期待をかけるのは当然である。日本でのCriterion使用の実践報告は少ないものの、おおむね学習者の反応はCriterionの使用に好意的である。Benoit(2003)の報告では、Criterionの活用によってエッセイのスコアとFeedbackが即座に与えられることにより、学習者の動機付けが高まったとあり、藤田（2005）も、高校の授業においてレベル別にCriterionを使用することにより、どのレベルでもCriterionの使用には大体満足しているという結果を報告している。しかし、藤田の報告から、下位のレベルの学習者の中にはCriterionのFeedbackの意味が英語力の不足から十分に理解できないもの、また、CriterionのFeedbackやスコアに対して疑問を呈する学習者の反応も伺えた。

この実践報告では、Criterionの使用において以下の2つの問題が提議された。

の2点である。
1）については、Ferris(2001)の文レベルの5つのエラー（注1）（verb errors, noun ending errors, article errors, wrong word, and sentence structure）について、CriterionとHuman Instructorsのエラー検出率をBiber & Reppen (1998)の理論を元に標準化して比べた。　
2）についてはCriterionの機能の1つであるView Feedback Analysisの Score, Grammar, Usage, Mechanics, Style, Organization & Developmentのそれぞれのカテゴリーをどの程度の注意を払って確認したか、アンケートを用いて調べた。

調査の被験者は、東京都内の語学専門学校において2003年3月から2004年3月までにTOEFLコースを受講した28人の社会人学習者で、それぞれが作成したTWE(Test of Written English)形式のエッセイを利用した。平均年齢は24歳で、近い将来英語圏のビジネス関連の大学院に正規留学するために講座を受講している。

Table 1は28人のTWEエッセイを上記のエラーカテゴリー別にエラーを検出し、エラー数を総語数で割って200をかけて標準化した数値の平均値の比較である。この表から、すべてのカテゴリーでHuman Instructorsのエラー検出が上回っており、とくにNounsのエラーについてはCriterionは全く検出していないことが分かる。Sentence Structure では、人間講師の検出率は6.31と高く、しかもPop-upsを使ってより良い文に書き直しているケースが多くみられた。

Table 2はCriterionのView Feedback Analysisの各カテゴリーを被験者がどの程度の注意度を持って確認したかを調べた。CriterionがFeedbackを与えても、学習者が注意を払って確認しなければWriting力の向上には結びつかない。このアンケート結果によると、スコアについては22人の被験者が大変注意深く確認したという結果が出ているが、その他のカテゴリーでは、いくらか注意を払ったという項目が一番多い。この結果から、本調査の被験者はCriterionのスコアに最も関心が高いことが分かる。

以上の調査により、CriterionのFeedback機能と学習者のFeedbackに対しての反応については次のようなことが分かる。

本調査の被験者28人は英語圏の大学院の受験を目指す学習者であり、その学習目的はTWEで一定のスコアに達することが第一の目的であると推測される。従って、Writing能力全体に対して時間をかけて向上させることにはさほど執着しないことが考えられるので、CriterionのそれぞれのFeedbackのカテゴリーに対して入念な注意を払わないのかもしれない。あるいは、本調査の被験者のように平均以上の英語学習者にはCriterionのFeedbackが十分でないことや不確かなことを認識しており、CriterionのFeedback機能を信用せず最終的なスコアのみを確認し、次回のWriting練習の参考に留めているとも考えられる。

教育現場においてCriterionの活用法を考えるとすると、パラグラフを組み立てることができ、エッセイ全体を構築できる、中級以上の学習者に対しての方が有効であると推測される。CriterionのFeedbackはすべて英語でなされ、またPop-upsのコメントもデフォルトで一般化されているため、Ferris（2001）が指摘しているように、エラーFeedbackに有効な"それぞれに独自で、具体的なコメント"ではないため、初級レベルの学習者には理解しにくいであろう。従って、パラグラフを組み立てることのできない初級の学習者に対してCriterionを使用させることは、学習者がCriterionのスコアをゲーム感覚で利用することだけに終始し、英語エッセイの構築をCriterionによってミスリードされてしまうことも危惧される。これからのリサーチとしては、上級者と下級者でCriterion を使用させ、利用法、スコア、認識の違いなどを調査する実践報告が待たれる。

（注１）各エラーの定義は、下記のFerris（2001）の説明を参考にした。