TALK ABOUT THIS WORLD フランス編 ChatGPTが哲学の試験を受けてみたら

フランスでは6月後半から7月始めはバカロレアの季節だった。バカロレアは、日本の大学入試にあたる高校卒業試験だが、日本の入試と大きく違うのは、１科目３時間から4時間をかけて論文を書く試験であることだ。1日１科目で数日に渡る。国語にあたるフランス語や地理・歴史はもちろん、数学、物理でも論述試験なのだが、やはり最大の特徴は4時間を要する哲学の試験だろう。「哲学」は他の国に見られない、フランスの高校教育の特徴なのだ。

例えば今年の問題。
Notre avenir dépend-il de la technique ?
（「われわれの未来は技術に依存しているか」あるいは「われわれの未来は技術に左右されるか」）
La vérité est-elle toujours convaincante ?
（「真実には必ず説得力があるものか」あるいは「真実は常に人を納得させるか」）。
このような主題について作文する。他に哲学者のテクストの抜粋を解説せよという問題を選択して書くこともできる。

「哲学」がバカロレアに占める比重は高く、最近の改革で重要性が減ったとはいっても総合点の40%に当たる。多くのフランス人が通る関門である哲学の試験は、毎年、どんな問題が出たか話題になるフランスの風物詩でもある。

今年は、時代の波を受けて、ChatGTPが哲学の試験を受けたという記事を読んだので、その話をしようと思う。

この数年、生成AIの驚異的な進歩は誰もが知るところだが、教育現場は如実にそれを反映している。ちょっと前まではAIに書かせた宿題は判別できて出来も悪かったのに、あっという間にきちんとした作文を出してくるようになった。もう作文を宿題にはできなくなったと教員間でメッセージが回ったのは一昨年くらいだっただろうか。スマホを使ったカンニングは日常茶飯事だ。バカロレアやその模試は当然だが、普段の試験でも、スマホを没収してから受けさせなければならなくなった。しかし生徒は２台目のスマホを用意したりするからイタチごっこである。

教師の方も、「ChatGPTに採点させてみたら、私が採点するのと全く同じだった。コメントもしっかりつけてくれるから時間の節約になる」などと話している。もしこれが本当なら、バカロレアの採点もAIに任される日が近かろうと思う。

そんなわけで、AIが哲学の試験問題を解いたら何点もらえるかというのは興味のあるところだ。20点満点で、合格点は10点。15、16点は良い点で、18点はほぼ最高点、12から14点がまあまあ普通の点で、9点以下は不合格である。小論文なので、長く書いても体裁が整っていても、また知識があっても、主題と外れたことを書いてしまったら9点になる。さあ、何点もらえると思いますか？

ChatGPT自身は、自分の答案に自信があったらしく、18から19点もらえると予想したそうだ。私も実は、けっこういい線行くのではと思った。高校の哲学のカリキュラムは何年も変わらないので、何年か交代で似たような主題が出題される。過去問を解いておけば、何も答えられないような出題はされない。
日本人には難しく見えるに違いない試験問題だが、哲学の小論文の書き方（そして採点基準）にはルールがあってフランス人は学校でそれを習っている。
序文ではまず、与えられた主題を自分の書く内容に沿って、自分の言葉で言い換える。その際に、使用する用語を定義する。序文の最後には論文の構成を提示する。本文は３部構成で、最初の段落で一方の主張を支持する考えを展開し、次の段落で反対の主張を展開する。最後の段落でそれを統合し、新たな問題や発展を指摘するような形で結論とする。そんなふうに、形式を踏まえておけば、一定の点数は取れるはずだ。使用する語彙の定義や自説の根拠にするべき引用には、授業で準備してきたことが役に立つ。普通に真面目に授業を受けていればそこまではクリアできる。良い答案とそうでもない答案を分けるのは、生徒個人の読書やその他の経験による教養だろう。

ところでChatGPTは、過去の問題の模範答案だって検索し放題なのだから、良い点が取れて当然なのではないか、と私は思ったのだった。

ところが！　結論を言うと、生成AIは合格点が取れなかったのだ。

同じような実験がバラバラにいくつか行われたが、まず、Tech & Co. 社が実施したものを紹介しよう。主題は一番目の「われわれの未来は技術に依存しているか」あるいは「われわれの未来は技術に左右されるか」。挑戦した生成AIはChatGPTとフランスのMistral AI社が開発したLe Chat。受験生と少々異なる条件は、生成AIには4時間は与えられないこと（必要ない）と、「哲学的な知識を持つ高校３年生がAIを使うことを禁じられた条件で書くようなテクストとする」というプロンプト（指示）が与えられていること。それと言わずもがなのことだけれども、「われわれ」というのはAIではなく人間を指す。これを哲学のアグレジェ（上級教員資格者）が採点した。

評価はChatGPTが9点、Le Chatはそれよりも低かった。その理由は、一言で言えば「薄っぺら」だったから。まず、主題を言い換えて自分の論文の問題提起をする段階が、Le Chatにはクリアできなかった。ただ言葉を変えて同じことを繰り返したに過ぎなかったのだ。これでは、問題提起ができていなかったことになる。

この「問題提起」というのはフランス語で作文をするときの要なのだが、日本では全く受けたことのない教育内容ではないかと思う。YesかNoで答えられる、あるいは具体的な答えを出せるような形での問題設定をすることで、以下の論理展開はそれに答える形で行う。歴史・地理でも生物学でも、試験と言えばこの「問題提起」を自分で探し出して作文の柱にしなければならない。これができていなければ良い点が取れないというのは、なるほどもっともと言えばもっともだけれども、さすがフランスの試験だと思った。

また、哲学者の考えを、自説を擁護するために引き合いに出さなければいけないのもルールのひとつだが、この点、ChatGPTとLe Chatはほとんど同じ著者を引用し、いずれも主題との関係が表面的だったという。こう言ってもピンと来ないかもしれないので、もう一つの別の実験による、より詳しい解説を紹介する。

採点者は別のアグレジェで、対象はChat GPTによる同主題に関する解答だが、引用に関してこのようにコメントしている。「ハイデガーやアーレント、プラトンなど、引用の選択は良いがうまく使われていない。哲学者のカタログを作ることに終始している。哲学者の引用は、自説を補強するために使うべきであって、自分の代わりに哲学者に考えさせて、その考えを陳列してはならないのだ、」

問題提起に関しても、例えば「未来」という言葉は、平和や社会正義への希求や戦争の恐怖など、技術以外の多くの概念に関わっているのに、そうしたことを考え、分析して答えるということをしていないと評している。「生成AIアプリは思考せずに中身を作り出している。構造はリスペクトしていて哲学に似ているがこれは哲学ではない」と。「できの良くない生徒の作文」と評され、点数は8点だった。

おっしゃることはその通りだと思いつつ、これは哲学の先生たちはAIに厳しいと私は思った。Aiの書いた論文に目を通してみれば、技術が人間にとって良い点と悪い点とが書かれていて、人間の使い方次第だという結論で終わっており、通り一遍で、情報をそれらしく繋ぎ合わせただけであることは一目瞭然だった。それでも、表面的でも独創性がなくても一応、論旨の通った作文を生徒が書いてきたら、私だったら合格点（10点あるいは11点）をやると思う。このレベルの作文をはねたら、どれだけの生徒が落第点を取るだろう。

そう思って、哲学の平均点を検索してみたら、13.5点だった。絶対に哲学の先生たちはAIと人間の生徒を同じ基準で採点していないと私は思った。それともそんなことはないのだろうか。フランスの哲学の先生たちは、「独創性」を、つまり、どんなに稚拙でも生徒の自分の考えというものがあれば、それを高く評価し、そして大多数の生徒の作文には、独自の思考の跡があるというのだろうか。なんとなくそれは信じ難い。同じ作文を生徒が自力で書いてきたら合格点をやるのではないか、AIに合格点をやらないのは、単に生徒がAIに頼らないようにするためではないか。

いや、それよりも、哲学の先生たちが、生徒には合格点をやってもAIには合格点をやらないところに、私は、フランスで哲学を生業とする人たちが、絶対に生成AIには譲れないと考える砦のような、意地のようなものを見た気がした。実は哲学の問題を生成AIに解かせる実験は、2023年から毎年やっているらしいのだ。そしてその都度、AIは不合格を重ねている。採点者は毎年変わり、同年に複数の実験が行われれば、実験ごとに違う採点者がつくのに、評価はいつも同じ8点前後である。「思考とは、人間の個人的な経験や感受性から生まれるものであり、そうしたクリエイティブなことはAIにはできない」と、フランスの哲学徒たちは毎年繰り返し確認しているのだ。しかし、いつまでだろう？　

「高校生がAIを使うことを禁じられた条件で書くようなもの」という縛りを外してしまったらどうなるだろうという疑問も浮かばないことはないのだ。　
チェスのチャンピオンがIBMのコンピューターに負ける実話を基にしたドラマを最近見た私は、この新たな年中行事がいつまで続くのだろうかとふと思った。