AI時代の「日本語の危機」─トークン格差とルビ財団の挑戦

この記事は約3分で読めます。

かつてのベストセラー、水村美苗日本語が亡びるとき(2008年出版)。

支配的な言語のもとに経済的な利益が集まるものだから、
インターネットの普及により、英語が絶対的な存在になるのでは?

それに伴い日本語は、深い思考や学問、文学を担う力を失い、
日常の雑談のためだけの使われる言葉になってしまうのでは?

そんな警鐘を鳴らした一冊だった。

そしてAIの登場により、日本語の危機がさらに進んでしまうかも?
そう予感させられるような論文と出会った。

AIモデルがもたらす「言語の格差」

Aleksandar Petrov, Emanuele La Malfa, Philip H.S. Torr, Adel Bibi
Language Model Tokenizers Introduce Unfairness Between Languages”(2023)

現在のAIモデルは英語に最適化されているため、
日本語は英語に比べて多くの「トークン」を消費してしまう。
具体的な文字レベルで見ると、

  • 日本語の漢字の65%以上が、1文字につき3つのトークンを消費
  • 「you」という単語(3文字)はわずか1トークンで処理

トークン単位で課金された場合、コストが増大するのはもちろん、
処理の待ち時間や一度に読み込める情報量の制約等で不利になる。

今後のAIモデル開発は、翻訳精度の向上に注力するのではなく、
多言語間のコストや速度を平等かすべき、と著者は提言している。

「ルビ」は日本語の防波堤になる?

そんな日本語の危機に立ち向かうユニークな試みとして、
マネックスの松本大さんが私財を投じて設立した「ルビ財団」。
日本語の「ルビ(ふりがな))」を復権させる活動に力を入れている。

戦後の政策や活版印刷の手間などから出版物からルビが徐々に消えた。
なぜ日本語にとってルビが大切なのか?

  • 子供の知的好奇心を伸ばすため。ルビがあれば辞書を引きながら大人向けの本を読むことができる。
  • ひらがなは読めても、漢字は読めないという外国人居住者のため。日本の文化を理解してもらい、共存するためにルビは必須。
  • 日本人が難しい漢字を読めなくなれば、自分たちの古典を読めなくなってしまう。共通の価値観や基盤を失えば、現代の認知戦において致命的な弱点になる。

というような話が、「総ルビ(すべての漢字にふりがな)」の近刊本、
振り仮名があれば、学力は上がるのか」で語られている。

小説が苦手な理由─身近なルビの問題

そういえば私が小説を読むのを苦手としている理由のひとつって、
とくに最近の小説は、登場人物の名前の読み方が分からないこと。

一番最初に出てきた場面では、漢字にふりがながあるけど、
一日で読み終わらないと、今度開いた時には忘れてしまっていて、
もう誰が誰だか分からなくなって、途中で放り出してしまうのだ。

そのことに気が付いた時、ルビ問題が自分事になったのだった。

「振り仮名」があれば、学力は上がるのか (ポプラ新書 286) | 松本 大 |本 | 通販 | Amazon
Amazonで松本 大の「振り仮名」があれば、学力は上がるのか (ポプラ新書 286)。アマゾンならポイント還元本が多数。松本 大作品ほか、お急ぎ便対象商品は当日お届けも可能。また「振り仮名」があれば...

コメント