掲示板に投稿されたメッセージのログを分析結果から,メッセージの伝達のモデルは図6.1のように表した。メッセージ発信者の発信した事柄が,メッセージ受信者に理解されるまでにはつぎのような過程が存在する。
原文の表現,原文の解釈,翻訳文の表現,翻訳文の理解というそれぞれの過程においては,誤りの混入や情報の修復が行われる。メッセージ発信者とメッセージ受信者の間でコミュニケーションが成立するかどうかは,単に自動翻訳システムの翻訳の性能だけによるのではなく,メッセージ発信者,メッセージ受信者という人間系にも依存している。
「原文の表現」の過程
メッセージ発信者が発信文書を入力する際には,以下のような誤りが発生する可能性がある。
「原文の解釈」の過程
自動翻訳システムが発信文章を解釈する際には,以下のような誤りが発生する可能性がある。
「翻訳文の表現」の過程
自動翻訳システムが,解釈した内容を相手国語に変換し,翻訳文章を提示する際には,以下のような誤りが発生する可能性がある。
「翻訳文の理解」の過程
メッセージ受信者が,翻訳文章の意味するところを理解する際には,翻訳文章そのものを言語的に理解するだけでなく,利用可能なさまざまな手段を用いて情報を修復することが可能である。文章全体の文脈,事前に相手から得た情報,一般常識等の知識の利用が考えられる。
掲示板上で交わされたメッセージのログデータからコミュニケーションの実現度を評価するとともに,コミュニケーションを阻害する要因について分析した。掲示板は,各学校の教師および児童・生徒が使用したが,ここでは児童・生徒のログデータを分析の対象とした。
上記のメッセージ伝達モデルに従って,以下の評価項目を設定した。
原文の入力
・表記ミス
・語彙・語法の誤り
・説明不足
原文の解釈
・構文解釈
・語彙解釈
翻訳文の表現
・表現・語法
翻訳文の理解
・理解困難
ここで,「原文の表現」の「使用語彙の誤り」と「文構成の誤り」は,明確な区別が難しいため「語彙・語法の誤り」として統合した。同様に,「翻訳文の表現」における「構文構築の誤り」と「単語・表現の誤り」については,区別しにくいので,「表現・語法の誤り」として統合した。
また,現時点の自動翻訳システムは,一文ずつの翻訳をするため,文と文の間の論理や文脈まで考慮できないことがわかっているため,「原文の解釈」の「文脈理解の誤り」は,項目としては採用しなかった。さらに,入力文が比較的短く,「原文の表現」の「論理の構成」の問題は,結果的に発生しなかったため,実験結果の表上では省略している。
掲示板上のメッセージをどのように理解したのかを個々の児童・生徒にメッセージごとに分析的に評価してもらうのは現実的でないため,児童・生徒には全体的な理解度をアンケートで尋ねるに留めた。個々のログデータの評価については,筆者の一人である森本が評価を行った。また,理解が困難なメッセージについては,何が原因で理解が困難なのかも分析した。
投稿メッセージは,一般には複数の文で構成されているが,1メッセージ内の文数はさまざまであるため,メッセージ単位で理解度を比較することは困難である。ここでは,メッセージを構成する一文ずつについて評価を行った。以後,メッセージ文と呼ぶ。評価は,該当するかしないかの2値で行った。