言語は ISO 639-1 コードによって標準化されてきましたが、デジタルコンテンツの増加により、より正確なコーディングの必要性が一層高まっています。
ISO 639-3 は、2文字の言語コーディングから3文字の標準へと移行したものであり、単に中国語とするのではなく、例えば北京語（マンダリン）と広東語など、より多くの地域方言や言語変種を考慮しています。
さらに精密な言語コーディングを実現するには、特にメタデータにおいて重要となりますが、ISO 639-3 を ISO 3166 の国コードと組み合わせて使用すべきです。
標準化の必要性は既に十分に確立されています。標準は規制を支えるだけでなく、グローバル経済全体でシステムを効果的に連携させるうえでも役立ちます。数百もの機能がコードや標準化の対象となっており、言語もその一つです。
各言語、語族、方言を表す国際的に認められたコードは、各国のシステムや組織がデータを正しく識別し、適切に管理するうえで役立ちます。これらは図書館の書誌管理、情報管理システム、データベース、ウェブサイトなどで利用されているほか、機械学習の訓練データが正しい意図に沿うことを保証するためにも用いられています。さらに、言語の変種を正しく対応づけることは効率的であるだけでなく、利便性が高く、ブランドを守ることにもつながります。
では、正確な言語指定のためにはどのコードを使用すべきでしょうか。包括的な ISO 639-3 は、ISO 3166 の国コードと組み合わせることで、世界で知られているほぼすべての言語を一義的に定義しています。
ISO 639-3 以前
ISO 639-3 以前は ISO 639-1 が用いられていました。これは2文字の指定でしたが、デジタル世界の拡大とともに、より正確な言語対応への需要も高まっています。例えば、ISO 639-1 における中国語の「zh」は、ISO 639-3 では「zho」となり、さらに、閩東語の「cdo」、北京語（マンダリン）の「cmn」、客家語の「hak」など、方言ごとに約16の追加言語コードがあります。
カタールで開催された2022年FIFAワールドカップの趣旨にならい、言語変種を区別することの重要性を理解するために、英語の「football」を例に挙げてみましょう。米国英語の話者にとって「football」は、例えば英国の人々が「soccer」と米国人が呼ぶものを指す言葉として用いる場合とは全く異なる競技として理解されます。しかし、米国英語と英国英語の違いは、実際には ISO 639 では扱われておらず、国コードによって区別されています。
世界中には様々な英語の形態が存在しますが、ISO 639 では英語をマクロ言語としては扱っていません。その他の英語のコードは、主にクレオール語やピジン語の変種であり、例えばジャマイカ・クレオール英語などが該当します。このことは、例えばエジプト・アラビア語（arz）と標準アラビア語（ara）を区別せずに、アラビア語の変種を一つのコードにまとめることがいかに不適切であるかを、むしろ際立たせています。
語彙集、訓練データ、データ管理ソリューションに関しては、混乱した結果を避けるために言語の区別が極めて重要です。ほとんどのアプリケーションにおけるベストプラクティスは、ISO 639-3 と ISO 3166 を組み合わせて、使用したい特定の言語と地域を識別することです。
エンドユーザーに対してますますパーソナライズされたソリューションを提供するうえでは、アプリケーションが各地域のエンドユーザーの期待と話し言葉に合致できるよう、正確な言語 ID が不可欠です。
Erik Vogt、Appen Limited エンタープライズソリューション担当バイスプレジデント
言語に関する ISO 規格
ISO（国際標準化機構）は、言語識別の標準化に関する5つのパートを公表しています。ISO 639 は、言語または語族を表すための国際的に認められたコード（2文字、3文字、または4文字のコード）を定めています。
パート1 – ISO 639-1 – は最も古い規格であり、2文字のコードを用いて大多数の言語を表します。最も一般的な話し言葉を対象としていますが、言語内の変異は考慮されていません。パート2～5 は3文字のコードを用い、生存している言語か消滅した言語かを問わず、既知のすべての自然言語を網羅するために、より多くの地域的な組み合わせを提供しています。ISO 639-3 は ISO 639-2 よりもはるかに広範囲にわたり、7,000以上の言語を対象としており、メタデータコードとして用いられることを想定しています。ウェブやSaaSアプリケーションなど、コンピュータおよび情報システムで多くの異なる言語をサポートするために一般的に使用されています。
エンドユーザーに対してますますパーソナライズされたソリューションを提供するうえでは、アプリケーションが各地域のエンドユーザーの期待と話し言葉に合致できるよう、正確な言語 ID が不可欠です。3文字の ISO 639-3 と ISO 3166 のコードにより、これらの固有の言語を区別することが可能になります。Ethnologue、今日利用可能な最大級かつ最も包括的な言語データベースの一つであるEthnologueは、3文字のISOシステムを使用しています。
それでもなお、ISO 639 で定義されていない言語や、ISO 639-1 コードを共有する二つ以上の変種を含む出力を期待する、区別されていない言語の訓練データを提供してほしいという要望が驚くほど多く寄せられています。ISO 639-3 への移行が遅れるほど、言語分類が必要なシステムにおいて曖昧さが増すことになります。より高いコストを伴いながら、変種間の混同が生じるリスクも高まります。
二つ以上の変種を持つ言語を扱い始めたら、3文字のコードシステムへの移行が不可欠です。ただし、すべての2文字コードから3文字コードへの一対一の対応関係は存在する一方で、逆方向の対応はそれほど容易ではありません。それでも、ISO 639-3 規格に合わせて手順を更新することは、先手を打つ価値のある将来を見据えた対応です。
ISO 規格の利点
自然言語処理（NLP）モデルの訓練には、話し言葉に対して有効であるための詳細さと正確さが必要です。最も効果的な組み合わせは、ISO 639-3 の言語コードと ISO 3166 の国コードです。例えば、英語（eng）は、米国英語（eng-USA）、英国英語（eng-GBR）、カナダ英語（eng-CAN）、オーストラリア英語（eng-AUS）、南アフリカ英語（eng-ZAF）などに区分できます。音声認識を目的とした音声アシスタントは、要求を正確に理解し、正しい出力を行うために、英語の方言を識別できる必要があります。
システム全体でこれらの ISO 規格を一貫して適用することの主な利点は次の二つです。
すべての業務に対して、適切な言語スキルを持つ候補者を正確に識別できること。
複数の組織やアプリケーションにわたって、同一の言語を一貫して参照できること。
正確なデータに対する需要の高まりを無視すると、一貫性がなく、不完全で、不正確となる可能性のある地域データにより、関連するすべてのユーザーを確実に識別できなくなり、データの品質が損なわれ、データ収集の取り組みが妨げられます。しかしながら、根本的には、地域の方言を話す顧客基盤の大きな部分を無視することになります。すべてのエンドユーザーに対して提供しているサービスを届けるためには、3文字の ISO コードと国コードを採用すること以上に適切な理由はありません。
