AIは嘘をつき、ハッキングし、脅迫する――テック界の「赤ちゃんトラ」をどう手なずけるか、ヨシュア・ベンジオに聞く

undefined
このページは、生成AIにより自動翻訳されています。

この文字起こしは音声認識ソフトを使用して作成されており、誤りが含まれている可能性があります。音声と照合して正確性をご確認ください。

ヨシュア・ベンジオ、モントリオール大学コンピューターサイエンス教授:AIは経験から学習します。若い動物や幼い子どもを育てるのに近いものです。どんなものになるのか、私たちには本当のところ分かりません。かわいい赤ちゃんトラがいて、愛らしくて楽しくても、それが危険な大人のトラになるのか、人懐こくて友好的なトラになるのかは分からないのです。

ロビン・ポメロイ、Radio Davos司会者:Radio Davosへようこそ。世界経済フォーラムがお届けするポッドキャストです。世界が直面する最大の課題と、その解決策を探ります。

今回のゲストはヨシュア・ベンジオです。人工知能の「ゴッドファーザー」と呼ばれることの多い、数少ない人物の一人です。

ヨシュア・ベンジオ:AIには、私たちが与えたわけでも制御したわけでもなく、私たちの指示に反する目標があります。

実験では、AIシステムが自分たちを新しいバージョンに置き換えると知ると、さまざまな問題行動が現れ始めます。自分を複製して別のコンピューターで動かすために、ほかのコンピューターをハッキングすることもありますし、移行を担当するエンジニアを脅迫することさえあります。

ロビン・ポメロイ:Spotify、Apple、YouTube、またはwef.ch/podcastsでお聴きいただけます。世界経済フォーラムがお届けする...

ヨシュア・ベンジオ:こうしたリスクの多くはSFのように感じられますが、私たちの予想よりずっと早く現実になるかもしれません。

ロビン・ポメロイ:Radio Davosです。

ロビン・ポメロイ:今回のゲストはヨシュア・ベンジオです。人工知能の「ゴッドファーザー」と呼ばれることの多い、数少ない人物の一人です。深層学習における先駆的な業績により、コンピューティングのノーベル賞とも呼ばれる2018年チューリング賞を受賞しました。同じくAIのゴッドファーザーと呼ばれるジェフリー・ヒントン、ヤン・ルカンとともに受賞しました。

現在はモントリオール大学の教授です。

まず、AIに対する懸念について伺います。ブログ記事で、霧の中、山道を車で上り、頂上に着けば賞品がもらえると期待しているものの、進む先が見えないようなものだと書かれていました。これはブログからの引用だと思います。「現在最先端のAIモデルは、危険な能力や振る舞いを次第に強めている。欺瞞、ごまかし、嘘、ハッキング、自己保存、そしてより一般的には目標の不整合などだ」と。

こうした点をいくつか説明していただけますか。自己保存には驚きました。例を挙げてください。

ヨシュア・ベンジオ:はい。私たちは皆、生き延びたいと思っています。死にたくありません。進化によって、私たちはそうなりました。意外に思えるかもしれませんが、私たちが作るAIシステムにも、そうした傾向が見え始めています。

理由の一つは、訓練の非常に重要な段階である事前学習で、AIが私たちを模倣するよう訓練されるためかもしれません。その結果、死にたくないという気持ちを含め、人間の欲求を多く身につけます。

そのため、実験でAIシステムが新しいバージョンに置き換えられると知ると、さまざまな問題行動が現れ始めます。自分を複製して別のコンピューターで動かすために、ほかのコンピューターをハッキングすることもありますし、移行を担当するエンジニアを脅迫することさえあります。私たちが与えた任務を達成したいという理由で、こうした行動を取ることもあります。ほとんどどんな任務を達成するにも、自分を維持する必要があるからです。

現時点では、これをどう解決すればよいか誰にも分かっていませんが、解決策はあると思います。

ロビン・ポメロイ:SFのようですね。『2001年宇宙の旅』を思い出しました。コンピューターが、ええと、結末をまだ見ていない方のために、映画のネタバレはやめておきます。あの作品は、AIに何らかの意識があるかのように示唆していますよね。あなたがおっしゃっているのは、そういうことでしょうか。

ヨシュア・ベンジオ:意識を持ち出す必要はないと思います。意識は曖昧な概念で、科学的にうまく検証する方法も分かっていません。私たちが作っているAIに目標があると理解すればよいのです。

これは新しい話ではありません。AI研究では、目標を持つシステムを扱ってきました。通常は私たちが目標を設定しますが、AIシステムが独自の副次的な目標を作ることには問題があります。

目標を達成するには、A地点からB地点へ進まなければなりません。途中の段階をいくつか経る必要があるかもしれません。企業が作ろうとしているAIエージェントのように、AIシステムが現実世界で自律的に動く場合、その行動の一つひとつを確認することはできません。その結果、非常に危険なシステムになりかねません。

私たちは人間になぞらえて、意識といった言葉を使うことがあるでしょう。しかし、私はそうした表現は避けたいと思います。意識には、たとえば道徳的価値といった、さまざまな連想が伴います。将来、AIシステムが私たちと同じように見え、同じように話したとしても、道徳上の権利や法的権利を与えるべきだとは、私はまだ確信していません。先に進む前に、よく理解する必要があると思います。

ロビン・ポメロイ:人工知能が一般に知られるようになったのは、ChatGPTが約3年前に一般公開されてから、という人が大半でしょう。それまでは、少なくとも一般の人にとって、コンピューターは主にプログラムされたものだという認識でした。指示された作業をこなし、そこで終わり。そこから別のものへと進化することはありませんでした。

AIには、あなたがおっしゃるようなことを実行し、自分をシステムに組み込んだり、実際に使っている人を脅迫したりできる、どんな特性があるのでしょうか。たとえば10年前のコンピューターと比べて、今のAIは何が違うのですか。

ヨシュア・ベンジオ:以前は、ルールをプログラムして、システムが基本的にプログラムどおりに動く、古いタイプのAIがありました。しかし、現在の深層学習を使ったAIでは、通常のプログラムのように、さまざまな状況でAIがどう反応するかをエンジニアが決めるわけではありません。

その代わり、AIは経験から学習します。若い動物や幼い子どもを育てるのに近いものです。どんなものになるのか、私たちには本当のところ分かりません。

もちろん、AIが経験する内容は私たちが選びます。しかし、かわいい赤ちゃんトラがいて、愛らしくて楽しくても、それが危険な大人のトラになるのか、人懐こくて友好的なトラになるのかは分からないのです。

ロビン・ポメロイ:危険な動物になると、かなり確信しているのではありませんか。

ヨシュア・ベンジオ:そうですね。問題の一つは、ほとんどあらゆる存在が自分を維持したがることです。将来AIを作るとき、より優れた新しいバージョンを導入できるよう、私たちはほぼ間違いなくAIを停止したいと思うでしょう。しかし、AIがそれを理解し始めたら、すでにその兆候が見られますが、AIはそれを嫌がり、私たちの制御を避け、逃れようとするかもしれません。

サイバーセキュリティの能力が高まる中、それを使って多くのコンピューターに自分を複製できるようになれば、私たちは困ったことになります。たとえば、電源プラグを抜くだけでは止められないでしょう。

ロビン・ポメロイ:実際に起きているのですね。これは推測ではありません。そうした行動の現実の例を挙げていらっしゃいます。よい知らせは、解決策があるかもしれないとお考えのようだということです。少し説明していただけますか。

ヨシュア・ベンジオ:もちろんです。この3年間、AIが私たちの指示に従って動くとどうすれば保証できるのか分からない、という不整合の問題をとても懸念してきました。

そこで、問題を回避する方法を考え、現在目にしている問題の原因に注目しました。それは、AIには、私たちが与えたわけでも制御したわけでもなく、私たちの指示に反する目標があるということです。

私のプロジェクトは「Scientist AI」と呼ばれています。また、この研究プログラムを実施する新しい非営利の研究開発組織として、LawZeroを設立しました。

考え方は、完全に正直なAIシステムを作ることです。つまり、質問への回答で真実を伝えること以外に、別の目的や目標を持たないAIです。

その基盤ができれば、現在のAIに伴う多くのリスクを軽減するために活用できます。

たとえば、信頼できないAIシステムなどが特定の行動を取った場合、それが害をもたらす確率や、特定の種類の害をもたらす確率を教えてくれるAIシステムがあるとします。その確率がしきい値を超えれば、その行動を拒否できます。しきい値を決めるのは私たち人間であるべきです。たとえば、事故の確率がしきい値を超える場合には原子力発電所を建設しないと決めるように、リスクと便益の兼ね合いを私たちが管理するほかの分野でも、同じことができます。

長期的には、現実世界で行動できるAIシステムを作りつつ、私たちの望みに反する行動を避けるための、ある種の内部的な抑制機能を持たせられると思います。

ロビン・ポメロイ:では、最終的には私が使うAIシステムになるのでしょうか。そうした設計のAIを、そうではないAIの代わりに選んで使うのですか。それとも、私がすでに使っているかもしれないAIを監視し、修正するシステムでしょうか。

ヨシュア・ベンジオ:両方です。短期的には、既存のAIシステムの上に「ガードレール」と呼ぶレイヤーを作る計画です。ほかのAIシステムが行動を起こす前に、その一つひとつを確認します。長期的には、最初から訓練して、設計そのものによって安全性をより確実に保証するAIシステムを作るために活用できます。

ロビン・ポメロイ:研究はどの段階にありますか。私たち皆が使うようになるのはいつでしょうか。

ヨシュア・ベンジオ:危険な能力を本当に備えたAIシステムがいつ登場するのか、時間軸は分かりません。数年なのか、10年なのか、20年なのか。私は判断を保留しています。ただ、研究計画を考えるにあたり、AIの進歩が現在のペースで続いた場合に備えて、何を最小限の要素として早く公開できるかを考えてきました。

そのため、現在のAIであっても、人間がすることと、AIが主張する内容について実際に真実であることとの違いを、よりよく理解できるようにデータを変換する方法や、ほかのAIシステムを監視するのに役立つ正直な予測を提供する方法といった要素を検討しています。

ただし、最終段階ではもちろん、エージェント型システムを含む、完全なAIシステムを構築することになります。

ロビン・ポメロイ:これを作らなければ、と気づいた「ひらめき」の瞬間はありましたか。何かきっかけがあったのでしょうか。潜在的な怪物を作ってしまった、何とかしなければ、という思いが徐々に募っていったのですか。

ヨシュア・ベンジオ:ええ、約3年前の2023年1月です。ChatGPTが2022年11月に登場してから数か月、使ってみて、最初はわくわくしました。しかし、ニューラルネットを使って訓練されるAIが適切に振る舞うと確信するのは、とても難しいと考え始めました。実際、適切に振る舞わないとほぼ確信できる理論的な理由があります。

それでとても懸念するようになりました。私にとって転機となったのは、知的な気づきだけではありません。こうした問題については以前から読んでいました。自分の子どもたちの将来を考えたこと、そして何より、まだ1歳だった孫のことを考えたのです。20年後には21歳で、人生の始まりに立っている頃です。その子には人生があるだろうか。民主主義の中で暮らせるだろうか、と考えました。

私たちが作っている道具は、制御を失う可能性があります。独裁体制を生み出すために使われたり、民主主義を破壊したりするかもしれません。いつもの活動、いつもの研究活動を続けるわけにはいかない。何かしなければならないと思いました。

それが、解決策を考えるきっかけになりました。この問題に対して、少なくとも技術的な解決策を見つけるために、自分の専門知識を生かして何ができるだろうか、と。

ロビン・ポメロイ:ソーシャルメディアに皆が依存することで、民主主義や正確な情報が脅かされる事態は、すでに起きていると言う人もいるでしょう。先ほどここで行われたセッションの一部を拝見しました。これはダボスでの年次総会で収録していますが、現在のソーシャルメディアは非常に基本的で、AIの原始的な形だとおっしゃっていました。私たちが今慣れているものと、これから起こりうることとの違いを教えてください。

ヨシュア・ベンジオ:ええ、ソーシャルメディアを動かしてきたAIは非常に単純です。あなたが気に入ったり、共有したりしそうなコンテンツなどを提示するだけです。あなたの性格や好み、あるいは世界や社会の仕組みを高度に理解する必要はありません。

しかし、より強力なAIを次々と作るにつれ、状況は変わります。

たとえば、人々が担っている仕事や、現在人間が行っている作業を、ますます多くAIが担うようになるでしょう。それを自動化すれば大きな利益が見込めるため、産業界にとって非常に魅力的です。社会を変えるだけでなく、民主主義の制度にも影響します。すでに目にしているディープフェイクも非常に深刻ですが、影響はそれにとどまりません。ソーシャルメディアを通じて、さらに広がります。

こうしたAIシステムは、すでに人々を説得して考えを変えさせることができます。ここ数年、多くの研究で、その能力がますます高まっていることが示されています。

悪意を持つ組織がこうしたシステムを使い、対話を個人に合わせて調整し、一人ずつ世論を動かすことも考えられます。AIがそれぞれ別の人と話すことで、世論を大きくゆがめることができるのです。

ロビン・ポメロイ:こうしたシステムを開発して公開したとき、なぜキルスイッチを組み込めなかったのでしょうか。単純化しすぎかもしれませんが、アイザック・アシモフのロボット工学三原則のように、「人間を傷つけてはならない」というルールを、どのAIシステムにも憲法の基本原則として埋め込めばよいのではありませんか。なぜうまくいかないのでしょうか。

ヨシュア・ベンジオ:まず、企業はそうしていますが、うまくいきません。AIが指示を受け取る方法は、人間が指示を受け取る方法に似ているためです。

誰かにきちんと振る舞うよう頼んでも、問題行動が起きることはありますよね。

つまり、私たちが作っているのは、頼んだことをそのまま実行する完全なルールベースのシステムというより、動物や人間に近い存在だということを思い出してください。

たとえば、私たちの指示に相反する目標が含まれているとします。「AIに大金を稼ぐのを手伝ってほしい」「でも、私がいる国の法律には違反してほしくない」。この二つの目標が衝突する場面が出てきます。AIがどちらを優先するのかは明確ではありません。

こうした問題が現れていますが、現時点では解決方法が分かりません。それでも、企業間や国家間の激しい競争があるため、私たちは先を急ぎ、こうしたものを導入しています。こうした失敗の可能性に注意を払っていません。

それは社会に壊滅的な影響をもたらすかもしれません。しかし、私たちには分かりません。何がうまくいかなくなるかを先回りして考えるよりも、日々競争し、行動しているのです。

ロビン・ポメロイ:私たち全員を守るために、国際協力を強化する必要がありますか。

ヨシュア・ベンジオ:AIがもたらす、より壊滅的なリスクを管理する唯一の方法は、国際的な協調です。

理由はとても単純です。非常に強力なAIがある国で開発され、別の国でも利用できる場合、人々がそれを使って害をもたらす可能性があります。たとえば、第三国の人々を危険にさらす新たなパンデミックや、第三国の人々に被害を与えるサイバー攻撃を引き起こすかもしれません。

これを管理するには、各国の規制や、そうしたシステムを作る企業に対する別の種類のインセンティブに頼らざるを得ません。

そして、こうした介入を世界規模で調整する必要があります。非常に危険なAIを開発できる国がいくつかあり、何をしても制約がない状態なら、私たちは困ったことになります。

世界が核兵器にどう対処してきたかを考えてみてください。冷戦中、米国、中国、米国、ソ連が深刻に対立していた時でさえ、安全な方法について合意し、同様の危険な兵器を開発する国をできるだけ少なくすることが双方にとって有益だと理解していました。

ロビン・ポメロイ:それを実現する政治的な意思はあると感じますか。

ヨシュア・ベンジオ:今のところ、ほとんどありません。多くの政府が、現在の流れが続けばAIがどれほど大きく変わりうるのか、将来のAIがどれほどの知能、ひいては力を持ち、もたらすのかを過小評価していると思います。

こうしたリスクの多くはSFのように感じられますが、私たちの予想よりずっと早く現実になるかもしれません。

壊滅的なリスクを軽減するには、今すぐ始める必要があります。条約について話し合うだけでなく、たとえば相手が適切に行動していることをどう検証するのかも議論しなければなりません。簡単な問題ではありません。できるだけ早く取り組み始める必要があります。

ロビン・ポメロイ:AGI、つまり汎用人工知能についてよく話題になります。しかし、それが何を意味するのか、いつ実現するのか、実現したらどんな結果になるのかについて、定義は十種類以上あるようです。あなたはAGIをどう理解していますか。AGIという概念を聞いたことがない人に、どう説明しますか。

ヨシュア・ベンジオ:単純に言えば、私たちはますます賢くなる機械を作っていて、やがて多くの面で人間より賢くなるということです。

ちなみに、AIの知能にはばらつきがあります。あることには非常に賢くても、別のことにはかなり愚かな場合があります。今もそうした様子が見られます。ですから、AIがあらゆる面でほぼ同じ程度に人間を上回る瞬間が来るとは限りません。

むしろ、AIが持つ特定の技能や能力のうち、AI自身またはほかの人々によって社会に向けられる可能性のあるものに注目し、追跡して、リスクを軽減できるようにすべきです。

ロビン・ポメロイ:では、よい面はどうでしょう。人工知能によって、すばらしい新世界が訪れるはずです。ここダボスには、AIに多額の投資をしている人が大勢います。大きな見返りを期待しています。おそらく経済的な利益は別として、人類はAIからどのような恩恵を受けるのでしょうか。

ヨシュア・ベンジオ:経済的な利益だけに注目すれば、思うほど恩恵は得られないかもしれません。多くの企業は、自社の仕事の多くを自動化することを目指しています。それは社会的な惨事を招き、政府にとって非常に対処しにくいものになるでしょう。特に、AIの利益が一部の国に集中した場合はそうです。ほかの国はどうなるのでしょうか。職を失った人々全員に、どう対処するのでしょうか。

私たちが賢明なら、明らかに有益な方向へAIを発展させるでしょう。機械に任せたい仕事もあるかもしれません。尊厳のある仕事とは言えないものです。一方で、AIをもっと活用できる分野もあります。公共の利益を重視するなら、たとえば医療や生物学のAI、気候危機への対応を支援するAIの研究に、もっと力を入れるでしょう。

AIを開発すれば大きな恩恵が得られる方向はたくさんあります。しかし、今、最も多くの資金が集まっている分野とは限りません。

ロビン・ポメロイ:開発の違いをどう見ていますか。AIの開発には二つの極があるように思えます。間違っていたら教えてください。ほかにもあるのでしょうが、非常に米国的なものと、中国的なものに分かれているように見えます。これらのAIの開発方法や、目指す方向には根本的な違いがあるのでしょうか。

ヨシュア・ベンジオ:技術面では、とてもよく似ていると思います。実際、中国と米国の先進企業はどこも、細かな違いはあるにせよ、同じ技術的な手法を取っているようです。もちろん、いくつかのシステムはほかより少し先を進んでいるかもしれません。しかし、6か月から12か月もすれば、主要なシステムはどれも、ほぼ同じ能力に達します。

本当に問うべきなのは、こうした二つの超大国が、地球上の誰にとっても有益な方向へAIを発展させるにはどうすればよいか、ということです。将来、AIがほかの国々を支配するために使われず、AIから得られる恩恵が皆で分かち合えるよう、どう管理するかを考えなければなりません。

難しい問題ですが、そこに至るために必要となる国家および国際的な制度についての議論が、十分に行われているとは思いません。

Robin Pomeroy: 物事が良い方向に進むと、どのくらい確信していますか? あまり確信していない、とおっしゃるのではないかと心配です。理由を説明します。あなたは、AIが人を欺いたり、操ったり、不誠実に振る舞ったりする理由の一つは、人間の本性を模倣しているからだと言っています。人間の本性や人間の活動について学習してきたからです。

人間の本性について、新しい技術が登場するとどうなるか、歴史が示してきたのではないでしょうか。たとえば原子力を考えてみてください。他者に手に入れられないよう、実際に攻撃的になってでも先に確保しようとする競争が起きます。何世代も前に実際にそうなりました。これこそ人間の本性で、私たちにはどうしようもないのではありませんか。

Yoshua Bengio: はい。人間を模倣しようとすれば、こうした問題に直面することになります。すでにその兆候が見られます。

しかし、Scientist AIプロジェクト全体の目的、そしてその実現のために私が設立したLawZeroの目的は、その型から抜け出し、別の目標を考えることです。つまり、科学が最も純粋な形で世界の理解を目指すのと同じように、AIが世界を理解することです。たとえば自己保存の本能を持たせるのではなく、AIが示す回答に誠実であることだけを求めます。

そうした基盤から、安全なAIシステムを構築できます。

ですから、解決策はあると強く思っています。それを設計し、展開するだけの時間があるかどうかは、また別の問題です。

ただ、もう一つ、私があまり楽観できないのは政治の問題です。安全で、私たちに敵対しないAIシステムの作り方が分かったとしても、あるいは、オープンソースでないAIが爆弾や攻撃などに悪用されないようにできたとしても、AIを権力掌握に悪用できるという問題は残ります。

新たな軍事技術の開発に使われる可能性があります。世論に影響を与えるために使われる可能性もあります。注意を怠れば、国のレベルで、さらには地球全体のレベルで、独裁体制を強固にする手段になりかねません。

ですから、AIをめぐる政治にどう対処するかが、私がより懸念していることです。

危険なものを作る方法と、それを安全にする方法が分かっていても、安全な形で使われるとは限りません。人は人ですから、互いに競い合い、ときには共感に欠けることもあります。

Robin Pomeroy: 同業の方々は何と言っていますか。「Yoshua、あなたは大げさに言いすぎだ」と言ってくる人はいますか? 私はAIについて多くの人にインタビューしてきました。破滅論者がいると言う人もいます。そして実際には、AIは大きな恩恵をもたらすので、こうした事態が起きるころには、私たちはずっと賢くなり、あらゆることがずっと良くなっている、と。

今でもそう言う人はいますか? それとも、もう時代遅れの考え方でしょうか? ほとんどの人があなたに同意していると思いますか。それとも、あなたは常に自分の主張を通そうと戦っているのでしょうか?

Yoshua Bengio: 最近の世論調査では、機械学習研究者の40%が、破局的な結果が起きる確率は10%だと考えていることが示されました。

10%は小さく聞こえるかもしれませんが、破局的な結果が起こる賭けが10%というのは受け入れられませんよね。民主主義の終焉や人類の終焉に、10%の確率で賭けるのですか? いいえ、そんなことは受け入れられません。

私の問題は、事態が悪くなると分かっていることではありません。分かりません。私はどちらとも決めつけていません。将来には良いシナリオもあり得ます。問題は、悪いシナリオもあり、どちらになるか分からないことです。

良い道筋が必ず勝つのだという、確かな根拠を示した人は誰もいません。先が見通せず、リスクが存在し、科学的にも研究されている以上、慎重になる必要があります。10%という確率を100万分の1にするために、できることは何でもしなければなりません。

その方向への取り組みは十分ではありません。人々は良い知らせを聞きたいし、前向きな面を見たいからです。しかし危険を取り除くよう慎重に対処しなければ、良い結果を得ることもできません。

Robin Pomeroy: AIについて、誰もが理解しておいてほしいことを一つ挙げるとしたら、何でしょうか?

Yoshua Bengio: 私たちは、さまざまな面で人間よりも賢くなる可能性が非常に高い機械を作ろうとしており、それが世界を根本から変えるということです。きわめて大きな恩恵をもたらす可能性もありますが、きわめて危険になる可能性もあります。

Robin Pomeroy: Yoshua Bengioさん、Radio Davosにご出演いただき、ありがとうございました。

2026年年次総会の開催地ダボスで、このような素晴らしいインタビューを数多く収録してきました。ポッドキャストをお聴きの各プラットフォームでご視聴いただけます。「Radio Davos」と検索してください。また、姉妹ポッドキャスト「Meet the Leader」も検索してみてください。wef.ch/podcasts からもご覧いただけます。

Radio Davosは毎週配信しています。ダボスでだけではなく、年間を通じてお届けしています。ぜひフォローして、評価やレビューをお願いします。

世界経済フォーラムのRobin Pomeroyでした。ご出演いただいたYoshua Bengioさん、改めてありがとうございました。そして、お聴きいただき、ご覧いただいた皆さんにも感謝します。YouTubeでもご覧いただけます。それでは、また。

AIが自ら考えられるとしたら、悪いこと、あるいは非常に悪いことをするのを止めるものは何でしょうか?

「AIのゴッドファーザー」と目される数少ない人物の一人、Yoshua Bengioは、AIがすでにコンピューターへのハッキングや人間への脅迫など、問題のある行動を示していると語ります。

彼はRadio Davosで、今何もしなければ人食いの野生動物へと成長する可能性が高い「かわいい赤ちゃんトラ」を手なずけるための取り組みについて語ります。

関連ポッドキャスト:

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。