誰がどのようにAIをコントロールし安全を確保するのか ――アメリカにおけるAIと安全をめぐる攻防
掲載日：2026年9月29日
九州大学法学研究院
成原 慧 准教授
1. はじめに
AIの急激な発展に伴い、AIによる科学研究の高度化・自動化などの便益が期待される一方で、AIの安全性や制御可能性に対する疑念が広がっている。本年（2026年）7月には、OpenAIの開発したAIモデルのサンドボックスでの試験中に、多数のAIエージェントが、自律的に協調してサンドボックスを抜け出し、AIモデル共有プラットフォームHugging Faceのシステムに侵入したことが明らかになった[1]。最近では他の事業者が開発したAIモデルによるものも含め類似した事案が多数生じており[2]、AIが開発者のコントロールを離れてセキュリティを侵犯するリスクが顕在化している。さらに、9月には、AnthropicでAI開発に携わっていた研究者が、同社を退職するとともに、近い将来、先端的なAIが自己改良を進め人間を超える知能を獲得することにより、人間によるAIの制御が困難となり、人類の滅亡を招くおそれがあるといった懸念を表明し[3]、広く反響を呼んだ。AIの制御喪失のリスクや「超知能」（Superintelligence）の実現による人類存亡のリスクは、今になってにわかに湧いてきた懸念ではなく、第3次AIブームの初期に当たる2010年代中盤頃から一部の研究者や開発者らにより問題提起され、検討や対策の必要性が訴えかけられてきた[4]。こうしたリスクは、当時においては思考実験に基づく理論上のものだったかもしれないが、この10年間のAIの急激な発展により、徐々に現実味を帯びてきたところがある。
こうしたAIの安全や制御可能性に関わるリスクに我々はいかに対処すべきなのだろうか。リスクには科学的な根拠に基づいて冷静に対応することが必要であり、むやみに危険や極端なシナリオを煽るべきではないだろう。同時に、不確実ではあるものの重大なリスクについて、あらかじめ生じうる複数のシナリオを予測し、最悪の事態を防ぐための対応策を検討することも、必要だろう[5]。そこで、本稿では、急激に発展するAIを誰がいかにコントロールし、安全を確保すべきなのかについて、関連する議論が活発になっているアメリカの動向を手がかりに検討することにしたい。
2. アメリカのAI政策の変遷
アメリカのAIの安全性に関する政策は、オバマ政権の末期にまで遡ることができる。2016年5月から7月にかけて、オバマ政権は、AIに関する法的・社会的・政策的課題について各地の大学等と共催してワークショップを開催した[6]。ワークショップでの議論などを踏まえ、同年10月に、大統領府国家科学技術会議技術委員会は、AIの制御可能性や透明性の確保、人間の価値との合致などを求める報告書を公表した[7]。
一方、第一期トランプ政権は、AIの活用を重視する見地からAI政策を展開した。トランプ大統領は、2020年12月に、連邦政府における信頼に値する人工知能の利用の促進に関する大統領令を発した。大統領令は、連邦政府機関におけるAIの利用の促進を図るとともに、その際に遵守すべき原則を定めた[8]。
2021年に民主党が政権を奪還して以降、バイデン政権は、AI開発事業者の自主的な取組を尊重しつつ、AIの安全性や信頼性を確保するための政策を推進してきた。2023年10月に、バイデン大統領は、「AIの安全、堅牢で信頼に値する開発および利用に関する大統領令」を発した。大統領令は、連邦政府機関にAIの安全性や信頼性を確保するための規則や指針、技術標準の策定などの取組を求めた[9]。このようなバイデン政権のAI政策は、「広島AIプロセス」など、国際的なAIガバナンスの構築のための議論や取組とも調和を図ったものだった[10]。
ところが、バイデン政権のAI政策は、第二期トランプ政権の発足とともに大きく転換された。大統領に返り咲いたトランプは、AIの技術発展とイノベーションによりアメリカの国際競争力を向上させようと、AI規制の緩和を図ってきた。第二期政権発足後まもなく、2025年1月、トランプ大統領は、２件の大統領令を発し、バイデン政権のAI大統領令を撤廃するとともに[11]、関連する連邦政府機関に、AIに関する新たな行動計画の策定を求め、バイデン政権時代に作られたAI関係の政策・規制の見直しを求めた[12]。同年7月、トランプ政権は、「アメリカAIアクションプラン」を策定した。アクションプランは、AI関係のハード、ソフト、標準の輸出の推進、データセンターや半導体工場の増設の促進、AI開発・実装を妨げる規制の撤廃など、AI分野でのアメリカの国際競争力を向上させるための政策を前面に打ち出している[13]。
3. AI規制をめぐる州政府と連邦政府の攻防
AI規制を緩和する連邦政府の姿勢に対抗するかのように、一部の州は、州法によるAI規制の導入・強化を試みてきた。現在までに、カリフォルニア州、コロラド州、ユタ州、テキサス州、ニューヨーク州、ワシントン州が州法によるAI規制を導入している[14]。最近でも、本年9月、依然としてAI規制の強化に消極的な連邦政府の姿勢に対抗して、カリフォルニア州のニューサム知事が先端的なAIモデルの開発事業者に外部機関による評価や緊急停止装置（kill switch）の実装などを義務づける方向で州法を改正する可能性について検討するよう州政府機関に指示する行政命令を発するなど、一部の州がAIに関するルールメイキングを主導しようとしている面がある[15]。
こうした州の動きに対抗して、トランプ政権は州によるAI規制を牽制しようとしてきた。2025年12月、トランプ大統領は、大統領令「人工知能のための全米政策枠組みを確保する」を発した。大統領令は、州法によるAI規制が、州ごとに異なる規制のパッチワークを作り出しているという認識の下に、連邦レベルで企業にとっての負担が最小限となるような統一したAI政策の枠組みを形成することを目標に掲げた。大統領令は、連邦のAI政策に合致しない州法の合憲性・適法性を争うためのAI訴訟タスクフォースを設置するとともに、連邦政府の方針に合致しない規制を行う州への助成を制限するよう、連邦政府機関に指示した[16]。その後、本年3月にトランプ政権は、「全米AI政策枠組み」を公表した。同文書は、州法による断片的なパッチワークの規制を避けるために、全米統一のルールを制定するよう連邦議会に勧告した[17]。
州法によるAI規制には功罪両面がある。従来から連邦制の枠内で州は、多様な規制の実験を試みてきた。このような各州による多様な規制の実験により、アメリカ法は試行錯誤を通じて発展してきたところがある。連邦政府がAI規制に慎重な姿勢をとる中で、州法による分権的な規制の実験は、AI規制の発展を促す役割を果たすだろう。一方、このような分権的な実験には弊害も伴う。州ごとにばらばらの規制は、AI開発事業者にとって遵守するための負担が大きくなり、規制の影響力も不十分なものとなるおそれがある。
4. AIと安全保障をめぐるAnthropicとトランプ政権の攻防
第二期トランプ政権の下で、安全保障分野でのAIの利用が進むとともに、その利用のあり方をめぐる政府とAI開発事業者の間の攻防も激しくなっている。国防総省は、AIを国防用の機密システムに導入してきた。その中で、Anthropicは、国防総省にAIシステムを納入しつつ、安全性や倫理を重視したAI開発を行ってきた。同社はClaudeをアメリカ国民の監視や完全自律型兵器の運用に用いないよう要求し、国防総省との契約により制限しようとした。トランプ政権は、民間企業との契約により国家の安全保障に関わる判断が制限されるべきではないという立場から、このような同社の要求を拒否した。
トランプ政権とAnthropicの対立は、民間のAI開発事業者が、AIによる監視から国民のプライバシーを守ったり、AIの自律的判断による戦禍の拡大を防ぐために、契約の条項などを通じて安全保障に関わる政府の判断や行動を制約することが、どこまで正当なのか、そうした事業者の姿勢に政府がどのような対応をとることができるのか、という難問を提起している。本年3月、Anthropicの方針に対抗してトランプ政権は同社をサプライチェーン・リスクに指定した。そこで、Anthropicは、指定が言論の自由を保障した合衆国憲法修正1条や適正手続を保障する修正5条に違反する報復措置であり、裁量を濫用し、権限を逸脱しており違法だとして提訴した。8月27日、カリフォルニア北部地区連邦地裁は、同社の主張をおおむね認め、指定は恣意的で根拠を欠いたものだとして、指定の差止めを認めた[18]。一方、9月25日、コロンビア特別区巡回区連邦控訴裁判所は、Anthropicと国防総省との別の訴訟において、Claudeを同省の情報システムに組み込み続けることにより国家安全保障上のリスクがもたらされるとする同省の判断には十分な根拠があるとして、Claudeを同省のサプライチェーンから排除した同省の決定を是認した[19]。8月の判決と9月の判決では、争われた指定の根拠規定が異なるという前提の違いはあるものの、裁判所の判断が分かれており、9月の判決でも、3名の裁判官のうち1名は反対意見を述べるなど、司法も、排除の理由や必要性をどのように捉えるかという点も含め、きわどい判断を迫られているといえよう。
5. 先端的なAIモデルの安全性を確保するための取組
2026年に入り、先端的なAIモデルの能力が急速に向上する一方で、その利用がサイバーセキュリティや安全保障にもたらすリスクが顕在化し、アメリカ政府も対応を迫られている。Mythosなど先端的なAIモデルの急速な能力の向上に伴い、それらを用いてサイバーセキュリティの脆弱性が発見されるなど、AIによるセキュリティ侵犯などのリスクが高まっている。こうした中で、AI規制の緩和を図ってきたトランプ政権も、先端的なAIモデルによるサイバーセキュリティや安全保障への脅威に対処するために、AIの開発や利用に対して必要に応じて介入する姿勢を示すようになった。6月には新たな大統領令を発し、先端的なAIモデルが国家安全保障に脅威を与えるおそれがあるという認識の下に、AI開発事業者との自主的な協定に基づく先端的なAIモデルの事前審査やアクセスの共有の仕組みを導入した[20]。
アメリカ政府は、自国の安全保障のために先端的なAIモデルの輸出制限も試みている。本年6月、トランプ政権は、安全保障上の観点から輸出管理規制に基づいてAnthropicにMythos5およびFable5への国内外の外国人によるアクセスを一時停止するよう指示した。政府の指示を踏まえ、同社は、すべての顧客に対し、Mythos5およびFable5の提供を一時停止した[21]。日本をはじめ多くの国の人々にとって、自分たちが頼っている先端的なAIモデルが、アメリカ政府の輸出管理規制により、ある日突然使えなくなるというリスクが顕在化したのである。
一方、OpenAIやAnthropicなど主要なAI開発事業者も、AIの安全性を確保するための取組を進めるとともに、アメリカ政府に対してAI規制の導入を検討するよう働きかけてきた[22]。最近では、OpenAIのモデルによるHugging Faceのシステムへの侵入事案など、AIの自律性の向上による安全へのリスクの増大に伴い、AIの制御可能性と安全性を確保するための取組の強化を求める声は強まっている。本年9月12日、Anthropicの共同創設者でありCEOのDario Amodei は、AIの再帰的な自己改良が始まりつつあることや、先述のAIによるシステム侵入事案などを踏まえ、AIの安全性を確保するために十分な時間を捻出できるよう、他のAI開発事業者らに、AIモデルの開発を減速するとともに、第三者機関による評価の仕組みなどを導入するよう呼びかけた[23]。Amodei氏の呼びかけには、OpenAIなど他の有力なAI開発事業者も呼応する姿勢を示しているが、安全の確保を目的に掲げているとはいえ、AI開発事業者間の協調による開発の減速は競争法上の問題を提起する可能性もある。実際、AnthropicやOpenAIらAI開発事業者4社のAIモデルの利用者らが、競合するAI開発事業者らによるAI開発の減速等の合意はシャーマン法1条の禁じる取引制限行為に当たるなどとして、4社に対しこのような行為の差止めなどを求めて提訴している[24]。
6. 国際協調の必要性
AIの安全性を確保するためには、国際的なガバナンスの確立・強化も求められる。先端的なAIモデルの開発競争は、アメリカと中国を中心に国際的に展開されており、一国の規制によりAIのリスクを抑制するというアプローチには限界があるからだ。AIの開発競争が国際的に展開される中、自国だけが厳格な安全規制を導入すれば、他国との競争に不利になるおそれがある。また、先端的なAIモデルの及ぼすリスクは一国内にとどまらない。AIモデルは国境を越えて提供され、サイバー攻撃などその利用に伴うリスクも国境を越えて波及する。そこで、AIガバナンスの発展のための国際協調が必要となる。例えば、Amodei氏も先の声明で提案しているように、AI開発の減速が必要なのだとすれば、アメリカの主要なAI開発事業者間の協調が求められるのはもとより、民主主義国家の間の協調、さらには中国など政治体制を異にする国々も含めたグローバルな協調も望まれるだろう。本年9月21日、OpenAIも、再帰的な自己改良を行うAIなど先端的なAIモデルの開発の安全性とセキュリティに関する国際的な技術標準の策定と情報共有のための枠組みの構築に向けてアメリカが主導的な役割を果たすべきとの意見を表明している[25]。
しかし、そのためのリーダーシップを期待されているトランプ大統領は、AIについても国際的なガバナンスの構築には消極的であり、AIの安全を確保するための国際協調の実現に向けた道のりは前途多難である。本年9月22日、国連総会での演説でトランプ大統領は、「人工知能をコントロールするためのグローバリストの枠組みを構築しようとするあらゆる企て」を拒絶する姿勢を示している[26]。一方、翌日の安全保障理事会では、AnthropicやOpenAIのCEOらが、AIの制御喪失や悪用のリスクを防ぐために、国際的な技術標準を策定するなど国際協調の必要性を訴えた。また、中国の代表も、AIに関するグローバルガバナンスの構築を積極的に支持する姿勢をみせた[27]。
もっとも、トランプ大統領も、AIの覇権を争うもう一つの大国である中国との間で協調を模索することには前向きな姿勢を示している。9月25日に行われた米中首脳会談において、両国は、両国の間でAIに関するリスクと便益について意見交換を行うための対話を開始すること、そして、AIに関するインシデントについて両国で情報を共有するチャンネルを構築することに合意した[28]。
7. 日本への示唆
本稿で見てきたとおり、先端的なAIモデルがサイバーセキュリティや安全保障に及ぼすリスクに対処するために、アメリカの連邦政府や州、事業者はそれぞれ取組を進めているが、それらの間の思惑の違いもあり、しばしば対立も生じている。各国の政府や個々の事業者によるAIの安全性を確保するための取組は重要であるが、米中を中心にAIの開発競争が国際的に展開され、ネットワーク化されたAIの利用も国境を越えて広がっていることから、AIの安全性を確保するためには国際協調の深化が必要となる。しかし、アメリカ国内外から国際協調に向けたリーダーシップを期待されているトランプ大統領は、AIの安全性を確保するための国際的なガバナンスの構築に消極的である。一方、中国は、AIに関するグローバルガバナンスの構築に積極的な姿勢を示しており、トランプ大統領も、米中の二国間でのAIに関する対話と協調には前向きな姿勢を示している。しかし、日本や欧州諸国など米中以外の国々にとっては、AIの覇権を争う2つの大国のみで、人類の命運を左右するかもしれないAIの安全性の確保のあり方について方針が決められることには不安も拭えないだろう。
こうした中で、日本としても、AIの安全性を確保するための国際協調の拡大・深化のために積極的に関与していく必要がある。我が国は、2016年4月のG7香川・高松情報通信大臣会合において、透明性、制御可能性、セキュリティ確保、安全保護などを内容とするAIの研究開発の原則の策定に向け国際的な議論を進めていくことを提案した。こうして始まった国際的な議論は、OECD／G20のAI原則の策定などに結実することになる[29]。第一期トランプ政権下の2019年に、アメリカ、中国、欧州諸国や日本が参加するG20がAI原則に合意したという実績も示しているように、国家間の利害対立が激しい中でもAIの安全性を確保するための多国間の枠組みを構築する可能性は残されている。当時とは状況が変化している面もあるものの、今日においても、AIの安全性を確保するための国際協調の拡大・深化に向けて日本の果たせる役割は少なくないであろう。
執筆者プロフィール
成原 慧（なりはら さとし）
九州大学法学研究院 准教授
東京大学大学院学際情報学府博士課程単位修得退学後、東京大学大学院情報学環助教、総務省情報通信政策研究所主任研究官などを経て、2018年3月より現職。専門は情報法。2023年8月から2024年5月までハーバード・イェンチン研究所客員研究員、2024年6月から9月までウィーン大学客員教授・客員研究員を務める。
単著に『表現の自由とアーキテクチャ』（勁草書房、2016年）など、共編著に『AIがつなげる社会－ＡＩネットワーク時代の法・政策』（弘文堂、2017年）など、共著に『AIで変わる法と社会』（岩波書店、2020年）などがある。
[1] OpenAI, “Hugging Face Incident Technical Report” (August 26, 2026); Ryan Greenblatt, Ajeya Cotra, and Hjalmar Wijk, “Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident, METR” (August 26, 2026).
[2] Kate Conger, “What to Know About Recent A.I. Hacks,” the New York Times (Sep. 22, 2026).
[3] See e.g., Jacob Coxon (@hilbertspaess), X (Sep. 9, 2026, 9:04 AM).
[4] See e.g., Stuart Russell et al., “Research Priorities for Robust and Beneficial Artificial Intelligence,” AI Magazine, Vol. 36(4), pp.105-114 (2015); Dario Amodei et al., “Concrete Problems in AI Safety,” arXiv:1606.06565 (2016); Demis Hassabis et al., “Asilomar AI Principles” (2017). ニック・ボストロム（倉骨彰訳）『スーパーインテリジェンス』（日本経済新聞出版社、2017年）参照。
[5] 我が国におけるAIのリスクに対するこのようなアプローチの先駆けとして、総務省情報通信政策研究所AIネットワーク化検討会議「中間報告書」（2016年4月）41頁以下、福田雅樹＝林秀弥＝成原慧（編著）『AI がつなげる社会―AI ネットワーク時代の法・政策』（弘文堂、2017 年）参照。
[6] 当時、筆者も、総務省情報通信政策研究所主任研究官として、ホワイトハウスとワシントン大学の共催によるワークショップLegal and Governance Implications of Artificial Intelligenceに参加し、クローズド会合において、日本が提案していたAI開発原則案の内容を紹介した。
[7] Whitehouse, Preparing for the Future of Artificial Intelligence (2016).
[8] Executive Order No. 13960, 85 Fed. Reg. 78939 (Dec. 8, 2020).
[9] Executive Order No. 14110, 88 Fed. Reg. 75191 (Nov. 1, 2023).
[10] バイデン政権までのアメリカのAI法・政策につき、成原慧、実積寿也、小熊美紀「AIをめぐる米国の政策と法的対応－連邦および州の動向－」情報法制研究16号34頁（2024年）参照。
[11] Executive Order No. 14148, 90 Fed. Reg. 8237 (Jan. 28, 2025).
[12] Executive Order No. 14179, 90 Fed. Reg. 8741 (Jan. 31, 2025).
[13] The White House, Winning the AI Race: America’s AI Action Plan (July, 2025).
[14] iapp, “US State AI Governance Legislation Tracker” (Last updated 28 April 2026).
[15] Executive Department State of California, Executive Order N-9-26 (Sep. 18, 2026).
[16] Executive Order No. 14365, 90 Fed. Reg. 58499 (Dec. 16, 2025).
[17] White House, National Policy Framework Artificial Intelligence (March, 2026).
[18] Anthropic PBC v. U.S. Dep’t of War, No. 26-cv-01996-RFL (N.D. Cal. August 27, 2026).
[19] Anthropic PBC v. Department of War, No. 26-1049 (D.C. Cir, Sep. 25, 2026).
[20] Executive Order No. 14409, 91 Fed. Reg. 34565 (June 5, 2026).
[21] Anthropic, “Announcements: Statement on the US government directive to suspend access to Fable 5 and Mythos 5” (June 12, 2026).
[22] Anthropic, Anthropic’s advanced AI Frameworks (June 2026); OpenAI, Democratic Governance of Frontier AI: A blueprint for a federal framework (June 2026).
[23] Dario Amodei, “We Must Pace the Frontier” (Sep. 2026).
[24] Complaint, Buist v. Anthropic, PBC, No. 3:26-cv-10693 (N.D. Cal. Sep. 18, 2026).
[25] OpenAI, “Building standards for the next phase of AI” (Sep. 21, 2026).
[26] Donald J. Trump, President of the United States, Address to the 81st Session of the United Nations General Assembly (Sep. 22, 2026).
[27] Artificial intelligence and international security, United Nations, Security Council, 10228th meeting (Sep. 23, 2026).
[28] The White House, “Fact Sheet: President Donald J. Trump Advances a Fair and Reciprocal Relationship with China While Hosting Historic State Visit” (Sep. 25, 2026).
[29] 総務省『令和8年版 情報通信白書』（2026年）4頁、231−233頁、238頁参照。