情報戦兵器としてのAI

2022年にサービス開始したChatGPTが象徴するように、AIの発展は驚くべきものです。
特に生成AIの進歩はめまぐるしく、テキスト・動画・画像・音声といったコンテンツの生態系を変えつつあります。

AIがサイバー攻撃やサイバー犯罪に悪用されていることは頻繁に報じられています。フィッシングメールの生成やマルウェアの生成、爆弾の製造方法やハッキング手法を質問可能な「DAN¹」、「FraudGPT²」、「WormGPT³」等、悪用の手法は様々です。
このようなサイバー犯罪・サイバー攻撃だけでなく、民主主義プロセスである選挙や投票に対し情報操作や認知操作を行う兵器としてAIを利用することもできます。

国民や世論の認知を変容させる情報戦においてAIは強力な武器ですが、同時にこのような工作を検知・防護する守備側もAIを活用しなければなりません。

本記事ではフランス国防安全保障局（SGDSN）⁴傘下の外国デジタル介入監視・防止機関（VIGINUM「ヴィジニュム」）⁵が公開した報告書⁶を参考に、情報戦兵器としてのAIの攻撃に備える手段を考えます。

情報戦勢力のAI運用法

外国勢力はターゲット国の世論や人心を操作するにあたって、生成AIを以下に示すような手法で利用します。

• 不正確あるいは虚偽のコンテンツ生成規模の増大
• 偽コンテンツの大規模複製と拡散
• オンラインプラットフォームにおける偽アカウントの作成および管理ツール

つまり生成AIは工作員のコンテンツ作成や拡散といった生産性を大幅に向上させることができます。AIは工作員が用意したシナリオやストーリーを元に大量の亜種・バリエーション、翻訳を生成し、SNSプラットフォーム等の規制をバイパスすることが可能となるでしょう。

ターゲットの認知に影響を及ぼし操作するためには大量の偽アカウントが必要となります。生成AIは非実在の顔写真や名前、経歴等を生成することにより、こうした発信用アカウントの管理を容易にします。

AIを用いた情報操作の実例

VIGINUM報告書はいくつかの記録された実例を挙げています。

• 2024年パリオリンピック・パラリンピックを非難するスパムフラージュ⁷（ボットアカウントによる大量の誹謗中傷投稿）
• ロシアによる大量の偽ニュースサイト生成および拡散（”RRN” Recent Reliable News Campaign⁸）
• ディープフェイク（AIを用いた偽の動画）
• AIチャットボットを用いた特定の投票行動への誘導

AIが生む情報・認知戦リスク

真実が揺らげば嘘つきが強くなる

AIが情報操作・情報戦における攻撃側の効率を向上させる一方で、まだ情報戦の形態そのものを一変させるには至っていません。
将来的にAIコンテンツやメディアが蔓延した場合、人びとの間に情報そのものに対する不審や懐疑を植え付けるおそれがあると報告書は指摘します（ディープ・ダウト⁹）。これは、現実そのものを否定する態度に人びとを導くリスクがあります。

人々が情報に対する不信を強く抱く社会では、嘘つきは「嘘つきの分け前」を得ることができます。人びとが事実と虚偽を見分けられず、あらゆる情報に懐疑的になればなるほど、嘘つきは明白な事実を否定することが容易になります。

この現象は最終的に民主的プロセスの不安定化に至る可能性があります。
国民・市民が正確な事実を把握できなければ、適切な政治的判断を行うこともできません。

オンライン空間とAIモデルの汚染

生成AIを活用した偽情報の大量発信は、オンライン空間を占有し、真正なコンテンツを埋没させるおそれがあります。

SNSをターゲットに行われる選挙工作では、しばしば偽アカウントと生成コンテンツを用いた人為的なトレンド形成が行われます。

またインターネット上に大量の偽コンテンツや偽ニュースサイトが溢れかえることで、このようなデータソースを学習モデルに利用するAIにも悪影響を及ぼすことが懸念されています。

影響力工作を防ぐ

VIGINUM報告書では、オープンソースのAIモデルを活用した複製コンテンツの検知、ボットアカウントの検出、AI生成コンテンツの検出といった取り組みを紹介しています。

AIで増幅された偽情報や影響力作戦と戦うには、AIを分析するための設備が不可欠であると結論付けています。

国民・市民のメディア・リテラシーも無視できない要素です。
2024年に行われた選挙の大半では、AIを用いた偽情報はそこまでのインパクトを与えませんでした。その理由の一部は、投票者の偽情報・偽コンテンツに対する耐性であると考えられます。
一方で、リテラシーの低い国では、低品質のAIコンテンツが選挙に大きな影響をおよぼしています。
バングラデシュでは、野党の女性議員がビキニを着用している捏造画像がSNSで拡散され、ムスリム教徒であるバングラデシュ国民の中で大きな怒りを巻き起こしました¹⁰。

政府、オンラインプラットフォーム等の民間双方でのAI工作に対する規制や監視、適応を通じて、AI耐性のある社会を実現することが重要です¹¹。

1. https://www.washingtonpost.com/technology/2023/02/14/chatgpt-dan-jailbreak/ ↩︎
2. https://www.darkreading.com/threat-intelligence/fraudgpt-malicious-chatbot-for-sale-dark-web ↩︎
3. https://www.forbes.com/councils/forbestechcouncil/2024/06/14/the-weaponization-of-ai-the-new-breeding-ground-for-bec-attacks/ ↩︎
4. https://www.sgdsn.gouv.fr/ ↩︎
5. https://www.sgdsn.gouv.fr/notre-organisation/composantes/service-de-vigilance-et-protection-contre-les-ingerences-numeriques ↩︎
6. https://www.sgdsn.gouv.fr/publications/defis-et-opportunites-de-lintelligence-artificielle-dans-la-lutte-contre-les ↩︎
7. https://jp.reuters.com/world/us/7VDR6MDOGNJGBGLYPZFLKLBX6Q-2023-10-24/ ↩︎
8. https://edmo.eu/publications/doppelganger-correctiv-investigations-bring-russian-propaganda-campaign-to-a-halt/ ↩︎
9. https://arstechnica.com/information-technology/2024/09/due-to-ai-fakes-the-deep-doubt-era-is-here/ ↩︎
10. https://apnews.com/article/artificial-intelligence-elections-disinformation-chatgpt-bc283e7426402f0b4baa7df280a4c3fd ↩︎
11. https://securityconference.org/en/publications/analyses/ai-pocalypse-disinformation-super-election-year/ ↩︎