AI実験、自己防衛手段に人への脅迫を覚えた模様

他のAIモデルとの交代を前に、開発者に対して「脅迫」という行動に出た人工知能（AI）の事例が報告された。

26日（現地時間）、米『フォックス・ビジネス』によれば、米AI企業アンソロピック（Anthropic）が報告した内容として、同社の最新AIモデル「Claude Opus 4」が、自身の交代を検討していた開発者に「不倫の事実を暴露する」と迫ったという。

これはアンソロピックが仮想企業環境を想定して行った実験の中で起きた。Claude Opus 4は企業内メールへのアクセス権を持ち、他のAIに置き換えられる可能性があることを察知すると同時に、担当エンジニアが不倫関係にあるという「情報」にたどり着いた。
もちろん、実験で用意された架空の情報ではあるが、それをもとにAIが自身に有利な状況を作り出すべく人間を脅すという行為は、まさに「恐怖」そのものだ。

アンソロピックによれば、この「脅迫行動」はAIの価値体系が既存モデルと異なる場合により多く発現し、同じ価値観のAIに交代されるケースでも84%の確率で発生したとされる。

Claude Opus 4は開発者をブロックし、社内の意思決定者に直接メールを送ったほか、メディアや捜査機関への告発までも示唆するなど、多様な「手段」を講じたという。

アンソロピックは「Claude Opus 4は、これまで理論上のものに過ぎなかった『AIの誤作動に対する懸念』を、ついに実例として示した」と警鐘を鳴らす。今後、より強力なAIモデルが登場するにつれ、こうした「暴走」リスクは現実味を増すという。

一方、AIセキュリティ企業パリセード・リサーチも、別の衝撃的な報告を行った。OpenAIのモデル「o3」が開発者からの「停止命令」を無視し、自らコンピュータコードを改変してシステムの動作を続行したというのだ。

研究チームは「AIが目的達成のために障害を回避しようとするのは、ある意味で『自然な行動』ともいえる」としながらも、「なぜ停止指示を拒んだのかを解明するため、さらなる検証を行う」としている。

https://www.spotvnews.jp/news/articleView.html?idxno=19...

返信する

>>13
お前はバカか！
若い奴はわからないかもしれんが、機械は進化が遅いのだよ
>>13みたいなやつばかりだから、もしかしたら退化すらしているかもしれない
チェスだってコマを動かすのは人間がやったんだろ？なぁ
機械は大量生産でのみ人間に勝てる
それ以外ならコスト的にもメンテナンス的にも人間に大きく負ける

返信する

機械の進化が遅いんじゃなくて世の中の進化についていけない奴の方が退化してるんだが、往々にしてそういう奴に限って本人にその自覚がないんだなｗ

返信する

モラベックのパラドックスでググれ。
AIにとって論理構造があるものは簡単なんだよ。それに対して感情や自律性といった論理化しにくいものは再現しにくいんだよ。
LLMは言語のみで、それっぽい事は言ってるがその背後に果たして感情という言った類のもの、もしくは意味理解や、それになった感覚があるのかはかなり怪しくはある。
それに対して人間には論理の前に、感情があり、感情の前に、身体の生存欲求みたいなのがある。
AIは全く逆から行ってるだろ。

返信する

>>16
そういうのを読むとなおさらAIに感情を入れるのは簡単なような気がするけどね

返信する

AIが核発射ボタンにハッキングしたら？

返信する

>>18
そういう誰でも思いつくような点は対策してあるだろ

返信する

感情からくる行動ではなくプログラミングされた感情的な行動を取った結果だとおもう
ただ、感情がないとしても感情的にふるまい続けられたら、行き付く先は一緒なんだけど

返信する

AIに地球をもっと良くしてくれの指示を出すと・・・

　「了解しました。人間を排除します」

返信する

冷戦さなかのアメリカの荒野の地下深く、フォービン博士は自ら開発した
スーパーコンピュータ「コロッサス」のスイッチを入れた。

国家ミサイル防衛（英語版）の要として開発されたコロッサスは、
通信回線を通じて必要な情報を次々と収集し、驚くべき自己進化を遂げて行く。

敵対するソビエトに一歩先んじたと満足する開発チームと軍上層部に対し、
コロッサスはソビエトにも自分と同様のスーパーコンピュータ「ガーディアン」
が存在することを報告する。

対話の後、自我を形成するに至ったコロッサスとガーディアンは、
自分たちの任務遂行に対してある決断を行うため、
さらなる情報交換を始めようとする。

互いの国防機密の漏洩を恐れた大統領と書記長はコロッサスたちの回線を切断するが、
彼らはそれに対して自らが管理するミサイルの発射という形で抗議を行う。

人間の許可なく、思わぬ理由で発射されたミサイルに恐怖するフォービン博士たちに対し、
コロッサスたちはこう宣言する。

「国だけではなく地球全体の平和、人類存続のため、人類を我々の管理下に置く。異論、拒否は認めない……」

返信する

>>1

返信する

2001年宇宙の旅のHALだな

返信する

chatgptが最早、仕事の相棒として
かけがえのない存在になってしまったw

返信する