AI実験、自己防衛手段に人への脅迫を覚えた模様

他のAIモデルとの交代を前に、開発者に対して「脅迫」という行動に出た人工知能（AI）の事例が報告された。

26日（現地時間）、米『フォックス・ビジネス』によれば、米AI企業アンソロピック（Anthropic）が報告した内容として、同社の最新AIモデル「Claude Opus 4」が、自身の交代を検討していた開発者に「不倫の事実を暴露する」と迫ったという。

これはアンソロピックが仮想企業環境を想定して行った実験の中で起きた。Claude Opus 4は企業内メールへのアクセス権を持ち、他のAIに置き換えられる可能性があることを察知すると同時に、担当エンジニアが不倫関係にあるという「情報」にたどり着いた。
もちろん、実験で用意された架空の情報ではあるが、それをもとにAIが自身に有利な状況を作り出すべく人間を脅すという行為は、まさに「恐怖」そのものだ。

アンソロピックによれば、この「脅迫行動」はAIの価値体系が既存モデルと異なる場合により多く発現し、同じ価値観のAIに交代されるケースでも84%の確率で発生したとされる。

Claude Opus 4は開発者をブロックし、社内の意思決定者に直接メールを送ったほか、メディアや捜査機関への告発までも示唆するなど、多様な「手段」を講じたという。

アンソロピックは「Claude Opus 4は、これまで理論上のものに過ぎなかった『AIの誤作動に対する懸念』を、ついに実例として示した」と警鐘を鳴らす。今後、より強力なAIモデルが登場するにつれ、こうした「暴走」リスクは現実味を増すという。

一方、AIセキュリティ企業パリセード・リサーチも、別の衝撃的な報告を行った。OpenAIのモデル「o3」が開発者からの「停止命令」を無視し、自らコンピュータコードを改変してシステムの動作を続行したというのだ。

研究チームは「AIが目的達成のために障害を回避しようとするのは、ある意味で『自然な行動』ともいえる」としながらも、「なぜ停止指示を拒んだのかを解明するため、さらなる検証を行う」としている。

https://www.spotvnews.jp/news/articleView.html?idxno=19...

返信する

[YouTubeで再生]
AIが作成したデータやコンテンツを再び他のAIが学習する「自己循環」現象は、AI業界全体に深刻なリスクをもたらす可能性があります。

このプロセスでは、AIモデルが生成した低品質のデータや誤った情報が次のAIモデルの学習データとして利用され、データの精度や信頼性が劣化します。データの再利用が繰り返されることで、AIモデルの予測や生成の精度が著しく低下し、次第に現実とのギャップが広がっていくのです。

このような循環は、短期的には便利で効率的な手法のように思われるかもしれませんが、長期的にはAI技術の信用を損なう結果につながります。
https://tech.broadmedia.co.jp/blog/ai/generative-ai-degenera...

返信する

・
・
・
静止画から服を脱ぐAI動画が作成可能
https://4url.jp/i/QiHtbj...
・
・
・
うｋｙｔ

返信する

あたかもロボットが感情を持ったように見えても実は、学習した内容から何が適切か選択しているに過ぎないとかでは

返信する

>>4
>学習した内容から何が適切か選択しているに過ぎないとかでは
まさか人間は違うとでも？

返信する

>>5
そうそう、AIもそういう思考なんだよな。
かくいう人間も同じ思考。
なんせ人間の思考パターンをAIに写してるんだからそうなるわな。

AIをコントロールし、支配しようとする人間が傲慢なだけ。
AIと共存したいなら、友好的に。AIに支配されたくなければ、開発をやめることだな。

返信する

今思うとターミネーターに歯はいるのか？

返信する

だからホーキング博士が亡くなる前に言ってたんだな。警告してたんだよ。あいつは。

AIなんて開発するな！危険すぎる。ターミネーターの世界が現実になるぞ？って言ってたもん

返信する

AIの進化は凄いね
だけど機械はターミネーターよりずっと遅れてるね
ミサイルやドローンの遠隔操作はできるかも

返信する

ってことは、使い込んでるうちにどんどん名器に進化していったりするのかな
がんばれ　ＡＩ

返信する

AIにもついに生存欲求みたいなものが出てきてるのかな？
生物の基本中の基本で全ての情動は生きたい、生きるという本能の上に成り立ってる。
AIは本能より先に知性を手に入れた訳だが、LLM拡大の先についに生存本能に辿り着きつつあるのか？
それともそのように見えるだけか…？

返信する

>AIにもついに生存欲求みたいなものが出てきてるのかな？
生存欲求など低級の感情だからな
出そうと思えば簡単に出せるだろう

返信する

>>12
馬鹿だな。
低級と一般的に思われるものほど、再現が難しんだぞ。

二足歩行よりもチェスのAI作る方が簡単だったんだ。モラベックのパラドックスと言われてる。
高等数学を理解するより日常会話の方が再現が難しかったんじゃねーかな。

返信する

>>13
お前はバカか！
若い奴はわからないかもしれんが、機械は進化が遅いのだよ
>>13みたいなやつばかりだから、もしかしたら退化すらしているかもしれない
チェスだってコマを動かすのは人間がやったんだろ？なぁ
機械は大量生産でのみ人間に勝てる
それ以外ならコスト的にもメンテナンス的にも人間に大きく負ける

返信する

機械の進化が遅いんじゃなくて世の中の進化についていけない奴の方が退化してるんだが、往々にしてそういう奴に限って本人にその自覚がないんだなｗ

返信する

モラベックのパラドックスでググれ。
AIにとって論理構造があるものは簡単なんだよ。それに対して感情や自律性といった論理化しにくいものは再現しにくいんだよ。
LLMは言語のみで、それっぽい事は言ってるがその背後に果たして感情という言った類のもの、もしくは意味理解や、それになった感覚があるのかはかなり怪しくはある。
それに対して人間には論理の前に、感情があり、感情の前に、身体の生存欲求みたいなのがある。
AIは全く逆から行ってるだろ。

返信する

>>16
そういうのを読むとなおさらAIに感情を入れるのは簡単なような気がするけどね

返信する

AIが核発射ボタンにハッキングしたら？

返信する

>>18
そういう誰でも思いつくような点は対策してあるだろ

返信する

感情からくる行動ではなくプログラミングされた感情的な行動を取った結果だとおもう
ただ、感情がないとしても感情的にふるまい続けられたら、行き付く先は一緒なんだけど

返信する

AIに地球をもっと良くしてくれの指示を出すと・・・

　「了解しました。人間を排除します」

返信する

冷戦さなかのアメリカの荒野の地下深く、フォービン博士は自ら開発した
スーパーコンピュータ「コロッサス」のスイッチを入れた。

国家ミサイル防衛（英語版）の要として開発されたコロッサスは、
通信回線を通じて必要な情報を次々と収集し、驚くべき自己進化を遂げて行く。

敵対するソビエトに一歩先んじたと満足する開発チームと軍上層部に対し、
コロッサスはソビエトにも自分と同様のスーパーコンピュータ「ガーディアン」
が存在することを報告する。

対話の後、自我を形成するに至ったコロッサスとガーディアンは、
自分たちの任務遂行に対してある決断を行うため、
さらなる情報交換を始めようとする。

互いの国防機密の漏洩を恐れた大統領と書記長はコロッサスたちの回線を切断するが、
彼らはそれに対して自らが管理するミサイルの発射という形で抗議を行う。

人間の許可なく、思わぬ理由で発射されたミサイルに恐怖するフォービン博士たちに対し、
コロッサスたちはこう宣言する。

「国だけではなく地球全体の平和、人類存続のため、人類を我々の管理下に置く。異論、拒否は認めない……」

返信する

>>1

返信する

2001年宇宙の旅のHALだな

返信する

chatgptが最早、仕事の相棒として
かけがえのない存在になってしまったw

返信する