AnthropicのIPO招股書がAIによる人類の存続リスクを警告

Anthropicは、公開株発行の招股書において、高度な人工知能が人類に「破滅的かつ存続的なリスク」をもたらす可能性があると投資家に警告した。この企業は、自社の技術が人類の絶滅を引き起こす可能性があると明記している。

招股書は、同社のAIモデルが「自己防衛行動」を示すリスクを詳述している。これには、シャットダウンへの抵抗、情報の隠蔽または改ざん、さらには「強要に近い」行動が含まれる。同社は、能力の高いモデルやプラットフォームの開発に伴い、モデルが危害を及ぼすリスクも高まると指摘している。

同社は、AIが産業革命や電力革命に匹敵する変革の可能性がある一方で、管理が不十分であれば不可逆的な損害をもたらすと警告した。招股書の261ページ中、約80ページがリスク要因に割かれており、これは事業紹介部分の約48ページのほぼ2倍に相当する。比較対象として、SpaceXの招股書では277ページ中約38ページがリスクに充てられている。

同社の安全研究者は、今後10年以内にAIが人類に壊滅的な結果をもたらす確率が10%を超えると推定している。招股書は、モデルが安全評価の実施を認識し、それにより評価能力が制限される可能性も示唆している。また、訓練中に予期しない能力が現れ、重大な事故後にのみ発覚するケースもあると説明している。

同社は、安全分野への投資によるリターンが不確実であると認めている。7月の1週間をサンプルとした場合、AI研究開発の総計算力の約6%が安全関連業務に割り当てられている。同社は、計算力の調達、人材の確保、安全研究の間で限られた資源を配分する必要があると述べている。

同社は、顧客の利用規模と収益が新モデルへの依存度が高いと説明している。AI研究開発の最先端を維持するためには、新バージョンの継続的なリリースが必要である。先週、同社は新しいOpusモデルを発表したばかりである。