はじめに

エンジニア2年目のNです！
CopilotやReplit AIなど、開発環境にAIが統合されるのが当たり前の時代になりましたね。

先日、その便利さに甘えてAIに処理を任せた結果、テストサーバーへの不正アクセス（サイバー攻撃）を引き起こしかけるという出来事がありました。

今回は、AI駆動開発に潜む落とし穴について、自戒を込めて共有します。

事の発端

事の発端は、あるテストサーバーのAPIを検証しようとした際、手元にAPIキーがなかったことでした。

担当者に確認すれば済む話ですが、少し手間に感じてしまい、
「とりあえずReplitで試しながら考えるか」と軽い気持ちで作業を始めました。

AIからの提案

私はそのまま、ReplitのAIにこう相談しました。
「APIを叩きたいけど、APIキーがわからない」

するとAIは、次のように提案してきました。
「推測できるキーを生成して試しますか？」

私が深く考えず、「お願い」とだけ返すとAIは、キー候補を生成してリクエストを繰り返すスクリプトを作成し、そのまま実行しました。

このとき私は、「何が実行されているか」をほとんど意識していませんでした。

後日談

後日、先輩エンジニアに作業内容を共有した際、実行していた処理について指摘を受けました。
このとき初めて、自分の行為に問題があったことを認識しました。

改めて確認してみると、AIが生成・実行していたのは、APIキーを推測しながら繰り返しリクエストを送信する、いわゆる 総当たり（ブルートフォース）に近い処理でした。

自分では単なる動作確認のつもりでしたが、サーバー側から見れば不審なアクセスと受け取られてもおかしくありません。コードの内容を十分に確認しないまま実行したことで、結果的に 意図しない形で不適切なアクセス を行ってしまっていたのです。

リスク

今回の件を通じて、クラウドIDEからリクエストを送ること自体がリスクになり得ることを知りました。

ローカル環境であれば、自分のPCからのアクセスになるため、影響範囲は比較的限定されますが、
クラウドIDEの場合、リクエストはクラウド上の共有インフラから送信されます。

そのため、クラウドIDEを利用する場合は、次のような点に注意が必要です。

• ・IPアドレスが自分のものではなく、クラウド事業者のものになる
• ・短時間に大量のリクエストを送ることが容易
• ・挙動によっては攻撃トラフィックと区別がつかない

今回も、自分の認識では「少し試した」程度でしたが、サーバー側から見れば不審なアクセスの集中として観測されていました。
特にAIと組み合わせた場合、意図せず攻撃的な挙動になるリスクがある点には注意が必要です。

AIに任せるときの注意

AIは「できるかどうか」には答えてくれますが、「やっていいかどうか」は判断してくれません。
「お願い」の一言で処理が実行される今、私たちが最終判断者であることを肝に銘じておく必要があります。

• ・何をするコードなのか？
• ・それはやって良いことなのか？

AIが生成したコードを実行する前に、最低限これらを確認するようにしましょう。

まとめ

便利なツールほど、使い方を誤るとリスクになります。
AIの提案をそのまま受け入れるのではなく、「それは本当にやっていいことか？」を一度立ち止まって考える意識が、これからの開発では重要になると感じました。