Claudeがエンジニア採用テストをクリアしてしまうためAnthropicが実行した対策とは？

ツイート

Anthropicはエンジニアを新規採用するにあたり自宅で解答できる試験を実施しています。解答時はAIの利用も許可されていますが、真に優秀なエンジニアはAIの答えを上回るそうです。ところが、AIモデルの性能が向上するにつれて簡単に解かれるようになってしまったため、Anthropicは試験の再設計を余儀なくされています。どのようにAI対策をしているのかについての知見が共有されました。Designing AI resistant technical evaluations \ Anthropichttps://www…