AI コーディングに潜む非効率性とその発見方法

ツイート

AI コーディングエージェントの評価では、合格/不合格メトリクスだけでは見えない非効率性が存在します。Kiro チームは CORAL と呼ぶ適応学習システムを構築し、実際のユーザーセッションからトラジェクトリベースの分析を行っています。具体的な発見として、glob パターンの違いによるサイレント検索失敗（修正後に誤りを 99% 削減）や、cd コマンドの誤用（18% のセッションに影響）への自動修正対応などが挙げられます。このシステムにより、モデル再トレーニング不要で継続的な改善が実現されています。