Glue Data Qualityで品質検査ルールに不合格となったレコードを特定する

ツイート

データアナリティクス事業本部インテグレーション部機械学習チーム・新納（にいの）です。 データのETLを担うサービスであるAWS Glueの機能群の一つ、Glue Data QualityではGUIベースの操作でデータの品質検査が可能です。データレイクやデータウェアハウスへのデータ投入前に、値の長さチェックや特定カラムがNULLでないかどうかなど、あらかじめ定義しておいたルールに合格しているかどうかを確認できます。 今回は、定義したルールに不合格となったレコードを特定する方法を検証してみました。 Glue Data…