Glue Data Qualityで品質検査ルールに不合格となったレコードを特定する

2024.06.24 8:00

Classmethod.jp

データアナリティクス事業本部インテグレーション部機械学習チーム・新納（にいの）です。データのETLを担うサービスであるAWS Glueの機能群の一つ、Glue Data QualityではGUIベースの操作でデータの品質検査が可能です。データレイクやデータウェアハウスへのデータ投入前に、値の長さチェックや特定カラムがNULLでないかどうかなど、あらかじめ定義しておいたルールに合格しているかどうかを確認できます。今回は、定義したルールに不合格となったレコードを特定する方法を検証してみました。 Glue Data…

記事全文へ

検索

人気記事

株式会社パンと水と法人の生成AI活用の4つの壁を取り除く。AI連携プラットフォームAgentFlowをローンチ。

2023.11.30 9:20

デジタルシティオキナワ株式会社デジタルシティオキナワ、コールセンターの課題を生成AIで解決する「CallAIプロ」をリリース

2024.03.26 11:00

グーグル、「Fitbit」データを基に提案できる「Gemini」ベースのAIモデルを開発中

2024.03.21 13:55

マンガ『魔法使いの嫁』新章、AIマンガ翻訳クラウド『Mantra Engine』により日英2言語で同時連載スタート

2023.12.21 19:17

ペーパーポットティッシュケースおしゃれでかわいいペーパータオルホルダートイレットペーパーカバーボックスティッシュ対応丸黒マットブラック日本製直径17cm×高さ17.3cm アイコレクション(Ai collection)

2023.11.25 13:35

コメント一覧

まだコメントはありません。

コメント