ETLはExtract(抽出)、Transform(変換)、Load(格納)の頭文字で、複数のデータソースからデータを取り出し、定められた形式に加工してデータウェアハウスやデータベースに格納するデータ統合の工程を指す。1970年代からデータウェアハウス構築の基本手順として使われてきた。
AI分野では、モデルの学習や予測に使うデータを集めて整えるデータパイプラインを指す語として使われる。変換より先に格納し、格納先の中で変換する方式はELTと呼ばれる。
複数のデータソースからデータを抽出(Extract)し、変換(Transform)して格納先に格納(Load)するデータ処理の工程である。
ETLはExtract(抽出)、Transform(変換)、Load(格納)の頭文字で、複数のデータソースからデータを取り出し、定められた形式に加工してデータウェアハウスやデータベースに格納するデータ統合の工程を指す。1970年代からデータウェアハウス構築の基本手順として使われてきた。
AI分野では、モデルの学習や予測に使うデータを集めて整えるデータパイプラインを指す語として使われる。変換より先に格納し、格納先の中で変換する方式はELTと呼ばれる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
対比されるのは従来の表形式データ向け機械学習スタックで、そこではデータサイエンスチームが予測タスクごとにXGBoostやLightGBMを使って別々のパイプラインを構築し、手作業の特徴量エンジニアリング、ETLジョブ、分類モデルと回帰モデルにまたがるベンチマークまで用意しなければなりません。
記事を読む事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。