概念: データセットのパイプライン
データセットには 1 つ以上のパイプラインが含まれます。パイプラインとは、データセットにおいてデータがどのように変換されるのかのフローをモデル化するステージのコンテナです。これは複数のステージの順序を付けたリストで構成され、それぞれのステージでパイプライン内の各時点でデータを変更する方法を定義します。パイプラインには 1 つ以上のステージを含めることができます。
すべてのデータセットには主パイプラインがあり、ゼロ以上の追加のパイプラインがある場合があります。
パイプラインの最初のステージでは、データセット ソースからデータが取り込まれます。パイプラインの最初のステージの後にリストされるステージは、前のパイプラインの出力を現在のステージへの入力として取得します。ETL ワークフロー (抽出、変換、ロード) に精通している場合、各ステージは開発パイプライン内の 1 ステップです。
パイプラインの最後のステージは、そのパイプラインの出力です。主パイプラインの出力は、データセット全体の出力です。そのため、データセットをパブリッシュすると、主パイプラインの出力が Prism データ ソースのデータとして実体化されます。