Concept : pipelines de jeux de données
Les jeux de données contiennent un ou plusieurs pipelines. Un pipeline est un conteneur de phases qui modélise le flux de transformation des données dans un jeu de données. Il se compose d'une liste triée de phases, chacune d'elles définissant la manière de modifier les données à ce point dans le pipeline. Les pipelines peuvent contenir une ou plusieurs phases.
Chaque jeu de données a un pipeline principal et peut avoir zéro ou plusieurs pipelines supplémentaires.
La première phase d'un pipeline importe des données depuis la source du jeu de données. Les phases répertoriées après la première phase d'un pipeline utilisent la sortie du pipeline précédent comme entrée dans la phase actuelle. Si vous avez l'habitude des workflows ETL (extraction, transformation et chargement), chaque phase représente une étape dans un pipeline de développement.
La dernière phase de n'importe quel pipeline correspond à la sortie de ce pipeline. La sortie du pipeline principal correspond à la sortie de l'ensemble du jeu de données. Par conséquent, lorsque vous publiez un jeu de données, la sortie du pipeline principal est matérialisée en tant que données de la source de données Prism.