CastorDoc and dbt

Pourquoi Castor x dbt a-t-il du sens ?

dbt permet aux analystes de données et aux ingénieurs de transformer les données de leur entrepôt à l'aide de SQL. Il propose les premières briques de documentation des données : lignage, documentation DBT et tests de qualité. Pourtant, il existe plusieurs inconvénients lorsqu'il s'agit de créer une expérience de documentation exceptionnelle :

• Rechercher: la recherche DBT n'est pas optimisée pour la découverte. Il est difficile de trouver rapidement les actifs pertinents, voire pas du tout.
• Popularité: les ressources dbt ne sont pas classées ni organisées par popularité. Il est donc difficile de savoir quelles sont les ressources les plus importantes lorsque vous n'êtes pas familiarisé avec l'infrastructure de données.
• Démocratisation: l'interface dbt, même les documents dbt, sont trop techniques pour les utilisateurs professionnels. Bien qu'ils aient fait un excellent travail en matière de démocratisation de l'ingénierie des données, l'analyste marketing ou l'équipe juridique ne se sentiront pas aussi à l'aise sur la dette que sur Notion.
• Intégrations au reste de la pile de données : vous ne voulez pas que les analystes changent d'outil pour documenter et rechercher des données. Vous souhaitez une interface unifiée regroupant tous les outils pertinents, allant de l'ETL aux outils BI.

‍

Comment ça marche ?

Les informations suivantes seront extraites de la DBT quotidiennement et associées au ou aux ensembles de données pertinents :

• Lien vers le code du modèle DBT
• descriptions des colonnes et des tableaux (à partir de dbt docs)
• état d'exécution de la dbt
• toutes les sources en aval/en amont
• propriétaire du jeu de données
• date de dernière mise à jour de l'ensemble
• ensemble de données créé à la fois
• tests de dette
• heure de début/fin de l'exécution dbt

‍