CastorDoc and BigQuery

Pourquoi BigQuery et Castor ?

BigQuery est l'entrepôt de données analytiques entièrement géré, rentable et pouvant atteindre plusieurs pétaoctets de Google Cloud, qui vous permet d'analyser de grandes quantités de données en temps quasi réel.

Vous pouvez avoir des centaines, voire des milliers de tables de données sur BigQuery. La découverte, la documentation, la propriété et la gouvernance sont difficiles en raison de la croissance rapide des actifs de données et des équipes chargées des données. Castor est une couche prête à l'emploi qui aide votre équipe chargée des données à optimiser la BI en libre-service.

‍

En quoi Castor vous aide-t-il ?

Castor vous permet de faire évoluer votre stratégie d'analyse en libre-service sans perdre le contrôle. Nous avons été conçus en tenant compte de cas d'utilisation réels :

‍

🔎 Vous travaillez avec des données que vous ne connaissez pas

Votre patron vous demande de créer un rapport sur « Le taux de désabonnement des utilisateurs premium en 2021 ». Vous devez trouver le jeu de données pertinent, comprendre la signification de sa colonne et l'utiliser rapidement.

✅ Réduisez de 95 % le temps nécessaire pour trouver la bonne ressource de données (source : Lyft)

‍

🧬 Un employé clé s'en va

Mike, l'ingénieur de données qui a construit l'ensemble de l'infrastructure de données, part à la fin du mois. Toutes les connaissances sont dans sa tête. Il doit le noter.

✅ 42 % du travail n'est pas récupéré sans gestion des connaissances (source : 360 Apprentissage)

‍

👩🏽 ‍ 🌾 L'intégration d'un nouvel employé

Elsa, analyste de données, est arrivée la semaine dernière. Elle n'a aucune idée des données stockées par l'entreprise ni de la manière dont elles sont utilisées. Elle passe des heures à se renseigner pour acquérir des connaissances.

✅ Les nouveaux employés sont autonomes après le premier jour

‍

💣 Un pipeline de données est en retard

Nelson, analyste de la réussite client, actualise le tableau de bord des « utilisateurs actifs quotidiens » toutes les deux minutes. Les données ne sont pas encore arrivées. Il veut savoir ce qui se passe.

✅ 5 fois moins de messages Slack sur #ask_data

‍

🗺️ Personne ne sait où se trouvent les informations personnelles

Camila, responsable de la gouvernance des données, doit cartographier toutes les informations personnelles pour se conformer aux exigences du RGPD. Elle a besoin d'une liste de tous les actifs de données et de leur emplacement.

✅ 70 % des employés ont accès à des données qu'ils ne devraient pas (source)

‍

Configuration de BigQuery‍

Vous devez disposer des autorisations nécessaires pour créer un compte de service Google pour Castor. Dans le cas contraire, référez-vous à un membre de votre organisation disposant de ces autorisations.

‍

Le client crée un compte de service pour Castor à partir du Console Google. Découvrez comment ici

Le client accorde l'accès nécessaire à ce nouveau compte de service avec les rôles suivants. Découvrez comment ici

‍

Utilisateur de la session de lecture BigQuery

Pourquoi : Pour accéder au cluster via SQL. Nous utilisons des sessions BigQuery pour lire les métadonnées. Cela nécessite les autorisations sessions.*. Utilisateur de la session ReadSession permet des fonctionnalités de lecture via SQL mais n'accorde aucun accès aux données à lui seul.

‍

Visionneuse de métadonnées BigQuery

Portée: pour tous les projets où nous avons besoin d'accéder à des métadonnées pour pouvoir récupérer les schémas de vos données

Pourquoi : pour récupérer les schémas de vos données

‍

Utilisateur de BigQuery Job

Portée: pour tous les projets où nous avons besoin de récupérer le journal des requêtes pour pouvoir analyser les requêtes et calculer les statistiques de lignage et d'utilisation

Pourquoi : pour analyser les requêtes et calculer le lignage et les statistiques d'utilisation

‍

Afficheur de ressources BigQuery

Portée: pour tous les projets où nous avons besoin de récupérer le journal des requêtes pour le rôle qui est nécessaire pour accéder aux journaux de requêtes ()‍

Pourquoi: pour analyser les requêtes et calculer le lignage et les statistiques d'utilisation

‍

Ces rôles permettent uniquement à Castor de voir le modèle de données, les requêtes et les utilisateurs, en exécutant des requêtes sur les métadonnées. Ce sont les rôles minimaux qui nous permettent de lire vos métadonnées sans pouvoir lire vos données.

‍