Crawl data from external database
Peuplez le catalogue avec les données contenues dans une base externe à REGARDS
Avant de pouvoir configurer une source de données depuis une base externe, vous devez obligatoirement avoir créé un modèle de données de type Data, il servira à mettre en correspondance vos données et le modèle utilisé par le catalogue
Dans la carte Crawling, cliquez sur Map datasources to internal models puis sur Add.
- Sélectionnez ensuite le mode crawl data from an external data source.
Vous entrez ensuite l'éditeur de création d'une source de données composé de trois étapes successives.
Select a connection
- Choisissez dans la liste déroulante la connexion que vous venez de configurer puis appuyez sur Next
Specify datasource attributes
- Configurez ensuite les attributs correspondants à votre source de données :
- entrez le libellé de votre choix,
- la durée entre deux rafraichissements en secondes. Celle-ci conditionnera la durée entre deux scans de la source de données pour indexer le catalogue. Cela peut s'avérer utile lorsque des données sont régulièrement ajoutées,
- choisissez ensuite le modèle que vous avez précédemment importé,
- le type de plugin pour définir la manière dont les données de la base de données externe vont être mappées. Il y a actuellement deux types de mappings. Le plugin postgresql-datasource permet de lier plusieurs attributs de plusieurs tables externes au modèle de données et postgresql-datasource-single-table, permettant de lier les attributs d'une seule table.
- Vous pouvez associer si vous le voulez une liste de tags aux données qui seront aspirées. Ils pourront faciliter les recherches dans le catalogue.
- Configurez ensuite les attributs correspondants à votre source de données :
Data mapping :
C'est sur cet écran que le mapping entre les données de la base externe et le modèle de REGARDS s’effectue.
Dans le bloc Connection browser vous pouvez visualiser les tables externes.
Quel que soit le plugin de mapping que vous utilisez :
- vous devrez faire la correspondance des attributs dans la section Links between model attributes and the connection.
- dans la première colonne, vous trouverez les attributs communs à toutes les données dans REGARDS et les attributs spécifiques au modèle que vous avez importé.
- dans la deuxième colonne, vous devez remplir l'attribut correspondant dans votre table. Il y a des spécificités en fonction du plugin que vous avez choisi :
Si vous avez choisi le plugin postgresql-datasource :
- tout d'abord, sélectionnez les tables qui seront mappées par REGARDS dans la clause FROM, WHERE, [GROUP BY et HAVING]
- ensuite, sélectionnez chaque attribut individuellement avec la clause SELECT
Si vous avez choisi le plugin postgresql-datasource-single-table
- sélectionnez la table qui sera utilisée pour le mapping.
- la section Links between model attributes and the connection, vous propose deux manières de sélectionner les attributs. Vous pouvez directement choisir l'attribut de la table grâce à la liste déroulante ou cocher la case Use SQL pour écrire la clause du SELECT.
Cliquez ensuite sur le bouton Save. Vous serez ensuite redirigé vers la liste des aspirations de données.
Vérifiez la création de votre aspiration de données. Une fois l'aspiration créée vous pouvez suivre son traitement dans Monitoring.