Crawl data from OAIS internal datasource

Peupler le catalogue avec des données interne à REGARDS depuis le référentiel de produits OAIS.

caution

Vous devez déjà avoir :

• créé des produits, référez-vous à la section Import data - OAIS files si ce n'est déjà fait.
• créé un modèle de données commun de type Data pour référencer vos aips

---

Depuis le menu Add data et la carte Crawling, cliquez sur Map data sources to internal models

• Cliquez sur Add et sélectionnez l'option crawling GeoJSON SIPs

• Sur la page AIPs datasource creation, complétez les champs suivants :
  • Name nom de la source de données,
  • Refresh rate (in second) détermine la durée entre deux scans de la datasource. Cela peut s'avérer utile lorsque vous ajoutez fréquemment des aips pour les référencer dans le catalogue,
  • Data model modèle de donnée utilisé pour aspirer les AIPs,
  • Sum of AIP files size attribut du modèle de données dans lequel la somme des fichiers AIPs sera contenue,
  • Tag list added to all data crawled correspond aux tags qui seront ajoutés à vos données aspirées. Pour rappel, les tags aussi appelés mots-clés sont des informations supplémentaires permettant de regrouper des données par thématique. Vous pourrez ainsi retrouver plus facilement les données dans le catalogue à l'aide des fonctions de tri.
  • Only crawl data containing these tags seules les données possédant ces tags seront aspirées. /!\ Faites attention, si vous ne précisez pas de tags, toutes les données seront aspirées.
  • Précisez ensuite la concordance entre les attributs de REGARDS et ceux du modèle d'aspiration. Il y a deux types d'attributs les statiques, communs à toutes les données de REGARDS et les attributs spécifiques à votre modèle. Pour chacun des attributs, vous devez indiquer le chemin dans le fichier JSON de l'AIP pour récupérer sa valeur. Par exemple :

extrait du fichier AIP

{
	"content": {
		"id": 956,
		"aipId": "URN:AIP:DATA:example:4655fa2b-4070-3836-8e63-b136cadbeff9:V1",
		"state": "STORED",
		"aip": {
			"providerId": "test-2241-data-01",
			"sipId": "URN:SIP:DATA:example:4655fa2b-4070-3836-8e63-b136cadbeff9:V1",
			"version": 1,
			"ipType": "DATA",
			"id": "URN:AIP:DATA:example:4655fa2b-4070-3836-8e63-b136cadbeff9:V1",
			"geometry": null,
			"normalizedGeometry": null,
			"properties": {
				"contentInformations": [...]
				"descriptiveInformation": {
					"creationdate": "2015-10-20T16:21:15Z",
					"dataSetType": "chris_harvest_simple_model",
					"label": "Simple Model Sip 01",
					"doubleValue": 3.141592655,
					"longValue": 20100
				}
			},
			"type": "Feature"
		},
		[...]
	}
	"links": []
}

• Lorsque vous avez complété tous les champs, appuyez sur Save
• Vérifiez que votre source de données se trouve dans la liste
• Rendez-vous ensuite dans la section Monitor data crawling pour suivre l'aspiration de vos AIPs.