Horaire generation du flux and nombre d'items dans l'exemple

[Fred_JANON]

Bonjour,

J’ai défini un nouveau flux. Pour tester j’ai téléchargé l’exemple en JSON-LD. Malheureusement le nombre d’items est de 1, pas 10. Cela rend difficile l’elaboration et test d’algorithm sur 1 exemple.

Serait-il possible d’agrandir la taille des exemples?

Donc j’ai du attendre la generation du flux, mais 15 heures plus tard, toujours rien.

Je ne comprends pas la signification de « Programmé à 17:00 » dans les infos du flux. Est-ce que cela signifie que la définition du nouveau flux a été enregistrée dans le system a 17:00, ou que le flux va être généré tous les jours a 17:00: « Programmé POUR 17:00 »? Sinon, comment puis-je savoir a quelle heure va être généré le flux et qu’il n’y a pas un bug?

Il serait quand meme bien plus pratique de générer le premier flux ASAP de manière a pouvoir travailler sans attendre 24h a chaque fois qu’on définit ou change un flux.

Quand on travaille avec les APIs Google, Facebook ou autres, on ne perd pas de temps. Il faudrait allouer plus de ressources machine ou aller voir chez AWS, GCP ou Azure si les ressources actuelles travaillent en batch comme dans les années 1970 et ne suffisent pas.

Merci

[Simon_BLUM]

Bonjour,
Je réponds en tant qu’utilisateur
« Programmé à 17:00 » c’est en effet que le fichier demandé va être généré à 17h chaque jour.
Le projet a 200K POI… générer cela à la volée serait très coûteux et DATATourisme n’a pas l’infra pour générer cela (ou tout du moins si tout le monde se met à générer cela toute les minutes…)

[conjecto]

Bonjour,

J’ai défini un nouveau flux. Pour tester j’ai téléchargé l’exemple en JSON-LD. Malheureusement le nombre d’items est de 1, pas 10. Cela rend difficile l’elaboration et test d’algorithm sur 1 exemple.

Aprés vérification, l’extrait de flux généré à la demande contient bien 10 POI.

Je ne comprends pas la signification de “Programmé à 17:00” dans les infos du flux. Est-ce que cela signifie que la définition du nouveau flux a été enregistrée dans le system a 17:00, ou que le flux va être généré tous les jours a 17:00: “Programmé POUR 17:00”? Sinon, comment puis-je savoir a quelle heure va être généré le flux et qu’il n’y a pas un bug?

Comme l’a précisé Simon, ce libellé signifie que le fichier va être généré à 17h chaque jour. Nous notons au passage votre proposition de modification de libellé.

Il serait quand meme bien plus pratique de générer le premier flux ASAP de manière a pouvoir travailler sans attendre 24h a chaque fois qu’on définit ou change un flux.

Nous sommes d’accord avec vous, ce serait trés pratique.

Quand on travaille avec les APIs Google, Facebook ou autres, on ne perd pas de temps. Il faudrait allouer plus de ressources machine ou aller voir chez AWS, GCP ou Azure si les ressources actuelles travaillent en batch comme dans les années 1970 et ne suffisent pas.

Merci pour ces conseils.

Cordialement.

[Fred_JANON]

C’est en fait totalement contre-productif et insupportable pour un développement d’attendre 12 heures ou plus la generation d’un flux. Je dis inacceptable pour une startup. A quand les ameliorations?

[conjecto]

Bonjour,

Si le fonctionnement actuel de la plateforme ne convient pas, vous avez la possibilité de récupérer l’intégralité des données pour alimenter une base de données RDF que vous aurez préalablement mis en place.

Ainsi, vous ne souffrirez d’aucune limitation pour l’éxecution de vos requêtes d’extraction.

Vous trouverez un exemple de l’installation et du chargement d’une base de donnée RDF (Blazegraph) dans la documentation de l’API :

• Document
• Document

Bien évidemment, vous pouvez utiliser la base de donnée RDF de votre choix (Blazegraph, Virtuoso, TDB, StarDog…) sur l’environnement de votre choix.

Cordialement.

[Fred_JANON]

Merci de la reponse sans relation avec la question et vraiment constructive.

Cela ne resout pas le probleme du delai de generation du premier ficheir entre 12 et 24 heures.

Une meilleure reponse serait de generer le premier fichier complet ASAP et s’il convient, de demander la generation journaliere.