Filtre sur les POIs mis à jour récemment

[Moe_INFOLOCALE]

Bonjour,
Dans l’optique de récupérer tous les POIs mis à jours depuis les deux derniers jours, j’ai appliqué sur mon flux le filtre suivant
(comme conseillé dans, entre autre, ce sujet du forum : Filtre sur les dernières données mises à jour ) :

FILTER(?lastUpdateDateTime + "P2D"^^<http://www.w3.org/2001/XMLSchema#duration> > NOW())

Or, dans les résultats, malgré une grande quantité des « lastUpdateDatatourisme » qui semblent cohérentes, une partie ne correspond pas du tout à ce filtre et remonte plus loin que les deux jours souhaités.

Est-ce qu’il y a une donnée que je ne prend pas en compte qui les fait apparaître dans mes résultats ?

Cordialement,
Alexis LESNE
Pour Infolocale

[Jean-Francois_TRICHA]

Bonjour,

Ne vaudrait-il pas mieux demander les POIs mis à jour depuis une date inférieure à NOW

[Moe_INFOLOCALE]

Le traitement est effectué automatiquement tous les jours, donc le but est de récupérer un fichier le plus léger possible en ayant uniquement les éléments ajoutés/mis à jour depuis la dernière occurence.

Il me semble que récupérer les POIs mis à jour depuis une date inférieure à NOW revient à récupérer l’intégralité des POIs, et génère donc un résultat de plus de 300Mo.

[conjecto]

Bonjour,

Le problème viens du fait que vos flux sont traités a 16 et 18h, or avec le format Fichiers Json vos données sont produites a partir d’une photo des données faite à 23h35.

Si vous remplacez votre filtre par celui ci vous devriez avoir un export d’une journée « propre ».

      BIND(STRDT(CONCAT(STRBEFORE(str(now()),"T"), "T23:00:00Z"), <http://www.w3.org/2001/XMLSchema#dateTime>) AS ?now) 
      FILTER(?p + "P2D"^^<http://www.w3.org/2001/XMLSchema#duration> >= ?now  && ?p + "P1D"^^<http://www.w3.org/2001/XMLSchema#duration> < ?now)

Exemple : vos flux sont traités à 16 18h basé sur les données de la veille à 23h.
avec le filtre cité cela vous donnera les données entre l’avant veille 23h et la veille 23h.

Cordialement

[Moe_INFOLOCALE]

Bonjour,
Je vous remercie pour votre réponse.

Je n’avais effectivement pas pris en compte les différentes heures de traitement des données, qui causent sans doute des débordements de mon côté (pas trop dérangeants).

En revanche, les « lastUpdateDatatourisme » dans le index.json récupéré hier peuvent remonter jusqu’au mois de mars 2024.

Ce sont plutôt ces débordements plus important qui m’ont interrogé, et me font me demander :
Est-ce que je suis bien sûr de recevoir à minima toutes les dernières modifications récentes ? (quitte à en recevoir des anciennes, ma problématique est de ne pas en rater au fur et à mesure)

Cordialement

[conjecto]

Avec le nouveau filtre oui, vous serez assuré de ne rater aucune modification.

Dans vos flux avec le précédent filtre vous aviez des POI qui avaient été modifiés entre 23h la veille et 16/18h avec leurs version de 23h (qui effectivement pouvaient avoir comme précédente mise à jour mars 2024)

Cordialement

[Moe_INFOLOCALE]

Okay je comprends,
Merci beaucoup, bonne fin de journée !