#1 07-09-2021 15:44:22

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013
Messages : 5 531

Fonctionnalité de ré-hébergement des images extérieures en approche...

Bonjour à tous,

Afin de pérenniser les informations, nous sommes en train de préparer un service de ré-hébergement des images extérieures. Ainsi, une image appelée depuis le site d'un distributeur sera téléchargée sur RL et restera visible quand bien même la source devait disparaître. Évidemment, pour les images qui ne remontent déjà plus, le mal est fait neutral

La chose importante est que, pour que le service ne mouline pas inutilement à chaque affichage d'un message contenant des images extérieures introuvables, je crée une image factice qui ressemblera à ceci :

7PDBMPrde.404-missing.png

Cela signifie que, si vous avez appelé des photos depuis vos blogs perso dans un retour terrain par exemple, et que ces dernières ne sont plus accessibles, elles seront définitivement perdues pour RL (les remettre en ligne ne sera pas suffisant car définitivement remplacées par l'image ci-dessus). J'espère que je suis clair hmm

Je pense notamment à Shanx dont pas mal de photos ne sont plus accessibles suite à un problème chez OVH.

Autre info importante : ces photos ré-hébergées ne remonteront pas dans fotoo (lien "Gérer mes images") et c'est volontaire car ré-héberger une image est gourmand en ressources et il n'est pas souhaitable que cela devienne la norme.

Bref, si vous avez le courage de remettre en ligne vos images manquantes, c'est le moment big_smile

Edit : ce service va également solutionner le problème des vignettes manquantes pour les vidéos ...

Dernière modification par Opitux (07-09-2021 16:08:53)


Plus je marche moins fort, moins j'avance plus vite...

Si vous me contactez pour l'association, mieux vaut passer directement par wink

Hors ligne

#2 07-09-2021 15:48:02

Pala2
MUL frites
Lieu : Bruxelles
Inscription : 16-07-2015
Messages : 2 174

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Merci!

Je rage toujours quand je tombe sur un bricolage qui m'intéresse mais qu'on ne comprend riens sans les photos  neutral


Pierre

(C'est comme ça que je m'appelle dans la vraie vie)

Mon trombi, parce que je sais jamais comment le retrouver facilement...

Hors ligne

#3 07-09-2021 15:58:54

Shanx
Sanglier MUL
Lieu : Probablement au boulot :(
Inscription : 22-04-2012
Messages : 3 620
Site Web

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Opitux a écrit :

#625257Je pense notamment à Shanx dont pas mal de photos ne sont plus accessibles suite à un problème chez OVH.

Coupable sad

Mais ça devrait aller mieux d'ici demain. big_smile

Par contre, mes images sont des balises img inclus dans des balises url qui pointent vers une version en meilleure définition. Comment est-ce que ça va impacter ça ?

Par exemple :

[url=https://nullepartetailleurs.fr/photos/2021-02-14-provence/medium/DSC02091.jpg][img]https://nullepartetailleurs.fr/photos/2021-02-14-provence/medium/DSC02091.jpg[/img][/url]

← Mon blog : traversées à pied des Alpes, de l'Islande, de la Corse, des États-Unis - Japon en vélo
Mon trombi
"Heureusement qu'il y a RL pour m'éviter les genoux qui craquent et le dos en compote" - C. Norris
"La liberté est fille des forêts. C'est là qu'elle est née, c'est là qu'elle revient se cacher, quand ça va mal." - Romain Gary

Hors ligne

#4 07-09-2021 16:05:03

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013
Messages : 5 531

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Shanx a écrit :

#625262Par contre, mes images sont des balises img inclus dans des balises url qui pointent vers une version en meilleure définition. Comment est-ce que ça va impacter ça ?

Les images encadrées dans la balise img seront ré-hébergées, pas l'image haute définition qui reste accessible via le lien.

Edit : j'ai oublié de préciser que les images re-hébergées seront redimensionnée à 800px ou 1000px max (ce n'est pas encore défini).

Dernière modification par Opitux (07-09-2021 16:06:41)


Plus je marche moins fort, moins j'avance plus vite...

Si vous me contactez pour l'association, mieux vaut passer directement par wink

Hors ligne

#5 07-09-2021 20:39:42

steves
Membre
Inscription : 16-10-2012
Messages : 270

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

bonne nouvelle, merci!

Hors ligne

#6 07-09-2021 22:06:37

You
Ptit lapin givré
Lieu : RP
Inscription : 27-08-2005
Messages : 2 428

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Bravo !


There is a curse. They say : "May You Live in Interesting Times" (Terry Pratchett)
"Le froid est pour moi le prix de la liberté" (Elsa, Reine des Neiges) / "La météo, c'est dans la tête" / φ / (⧖)
Si Edition sans raison indiquée : GolgOrth, Saint Taxe, petites précisions diverses...

Hors ligne

#7 08-09-2021 14:41:56

seb0b0
Membre
Inscription : 01-07-2007
Messages : 597

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Bonjour Opitux,

Il me semble que tu ne peux pas faire ça sans l'accord du propriétaire des images.

De quel droit penses-tu pouvoir récupérer une image sur un serveur tiers, et la stocker sur un serveur RL ? Le tout comme si l'utilisateur avait lui-même uploadé cette image sur RL, abandonnant de facto ses droits au profit d'une licence Créative Commons comme stipulé dans l'outil d'upload.


Quelque part entre le bas de la montée et le sommet se trouve la réponse au mystère de la raison pour laquelle nous grimpons. - Greg Child

Hors ligne

#8 08-09-2021 23:14:22

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013
Messages : 5 531

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

seb0b0 a écrit :

#625344Bonjour Opitux,

Il me semble que tu ne peux pas faire ça sans l'accord du propriétaire des images.

De quel droit penses-tu pouvoir récupérer une image sur un serveur tiers, et la stocker sur un serveur RL ? Le tout comme si l'utilisateur avait lui-même uploadé cette image sur RL, abandonnant de facto ses droits au profit d'une licence Créative Commons comme stipulé dans l'outil d'upload.

Bonsoir seb0b0,

La solution n'est pas parfaite mais ré-héberger une image est la seule façon de pérenniser certaines discussions et de résoudre les problèmes de contenus mixtes (image http dans une page https). Pour les vignettes vidéos, c'est aussi la seule option pour être raccord avec la RGPD... Cette fonctionnalité restera réversible si besoin.

Ceci-dit, il ne s'agit en aucun cas de s'approprier ces images. Ce ré-hébergement est totalement dissocié de l'outil d'upload. Les images ne remonteront pas dans la liste des images de l'utilisateur et ne seront bien sûr pas sous Créative Commons. Si demande de retrait il y a de la part d'un ayant droit, cela restera bien sûr possible (et définitif puisque ré-intégrer cette image extérieure fera alors remonter une image 404). Cela se passera de la même façon qu'aujourd'hui, à savoir que ce dernier pourra contacter l'administrateur pour la suppression de l'image.

Edit : petit oubli, il y aura une également une protection contre le hotlinking pour ces images (impossible donc de les appeller depuis un autre site que RL).

Dernière modification par Opitux (08-09-2021 23:26:09)


Plus je marche moins fort, moins j'avance plus vite...

Si vous me contactez pour l'association, mieux vaut passer directement par wink

Hors ligne

#9 15-09-2021 14:20:38

Eloi
Bigfoot
Lieu : Toulouse
Inscription : 27-04-2010
Messages : 3 383

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Salut, je suis en train de relire mon récit de HRP 2016. J'avais hébergé toutes les photos sur le forum, et pourtant il y en a plein qui ne s'affichent plus. C'est normal ?
ça me chagrine d'autant plus que suite à un cambriolage l'an dernier, j'ai perdu toutes mes photos de rando.
Lien vers le récit en question : https://www.randonner-leger.org/forum/v … p?id=31894

Hors ligne

#10 15-09-2021 14:47:55

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013
Messages : 5 531

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Salut Eloi

Chez moi, elles semblent toutes remonter. Tu aurais un lien vers un message spécifique ?

N'oublie pas que les images se chargent désormais au fur et à mesure du défilement de la page. Donc si ton débit n'est pas bon à un instant T, ça peut donner cette impression d'image manquante. En principe, si une image n'existe plus ou si tu te trompes dans le bbcode, il y a automatiquement l'image suivante :

c564856e9.rlse_sortie.jpeg


Plus je marche moins fort, moins j'avance plus vite...

Si vous me contactez pour l'association, mieux vaut passer directement par wink

Hors ligne

#11 15-09-2021 15:11:51

Eloi
Bigfoot
Lieu : Toulouse
Inscription : 27-04-2010
Messages : 3 383

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Merci pour ta réponse Opitux.
ça s'affichait avec le symbole 'image brisée' et ça ne semblait pas évoluer dans le temps. Mais après re-chargement de la page, toutes les photos s'affichent correctement.

Hors ligne

#12 15-09-2021 15:17:45

Jérémie L'Couvert
Membre
Inscription : 18-09-2013
Messages : 489

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Je rencontre le même problème que toi Eloi, alors que ma connexion semble correcte. Des liens brisés au premier défilement puis OK après rechargement.

Je remarque que ça arrive plus fréquemment lorsque j'utilise l'ascenseur pour défiler que lorsque j'utilise le clavier.

Opitux, n'y aurait-il pas un timeout à augmenter avant de considérer que l'image est introuvable ? (ou un nombre de retry peut-être)

Hors ligne

#13 15-09-2021 15:25:32

Eloi
Bigfoot
Lieu : Toulouse
Inscription : 27-04-2010
Messages : 3 383

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

@Jérémie L'Couvert, ma connexion est correcte en principe. J'ai la fibre. S'il y a un ralentissement ça ne vient pas de là à priori.
Moi aussi quand j'ai eu ce "bug", j'avais utilisé l'ascenseur pour défiler.

Hors ligne

#14 15-09-2021 16:05:55

Jérémie L'Couvert
Membre
Inscription : 18-09-2013
Messages : 489

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Je suppose que l'ancienne méthode (chargement de toutes les images à l'ouverture de la page) était synchrone alors que cette nouvelle méthode est asynchrone et parallélisée.
Je pense donc que l'usage de l'ascenseur "bombarde" le serveur de requêtes alors que celui-ci possède un maximum d'appels simultanés par @IP source.

Dernière modification par Jérémie L'Couvert (15-09-2021 16:06:22)

Hors ligne

#15 15-09-2021 19:03:58

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013
Messages : 5 531

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Jérémie L'Couvert a écrit :

#626480Je suppose que l'ancienne méthode (chargement de toutes les images à l'ouverture de la page) était synchrone alors que cette nouvelle méthode est asynchrone et parallélisée.

L'ancienne méthode stockait *toutes* les photos dans un même dossier. Donc l'appel était direct, mais la gestion devenait impossible. Lors de la migration, j'ai créé un script pour tout basculer selon l'archivage de fotoo. Les anciennes url remontent alors la page 404 du forum dans laquelle je cherche une correspondance "ancienne url/nouvelle url".

Jérémie L'Couvert a écrit :

#626480Je pense donc que l'usage de l'ascenseur "bombarde" le serveur de requêtes alors que celui-ci possède un maximum d'appels simultanés par @IP source.

Yep, surement un truc dans le genre...

Jérémie L'Couvert a écrit :

#626466Opitux, n'y aurait-il pas un timeout à augmenter avant de considérer que l'image est introuvable ? (ou un nombre de retry peut-être)

Je ne sais pas ce que permet OVH en la matière hmm


Plus je marche moins fort, moins j'avance plus vite...

Si vous me contactez pour l'association, mieux vaut passer directement par wink

Hors ligne

#16 16-09-2021 01:01:07

Redfish
Chat schizophrène...
Lieu : Marseille
Inscription : 16-11-2017
Messages : 7 780
Site Web

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Pas lié à la connexion, j'ai la fibre (avec un débit de 100mo/s réel) et ça me le fait aussi régulièrement.
Principalement dans le wiki, quand il y a beaucoup d'images...

Quand l'image est manquante, il y a un texte avec l'url de l'image qui aurait due s'afficher.
Si je recharge la page, ce sont d'autres images qui ne s'affiche pas de manière aléatoires.
Si je fais clic droit sur le texte de l'url, puis "actualiser l'image", ça marche... à refaire pour chaque image manquante.

Il me semble qu'on avait déjà parlé de ça dans un autre topic.
Ca fait au moins 1-2 ans que ça le fait...

Hors ligne

#17 16-09-2021 08:45:40

moby59
à l'école des MUL
Inscription : 08-06-2006
Messages : 930

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Un truc qui était génial à une époque sur hardware-fr : tu ajoutais https://reho.st/ devant toute adresse d'image et hop ça gérait ça tout seul comme un grand (genre au 1er appel si l'image n'était pas stockée sur reho.st le code allait la récupérer tout seul à l'url distante et la stocker en local sur son serveur.

Le service a été stoppé car trop utilisé par d'autres personnes en dehors du forum. Mais en ajoutant un simple test sur le "referer" pour n'autoriser les appels que depuis RL ça doit pouvoir faire un système super efficace.

Hors ligne

#18 16-09-2021 08:57:29

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013
Messages : 5 531

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

Redfish a écrit :

#626550Pas lié à la connexion, j'ai la fibre (avec un débit de 100mo/s réel) et ça me le fait aussi régulièrement.
Principalement dans le wiki, quand il y a beaucoup d'images...

Oui, je l'ai également constaté. Mêmes causes mêmes conséquences : les images dans le wiki sont appelées via une page php.

moby59 a écrit :

#626570Un truc qui était génial à une époque sur hardware-fr : tu ajoutais https://reho.st/ devant toute adresse d'image et hop ça gérait ça tout seul comme un grand (genre au 1er appel si l'image n'était pas stockée sur reho.st le code allait la récupérer tout seul à l'url distante et la stocker en local sur son serveur.

Nous l'avons utilisé pour les vignettes vidéos. Ce sera en gros le même service en automatique, pas besoin de mettre rehost/ devant son image. Toute image extérieure sera ré-hébergée. Et effectivement, cela ne sera possible que depuis RL. Le script sera bloqué depuis l'extérieur.

Quand l'image sera existante, l'url sera remplacée par un appel direct avant affichage, ce qui devrait évitera le soucis remonté par Eloi.


Plus je marche moins fort, moins j'avance plus vite...

Si vous me contactez pour l'association, mieux vaut passer directement par wink

Hors ligne

#19 16-09-2021 08:59:32

moby59
à l'école des MUL
Inscription : 08-06-2006
Messages : 930

Re : Fonctionnalité de ré-hébergement des images extérieures en approche...

ah ok, super !

Hors ligne

Pied de page des forums