Aller au contenu

#1 07-09-2021 14:44:22

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013

Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Bonjour à tous,

Afin de pérenniser les informations, nous sommes en train de préparer un service de ré-hébergement des images extérieures. Ainsi, une image appelée depuis le site d'un distributeur sera téléchargée sur RL et restera visible quand bien même la source devait disparaître. Évidemment, pour les images qui ne remontent déjà plus, le mal est fait neutral

La chose importante est que, pour que le service ne mouline pas inutilement à chaque affichage d'un message contenant des images extérieures introuvables, je crée une image factice qui ressemblera à ceci :

7PDBMPrde.404-missing.png

Edit
L'image définitive est celle-ci
7PF68bTTI.404-missing.png
/Edit

Cela signifie que, si vous avez appelé des photos depuis vos blogs perso dans un retour terrain par exemple, et que ces dernières ne sont plus accessibles, elles seront définitivement perdues pour RL (les remettre en ligne ne sera pas suffisant car définitivement remplacées par l'image ci-dessus). J'espère que je suis clair hmm

Je pense notamment à Shanx dont pas mal de photos ne sont plus accessibles suite à un problème chez OVH.

Autre info importante : ces photos ré-hébergées ne remonteront pas dans fotoo (lien "Gérer mes images") et c'est volontaire car ré-héberger une image est gourmand en ressources et il n'est pas souhaitable que cela devienne la norme.

Bref, si vous avez le courage de remettre en ligne vos images manquantes, c'est le moment big_smile

Edit : ce service va également solutionner le problème des vignettes manquantes pour les vidéos ...

Edit : modification du titre. L'ancien titre était "Fonctionnalité de ré-hébergement des images extérieures en approche..."

Dernière modification par Opitux (24-02-2022 19:21:36)


Plus je marche moins fort, moins j'avance plus vite...

rl  Si vous me contactez pour l'association, mieux vaut passer directement par là wink

Hors ligne

#2 07-09-2021 14:48:02

Pala2
MUL frites
Lieu : Bruxelles
Inscription : 16-07-2015

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Merci!

Je rage toujours quand je tombe sur un bricolage qui m'intéresse mais qu'on ne comprend riens sans les photos  neutral


Pierre Build-a-Bear

(C'est comme ça que je m'appelle dans la vraie vie)

Mon trombi, parce que je sais jamais comment le retrouver facilement...

Hors ligne

#3 07-09-2021 14:58:54

Shanx
Sanglier MUL
Lieu : Probablement au boulot :(
Inscription : 22-04-2012
Site Web

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Opitux a écrit :

#625257Je pense notamment à Shanx dont pas mal de photos ne sont plus accessibles suite à un problème chez OVH.

Coupable sad

Mais ça devrait aller mieux d'ici demain. big_smile

Par contre, mes images sont des balises img inclus dans des balises url qui pointent vers une version en meilleure définition. Comment est-ce que ça va impacter ça ?

Par exemple :

[url=https://nullepartetailleurs.fr/photos/2021-02-14-provence/medium/DSC02091.jpg][img]https://nullepartetailleurs.fr/photos/2021-02-14-provence/medium/DSC02091.jpg[/img][/url]

← Mon blog : traversées à pied des Alpes, de l'Islande, de la Corse, des États-Unis - Japon en vélo
Mon trombi
"Heureusement qu'il y a RL pour m'éviter les genoux qui craquent et le dos en compote" - C. Norris
"La liberté est fille des forêts. C'est là qu'elle est née, c'est là qu'elle revient se cacher, quand ça va mal." - Romain Gary

Hors ligne

#4 07-09-2021 15:05:03

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Shanx a écrit :

#625262Par contre, mes images sont des balises img inclus dans des balises url qui pointent vers une version en meilleure définition. Comment est-ce que ça va impacter ça ?

Les images encadrées dans la balise img seront ré-hébergées, pas l'image haute définition qui reste accessible via le lien.

Edit : j'ai oublié de préciser que les images re-hébergées seront redimensionnée à 800px ou 1000px max (ce n'est pas encore défini).

Dernière modification par Opitux (07-09-2021 15:06:41)


Plus je marche moins fort, moins j'avance plus vite...

rl  Si vous me contactez pour l'association, mieux vaut passer directement par là wink

Hors ligne

#5 07-09-2021 19:39:42

steves
Membre
Inscription : 16-10-2012

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

bonne nouvelle, merci!

Hors ligne

#6 07-09-2021 21:06:37

You
Ptit lapin givré
Lieu : RP
Inscription : 27-08-2005

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Bravo !


There is a curse. They say : "May You Live in Interesting Times" (Terry Pratchett)
"Le froid est pour moi le prix de la liberté" (Elsa, Reine des Neiges) / "La météo, c'est dans la tête" / φ / (⧖)
Si Edition sans raison indiquée : GolgOrth, Sainte Axe, petites précisions diverses...

En ligne

#7 08-09-2021 13:41:56

seb0b0
Membre
Inscription : 01-07-2007

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Bonjour Opitux,

Il me semble que tu ne peux pas faire ça sans l'accord du propriétaire des images.

De quel droit penses-tu pouvoir récupérer une image sur un serveur tiers, et la stocker sur un serveur RL ? Le tout comme si l'utilisateur avait lui-même uploadé cette image sur RL, abandonnant de facto ses droits au profit d'une licence Créative Commons comme stipulé dans l'outil d'upload.


Quelque part entre le bas de la montée et le sommet se trouve la réponse au mystère de la raison pour laquelle nous grimpons. - Greg Child

Hors ligne

#8 08-09-2021 22:14:22

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

seb0b0 a écrit :

#625344Bonjour Opitux,

Il me semble que tu ne peux pas faire ça sans l'accord du propriétaire des images.

De quel droit penses-tu pouvoir récupérer une image sur un serveur tiers, et la stocker sur un serveur RL ? Le tout comme si l'utilisateur avait lui-même uploadé cette image sur RL, abandonnant de facto ses droits au profit d'une licence Créative Commons comme stipulé dans l'outil d'upload.

Bonsoir seb0b0,

La solution n'est pas parfaite mais ré-héberger une image est la seule façon de pérenniser certaines discussions et de résoudre les problèmes de contenus mixtes (image http dans une page https). Pour les vignettes vidéos, c'est aussi la seule option pour être raccord avec la RGPD... Cette fonctionnalité restera réversible si besoin.

Ceci-dit, il ne s'agit en aucun cas de s'approprier ces images. Ce ré-hébergement est totalement dissocié de l'outil d'upload. Les images ne remonteront pas dans la liste des images de l'utilisateur et ne seront bien sûr pas sous Créative Commons. Si demande de retrait il y a de la part d'un ayant droit, cela restera bien sûr possible (et définitif puisque ré-intégrer cette image extérieure fera alors remonter une image 404). Cela se passera de la même façon qu'aujourd'hui, à savoir que ce dernier pourra contacter l'administrateur pour la suppression de l'image.

Edit : petit oubli, il y aura une également une protection contre le hotlinking pour ces images (impossible donc de les appeller depuis un autre site que RL).

Dernière modification par Opitux (08-09-2021 22:26:09)


Plus je marche moins fort, moins j'avance plus vite...

rl  Si vous me contactez pour l'association, mieux vaut passer directement par là wink

Hors ligne

#9 15-09-2021 13:20:38

Eloi
Bigfoot
Lieu : Toulouse
Inscription : 27-04-2010

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Salut, je suis en train de relire mon récit de HRP 2016. J'avais hébergé toutes les photos sur le forum, et pourtant il y en a plein qui ne s'affichent plus. C'est normal ?
ça me chagrine d'autant plus que suite à un cambriolage l'an dernier, j'ai perdu toutes mes photos de rando.
Lien vers le récit en question : https://www.randonner-leger.org/forum/v … p?id=31894

Hors ligne

#10 15-09-2021 13:47:55

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Salut Eloi

Chez moi, elles semblent toutes remonter. Tu aurais un lien vers un message spécifique ?

N'oublie pas que les images se chargent désormais au fur et à mesure du défilement de la page. Donc si ton débit n'est pas bon à un instant T, ça peut donner cette impression d'image manquante. En principe, si une image n'existe plus ou si tu te trompes dans le bbcode, il y a automatiquement l'image suivante :

c564856e9.rlse_sortie.jpeg


Plus je marche moins fort, moins j'avance plus vite...

rl  Si vous me contactez pour l'association, mieux vaut passer directement par là wink

Hors ligne

#11 15-09-2021 14:11:51

Eloi
Bigfoot
Lieu : Toulouse
Inscription : 27-04-2010

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Merci pour ta réponse Opitux.
ça s'affichait avec le symbole 'image brisée' et ça ne semblait pas évoluer dans le temps. Mais après re-chargement de la page, toutes les photos s'affichent correctement.

Hors ligne

#12 15-09-2021 14:17:45

Jérémie L'Couvert
Membre
Inscription : 18-09-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Je rencontre le même problème que toi Eloi, alors que ma connexion semble correcte. Des liens brisés au premier défilement puis OK après rechargement.

Je remarque que ça arrive plus fréquemment lorsque j'utilise l'ascenseur pour défiler que lorsque j'utilise le clavier.

Opitux, n'y aurait-il pas un timeout à augmenter avant de considérer que l'image est introuvable ? (ou un nombre de retry peut-être)

Hors ligne

#13 15-09-2021 14:25:32

Eloi
Bigfoot
Lieu : Toulouse
Inscription : 27-04-2010

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

@Jérémie L'Couvert, ma connexion est correcte en principe. J'ai la fibre. S'il y a un ralentissement ça ne vient pas de là à priori.
Moi aussi quand j'ai eu ce "bug", j'avais utilisé l'ascenseur pour défiler.

Hors ligne

#14 15-09-2021 15:05:55

Jérémie L'Couvert
Membre
Inscription : 18-09-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Je suppose que l'ancienne méthode (chargement de toutes les images à l'ouverture de la page) était synchrone alors que cette nouvelle méthode est asynchrone et parallélisée.
Je pense donc que l'usage de l'ascenseur "bombarde" le serveur de requêtes alors que celui-ci possède un maximum d'appels simultanés par @IP source.

Dernière modification par Jérémie L'Couvert (15-09-2021 15:06:22)

Hors ligne

#15 15-09-2021 18:03:58

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Jérémie L'Couvert a écrit :

#626480Je suppose que l'ancienne méthode (chargement de toutes les images à l'ouverture de la page) était synchrone alors que cette nouvelle méthode est asynchrone et parallélisée.

L'ancienne méthode stockait *toutes* les photos dans un même dossier. Donc l'appel était direct, mais la gestion devenait impossible. Lors de la migration, j'ai créé un script pour tout basculer selon l'archivage de fotoo. Les anciennes url remontent alors la page 404 du forum dans laquelle je cherche une correspondance "ancienne url/nouvelle url".

Jérémie L'Couvert a écrit :

#626480Je pense donc que l'usage de l'ascenseur "bombarde" le serveur de requêtes alors que celui-ci possède un maximum d'appels simultanés par @IP source.

Yep, surement un truc dans le genre...

Jérémie L'Couvert a écrit :

#626466Opitux, n'y aurait-il pas un timeout à augmenter avant de considérer que l'image est introuvable ? (ou un nombre de retry peut-être)

Je ne sais pas ce que permet OVH en la matière hmm


Plus je marche moins fort, moins j'avance plus vite...

rl  Si vous me contactez pour l'association, mieux vaut passer directement par là wink

Hors ligne

#16 16-09-2021 00:01:07

Redfish
Chat schizophrène...
Lieu : Marseille
Inscription : 16-11-2017
Site Web

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Pas lié à la connexion, j'ai la fibre (avec un débit de 100mo/s réel) et ça me le fait aussi régulièrement.
Principalement dans le wiki, quand il y a beaucoup d'images...

Quand l'image est manquante, il y a un texte avec l'url de l'image qui aurait due s'afficher.
Si je recharge la page, ce sont d'autres images qui ne s'affiche pas de manière aléatoires.
Si je fais clic droit sur le texte de l'url, puis "actualiser l'image", ça marche... à refaire pour chaque image manquante.

Il me semble qu'on avait déjà parlé de ça dans un autre topic.
Ca fait au moins 1-2 ans que ça le fait...

Hors ligne

#17 16-09-2021 07:45:40

moby59
à l'école des MUL
Inscription : 08-06-2006

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Un truc qui était génial à une époque sur hardware-fr : tu ajoutais https://reho.st/ devant toute adresse d'image et hop ça gérait ça tout seul comme un grand (genre au 1er appel si l'image n'était pas stockée sur reho.st le code allait la récupérer tout seul à l'url distante et la stocker en local sur son serveur.

Le service a été stoppé car trop utilisé par d'autres personnes en dehors du forum. Mais en ajoutant un simple test sur le "referer" pour n'autoriser les appels que depuis RL ça doit pouvoir faire un système super efficace.

Hors ligne

#18 16-09-2021 07:57:29

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Redfish a écrit :

#626550Pas lié à la connexion, j'ai la fibre (avec un débit de 100mo/s réel) et ça me le fait aussi régulièrement.
Principalement dans le wiki, quand il y a beaucoup d'images...

Oui, je l'ai également constaté. Mêmes causes mêmes conséquences : les images dans le wiki sont appelées via une page php.

moby59 a écrit :

#626570Un truc qui était génial à une époque sur hardware-fr : tu ajoutais https://reho.st/ devant toute adresse d'image et hop ça gérait ça tout seul comme un grand (genre au 1er appel si l'image n'était pas stockée sur reho.st le code allait la récupérer tout seul à l'url distante et la stocker en local sur son serveur.

Nous l'avons utilisé pour les vignettes vidéos. Ce sera en gros le même service en automatique, pas besoin de mettre rehost/ devant son image. Toute image extérieure sera ré-hébergée. Et effectivement, cela ne sera possible que depuis RL. Le script sera bloqué depuis l'extérieur.

Quand l'image sera existante, l'url sera remplacée par un appel direct avant affichage, ce qui devrait évitera le soucis remonté par Eloi.


Plus je marche moins fort, moins j'avance plus vite...

rl  Si vous me contactez pour l'association, mieux vaut passer directement par là wink

Hors ligne

#19 16-09-2021 07:59:32

moby59
à l'école des MUL
Inscription : 08-06-2006

Hors ligne

#20 29-01-2022 23:25:26

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Pour info, le service ne devrait pas tarder... Si vous avez des images appelées depuis votre blog ou site perso qui ne remontent plus, c'est le moment de corriger smile


Plus je marche moins fort, moins j'avance plus vite...

rl  Si vous me contactez pour l'association, mieux vaut passer directement par là wink

Hors ligne

#21 01-02-2022 09:45:45

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Le service est en place, n'hésitez pas à nous faire vos retours si vous constatez des dysfonctionnements. J'ai testé avec un paquet de sites sans trouver de bugs, mais on n'est jamais à l'abri roll


Plus je marche moins fort, moins j'avance plus vite...

rl  Si vous me contactez pour l'association, mieux vaut passer directement par là wink

Hors ligne

#22 22-02-2022 13:15:37

Manche
Membre
Inscription : 27-08-2018

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Bonjour Opitux,
Exemple de dysfonctionnement ici : https://www.randonner-leger.org/forum/v … 82#p644482

Hors ligne

#23 22-02-2022 14:00:14

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Je vais regarder, mais quand le cas se reproduit, la meilleure façon de faire et de passer par le système d'upload des photos et de me communiquer l'url de l'image problématique dans ce fil...


Plus je marche moins fort, moins j'avance plus vite...

rl  Si vous me contactez pour l'association, mieux vaut passer directement par là wink

Hors ligne

#24 28-02-2022 11:38:21

Opitux
Jeune padawan
Lieu : 06
Inscription : 13-01-2013

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Je vais procéder à un reset des images en 404. J'ai corrigé quelques bugs et on devrait pouvoir en récupérer certaines.

@Shanx, j'ai 644 images en 404 issues de shanx.fr et nullepartetailleurs.fr. Beaucoup semblent provenir de cette discussion. Crois-tu qu'il serait possible de les récupérer ? Je peux t'envoyer la liste des url si tu le souhaites ?

Edit
Il y a aussi celle-ci
/Edit

Edit : @Wax, si tu me lis calin
J'en ai 41 issues de wahib.org. En aurais-tu encore la trace quelque part ? Elles étaient toutes stockées dans un dossier http://www.wahib.org/33 RL/

Dernière modification par Opitux (06-03-2022 19:20:03)


Plus je marche moins fort, moins j'avance plus vite...

rl  Si vous me contactez pour l'association, mieux vaut passer directement par là wink

Hors ligne

#25 28-02-2022 12:06:37

Pala2
MUL frites
Lieu : Bruxelles
Inscription : 16-07-2015

Re : Fonctionnalité de ré-hébergement des images extérieures (rehost)...

Petite question:

Pour mes ventes sur RL, je préfères en général héberger mes photos à l'extérieur pour ne pas surcharger RL et vu que de toute façon la durée de vie des discussions est courte.

Serait-il possible d'exclure la section achats/ventes de ce ré-hébergement? Sinon, est-ce qu'héberger mes photos d'objets à vendre à l'extérieur est encore utile?


Pierre Build-a-Bear

(C'est comme ça que je m'appelle dans la vraie vie)

Mon trombi, parce que je sais jamais comment le retrouver facilement...

Hors ligne

Pied de page des forums