🌐 Connecter un site public à Mayday

👋 Introduction

Centraliser vos connaissances, c’est la mission de Mayday : les gérer, les gouverner et en capitaliser la valeur pour aider vos conseillers et vos clients finaux à trouver la bonne information le plus rapidement possible. Cette intégration vous permet désormais de connecter des sites publics à votre base de connaissances  🌐

❓ Quelle est cette fonctionnalité ?

Il s’agit d’une nouvelle source de données “Site public” disponible dans le catalogue d’intégrations de Mayday Admin (centre d’administration). Elle complète les intégrations existantes (par exemple SharePoint) et permet d’indexer et de synchroniser le contenu de sites publics compatibles, afin de le rendre accessible et gouverné dans Mayday. Cette fonctionnalité s’adresse aux administrateurs qui souhaitent centraliser du contenu externe aux côtés de leurs documents internes. 🧩

🤔 Comment ça marche ?

⚙ Ouvrez le catalogue d’intégrations

Dans le catalogue d’intégrations, cliquez sur Contenu externe.

➕ Créez la source

Créez une nouvelle source de données et choisissez le type Site public.

👥 Définissez les accès

Définissez les groupes qui auront accès à cette source de données.

🎯 Définissez le périmètre

• Collez l’URL du site à connecter, puis cliquez sur Vérifier.

• Ajoutez des sous‑URLs si besoin pour ne connecter que certaines sous‑parties ou sous‑domaines (par exemple une seule langue, ou une rubrique spécifique d’un help center).

🔎 Laissez Mayday vérifier

• Mayday contrôle que l’URL est valide, que le site existe, qu’il s’agit bien d’un site accessible, et qu’un sitemap.xml est détecté.

• Le sitemap.xml nous indique quelles pages récupérer, et nous vérifions que les conditions techniques permettent de collecter correctement les informations du site.

⏱ Choisissez la fréquence

• Sélectionnez une synchronisation toutes les semaines ou tous les mois.

• Toutes les pages indexées seront mises à jour à cette fréquence (ajouts, modifications, suppressions).

• Si les informations évoluent peu, privilégiez tous les mois.

🔄 Lancez la première synchronisation

• Si l’URL est validée et que vous sauvegardez, la première synchronisation peut prendre 5 à 10 minutes.

• 💡 Une fois l’URL validée, un survol de la souris affiche le nombre de pages détectées.

✅ Vérifiez le statut

À la fin de la synchronisation, la source de données passe au statut Actif.

🤖  Connecter un site public à un agent IA

Une fois un site public connecté et actif, les informations qu’il contient peuvent être consultées :

• Directement via le moteur de recherche.

• Dans les réponses fournies par les agents IA.

Pour permettre à un agent IA d’accéder à ces informations, il est nécessaire de lui donner explicitement accès à la source de données :

1. Dans l’onglet “Sources” de l’agent IA, sélectionnez la source “Contenus Mayday”.

2. Activez la source de données externes correspondant au site public souhaité.

⛔  Informations et limites

ℹ Information importante

• Le nombre de pages récupérées par site est limité à 50 000 pages.

• Au-delà de cette limite, les pages supplémentaires ne seront pas récupérées.

⚠ Limites à connaître

• De nombreux sites ne sont pas éligibles, car ils empêchent la récupération d’informations de la manière requise, et nous ne pouvons pas contourner ces restrictions.

• Exemples de sites inéligibles :

  • Les sites trop lourds, avec un volume très conséquent de pages (exemple : https://support.apple.com/fr-fr).

  • Les Single Page Apps (SPAs), incompatibles avec ce fonctionnement.

  • Les Help Centers Zendesk, qui bloquent également ce mode de récupération.

  • De nombreux autres sites protégés par des méthodes diverses ne correspondant pas au standard robots.txt.

✅  À savoir sur la vérification de l’URL

• Certains sites inéligibles peuvent être bloqués dès la vérification de l’URL, d’autres non. 

• Parmi les cas détectables dès la vérification :

  • Les sites qui refusent explicitement le scraping via leur fichier robots.txt.

  • Les sites dont le sitemap met plus de 60 secondes à se charger.

💡 Bonnes pratiques

• Privilégiez une synchronisation mensuelle si le contenu du site évolue peu, afin d’éviter des mises à jour inutiles.

• Utilisez des sous-URLs pour limiter le périmètre (par langue ou par rubrique) et rester confortablement sous la limite des 50 000 pages.

🔭 À venir

Étendre la couverture des sites internet afin de vous permettre de connecter le plus de sites possibles.