Documents tokenisés (PDF, Office, texte)
Veilio Core tokenise les champs sensibles à l’intérieur d’un document et peut stocker un seul fichier masqué. Le clair n’est jamais conservé comme copie maîtresse. La révélation est éphémère et auditée. Les masques utilisent la FPE dans le fichier ; la révélation est contrôlée par le RBAC et auditée.
En ligne sur le site produit : veilio.fr/docs/documentation/basics/documents
Ce que vous obtenez
| Mode | Résultat |
|---|---|
| Fichier masqué | Mise en page préservée ; PII affichées comme masques (vault FPE en dessous) |
| Document stocké (SaaS) | Blob sur le volume app (VEILIO_DOCUMENTS_DIR) + métadonnées en base |
| Reveal | Même document en clair, uniquement si la détokenisation est autorisée ; chaque ouverture est journalisée |
| Preview | Détecter les champs avant l’écriture vault ; exclure des spans (API) ou ajouter des sélections libres (tableau de bord) |
| Format | Extensions | Moteur |
|---|---|---|
.pdf | Réécriture de flux sur place, ou overlay pdfjs + scrub ToUnicode | |
| Image (OCR) | .png .jpg .jpeg | Tesseract OCR + overlay masque canvas (VEILIO_OCR_ENABLED=1) |
| Word OOXML | .docx .dotx | ZIP : réécriture <w:t> (runs découpés OK) |
| Excel OOXML | .xlsx .xltx | ZIP : sharedStrings + <t> inline des feuilles |
| PowerPoint OOXML | .pptx .potx | ZIP : <a:t> des slides |
| OpenDocument | .odt .ods .odp | ZIP : texte feuille content.xml |
| Texte brut | .csv .tsv .txt .md .markdown .rtf | Réécriture de chaîne sur place |
| Legacy OLE | .doc .xls .ppt | Réécriture binaire même longueur (préférer OOXML) |
Le CSV est double surface : /tokenize/format (format: "csv") pour les flux payload, et /tokenize/document + /documents pour stockage/révélation fichier.
PDF scannés / image seule et PNG/JPEG : avec VEILIO_OCR_ENABLED=1, Veilio exécute un OCR local (Tesseract) puis FPE + overlay (peinture PDF ou canvas pour les images). Sans OCR (défaut), ils renvoient 422 NO_TEXT. Échec OCR → 422 OCR_FAILED (fail-closed). Passez kind en option (jpeg ou jpg) ; les magic bytes sont détectés dans tous les cas.
Taille max de téléversement : 8 Mo par document.
Flux intégrateur (recommandé)
1. Optional: POST /documents/preview → see detections, pick includeIndices
2. POST /documents (+ Idempotency-Key, spanSelection, retention)
or POST /documents/batch (up to 10 files)
3. Archive the masked file where you want (Drive / GED / S3) — or keep it on Veilio SaaS
4. Serve masked: GET /documents/{id}
5. Clear when needed: GET /documents/{id}?reveal=1 (audited DETOKENIZE)
6. Delete + vault shred: DELETE /documents/{id}
→ SIEM webhook document.shredded (org destinations)Le stockage émet SIEM document.tokenized (en plus de l’audit TOKENIZE). Il n’y a pas encore de push automatique vers Drive.
Auth et RBAC
| Appelant | Tokenize / preview / delete / reveal | Liste + get masqué |
|---|---|---|
| Clé API | Oui | Oui |
| Tableau de bord Owner / DPO / Member | Oui | Oui |
| Tableau de bord VIEWER | 403 | Oui (masqué uniquement) |
Preview PII (sans écriture vault)
curl -s -X POST "$VEILIO_BASE_URL/api/documents/preview" \
-H "Authorization: Bearer $VEILIO_API_KEY" \
-F "file=@./letter.docx"Alternative JSON : { "fileBase64": "…", "kind": "docx" }.
Réponse (forme) :
{
"kind": "docx",
"text": "…extracted unicode…",
"fieldCount": 8,
"spans": [
{ "index": 0, "type": "name", "value": "Quentin ROUSSEAU", "start": 12, "end": 28 }
]
}Utilisez les valeurs index dans spanSelection.includeIndices. Les offsets (start / end) portent sur text.
Tokenisation sélective (spanSelection)
Optionnel sur POST /documents et POST /tokenize/document (corps JSON ou champ multipart spanSelection comme chaîne JSON).
{
"includeIndices": [0, 2, 3]
}| Champ | Signification |
|---|---|
includeIndices | Si défini, seuls ces index auto-détectés sont tokenisés. Omettre pour conserver toutes les détections. |
La sélection libre de texte arbitraire (y compris non-PII) se fait dans la preview du tableau de bord — pas via l’API.
Stockage + double vue
# Tokenize and store (Idempotency-Key + optional retention + selection)
curl -s -X POST "$VEILIO_BASE_URL/api/documents" \
-H "Authorization: Bearer $VEILIO_API_KEY" \
-H "Idempotency-Key: letter-2026-001-v1" \
-H "Content-Type: application/json" \
-d @- <<EOF
{
"entityId": "letter-2026-001",
"fileName": "letter.pdf",
"fileBase64": "$(base64 -w0 ./letter.pdf)",
"spanSelection": {
"includeIndices": [0, 1, 2]
},
"retention": { "ttlDays": 90 }
}
EOF
# → { "id": "doc_…", "spans": […], "metadata": { "stored": true, "tokenized": N }, "retentionUntil": "…" }
# Batch (max 10)
curl -s -X POST "$VEILIO_BASE_URL/api/documents/batch" \
-H "Authorization: Bearer $VEILIO_API_KEY" \
-H "Content-Type: application/json" \
-d '{"documents":[{"entityId":"a","fileBase64":"…","idempotencyKey":"a-v1"}]}'
# List
curl -s "$VEILIO_BASE_URL/api/documents" \
-H "Authorization: Bearer $VEILIO_API_KEY"
# Masked file (no cleartext)
curl -s "$VEILIO_BASE_URL/api/documents/doc_…" \
-H "Authorization: Bearer $VEILIO_API_KEY"
# Reveal (audited DETOKENIZE)
curl -s "$VEILIO_BASE_URL/api/documents/doc_…?reveal=1" \
-H "Authorization: Bearer $VEILIO_API_KEY"
# Delete blob + crypto-shred related vault tokens
curl -s -X DELETE "$VEILIO_BASE_URL/api/documents/doc_…" \
-H "Authorization: Bearer $VEILIO_API_KEY"Le multipart est pris en charge : champ file + entityId (+ fileName, kind, spanSelection optionnels).
Tokenize sans état (sans stockage)
Utile lorsque vous conservez le fichier masqué dans votre propre archive :
curl -s -X POST "$VEILIO_BASE_URL/api/tokenize/document" \
-H "Authorization: Bearer $VEILIO_API_KEY" \
-H "Content-Type: application/json" \
-d @- <<EOF
{
"entityId": "letter-2026-001",
"fileBase64": "$(base64 -w0 ./letter.pdf)",
"spanSelection": { "includeIndices": [0, 1] }
}
EOFLa réponse inclut fileBase64 (masqué), spans[] (type, entityId, mask, vaultMask optionnel) et layout (inplace ou overlay). Conservez spans si vous appellerez /detokenize/document plus tard sans stockage Veilio.
curl -s -X POST "$VEILIO_BASE_URL/api/detokenize/document" \
-H "Authorization: Bearer $VEILIO_API_KEY" \
-H "Content-Type: application/json" \
-d '{"fileBase64":"…","spans":[…],"reason":"DPO review"}'Champs détectés (V1)
Les détecteurs automatiques couvrent : e-mail, téléphone, IBAN, NIR, SIREN/SIRET, TVA, codes postaux français (+ ville si présente), noms de personnes (Prénom NOM), lignes de rue françaises. Mêmes détecteurs pour PDF, DOCX, XLSX et autres types pris en charge.
Dans le flux de téléversement du tableau de bord, vous pouvez aussi ajouter vos propres sélections : exclure une détection, ou sélectionner tout texte dans le document (même s’il ne s’agit pas de PII classique) et le marquer pour tokenisation. Cet outil de sélection interactif est réservé au tableau de bord (non disponible via l’API).
Besoin d’un détecteur personnalisé ou d’un type de champ spécifique à votre secteur ? Dites-le nous — nous pouvons le prioriser.
Contactez-nous pour un détecteur spécifique
Tableau de bord
Sous Fichiers → Documents (/dashboard/data) :
- Téléversez un fichier et lancez Analyze PII
- Grande boîte de dialogue : mise en page du document (gauche) + détections (droite)
- Excluez des champs, ou passez en mode Text pour ajouter une sélection (tout span, y compris non-PII)
- Tokenize and store
Rôle VIEWER : liste et vue/téléchargement masqué uniquement.
SDK
| Package | Version | Helpers |
|---|---|---|
@veilio/sdk (npm) | 1.3.0+ | previewDocument, tokenizeDocument, storeDocument, getDocument, deleteDocument, … |
veilio-sdk (PyPI) | 1.4.0+ | preview_document, tokenize_document, store_document, get_document, delete_document, … |
OpenAPI : docs/gitbook/openapi.yaml (également référencé depuis la Référence API).
Ops
- SaaS : définissez
VEILIO_DOCUMENTS_DIRsur un volume Coolify persistant (défaut./data/documents). - On-prem : pointez la même variable env vers le disque client ; Veilio garde vault + métadonnées, le blob reste local.
- La suppression shred les jetons vault liés aux spans du document (quota : jetons actifs).
- Rétention : passez
retention.ttlDaysouretention.retentionUntilau stockage. Cron :
curl -s -X POST "$VEILIO_BASE_URL/api/internal/documents/auto-shred?purge=1" \
-H "Authorization: Bearer $VEILIO_CRON_SECRET"- Quota disque (optionnel) :
VEILIO_DOCUMENTS_QUOTA_BYTES— le stockage renvoie413 DOCUMENTS_QUOTA_EXCEEDEDlorsque dépassé. - Monitoring :
GET /api/internal/documents/stats(BearerVEILIO_CRON_SECRET) → nombre/octets live + shredded en attente de purge. - Délai de grâce purge : les lignes soft-shred sont supprimées définitivement après
VEILIO_DOCUMENTS_PURGE_GRACE_DAYS(défaut 30) lorsquepurge=1. - OCR (PDF scanné + PNG/JPEG) : définissez
VEILIO_OCR_ENABLED=1. Optionnel :VEILIO_OCR_LANGS=fra+eng(défaut),VEILIO_OCR_MAX_PAGES=10(PDF),VEILIO_OCR_SCALE=2(raster PDF),VEILIO_OCR_CACHE_DIR(cache traineddata ; défaut{VEILIO_DOCUMENTS_DIR}/.ocr-cache, repli/tmp). Le clair reste sur le serveur (Tesseract.js). Les masques sont peints en overlay sur le scan/l’image. Le premier téléchargement OCR nécessite HTTPS sortant pour récupérer les données de langue.
Erreurs (documents)
| HTTP | Code | Signification |
|---|---|---|
| 400 | VALIDATION_ERROR | Fichier / entityId manquant / spanSelection invalide |
| 403 | FORBIDDEN | VIEWER ne peut pas tokeniser, preview, reveal ou delete |
| 413 | PAYLOAD_TOO_LARGE | Plus de 8 Mo |
| 422 | NO_TEXT | Scanné / pas d’Unicode et OCR désactivé |
| 422 | OCR_FAILED | OCR activé mais sans texte exploitable |
| 422 | UNSUPPORTED_FORMAT | Type non accepté |
| 404 | NOT_FOUND | ID de document inconnu ou shred |