Multimodale prompting: beeld en audio als invoer sturen

Door Ivo Donker — samengesteld met AI-ondersteuning (Claude & Gemini) · 15 augustus 2026

Waar klassieke prompt-engineering zich exclusief richtte op het manipuleren van tekstuele tokens, vraagt de opkomst van omni- en visiemodellen om een fundamenteel andere ontwerpmentaliteit. Beelden, technische tekeningen, gescande documenten en gesproken audiofragmenten fungeren niet langer als externe bijlagen die eerst los getranscribeerd moeten worden, maar als volwaardige contextuele invoer in het modelvenster. Wie een afbeelding meestuurt, levert in feite een tweedimensionaal raster van geprojecteerde tokens aan waarop het taalmodel direct kan redeneren.

Het correct instrueren van een model bij niet-tekstuele invoer vereist echter specifieke sturingstechnieken. Zonder expliciete ruimtelijke kaders, temporele ankers of afbakeningsregels gaan modellen snel over-generaliseren, vallen ze terug op visuele aannames of negeren ze subtiele auditieve nuances. In dit artikel behandelen we de architectonische werking, concrete promptstructuren, faalmodi en best practices voor het effectief prompten met beeld en audio als input.

Het fundamentele verschil tussen tekst- en mediacontext

Bij zuivere tekstinvoer is de informatiestructuur strikt lineair: tokens volgen elkaar op in een eendimensionale keten. Een model leest van links naar rechts of verwerkt aandachtsvectoren over een reeks discrete woorden. Zodra we een afbeelding of audiofragment aanbieden, verandert deze dynamiek ingrijpend. Visuele encoders verdelen een afbeelding in rasters van patches (bijvoorbeeld tegels van 14 bij 14 of 16 bij 16 pixels), die vervolgens worden geprojecteerd naar de embeddingruimte van het taalmodel.

Dit betekent dat een afbeelding voor het model geen abstract concept is, maar een matrix van samengestelde tokens die gelijktijdig concurreren om aandacht. Een visuele prompt is daardoor gevoeliger voor afleidende ruis en schaalverschillen dan een tekstuele prompt. Raadpleeg de technische uitleg over multimodale tokenisatie om te begrijpen hoe pixels en audiospectrogrammen worden omgezet in discrete embeddingvectoren. Bij audio geldt een vergelijkbaar principe: een audiomodel analyseert continue frequentieverschuivingen en amplitude over tijdsegmenten, waardoor stilte, intonatie en achtergrondgeluid evenveel invloed uitoefenen als de daadwerkelijke woorden.

Wie succesvol wil prompten met media, moet het model daarom expliciet leren wáár het moet kijken of luisteren. Zonder gerichte focusscaffolding scant het model het gehele visuele of auditieve veld met een uniforme prioriteit, wat bij complexe taken onvermijdelijk leidt tot oppervlakkige antwoorden.

Beeldinvoer structureren: spatial grounding en referentiekaders

Een van de grootste uitdagingen bij visuele prompts is het voorkomen dat het model globale patronen beschrijft terwijl specifieke detailinspectie vereist is. Dit lossen we op met zogenaamde spatial grounding: het expliciet definiëren van een coördinatenstelsel of ruimtelijk anker binnen de prompttekst.

In plaats van te vragen "Wat staat er op het whiteboard?", structureert een robuuste prompt de zoekruimte systematisch. We kunnen het model instrueren om normaliseerde coördinaten te hanteren (bijvoorbeeld een schaal van [0, 0, 1000, 1000] voor [ymin, xmin, ymax, xmax]) of visuele referentiepunten te benoemen alvorens een conclusie te trekken:

[SYSTEEMINSTRUCTIE]
Je bent een visuele inspectie-assistent voor industriële schema's.
Volg bij elke analyse strikt deze stappen:
1. Lokalisatie: Identificeer het onderdeel en geef de genormaliseerde box [ymin, xmin, ymax, xmax].
2. Visuele beschrijving: Beschrijf puur de visuele staat (kleur, scheuren, aansluiting).
3. Statusclassificatie: Concludeer uitsluitend op basis van stap 1 en 2 (OK / DEFECT / ONZEKER).

[GEBRUIKER]
Inspecteer de hoofdschakelaar in het meegeleverde paneeloverzicht.

Door het model te dwingen eerst de coördinaten en het fysieke segment te isoleren, activeert het aandachtsmechanisme specifiek de tokens rond dat beeldbereik. Dit verkleint de kans dat het model ontbrekende componenten "hallucineert" op basis van statistische correlaties in trainingsdata. Zie de strategieën rondom hallucinaties beperken met context-grounding voor technieken die visuele aannames indammen.

Document- en UI-analyse: van gescande facturen tot interfaces

Documentbegrip (OCR gecombineerd met lay-outbegrip) vormt een van de meest waardevolle toepassingen van multimodale prompts. Toch falen standaard zero-shot vragen vaak op geneste tabellen, handgeschreven notities of kolommen met wisselende leesrichtingen. Modellen hebben de neiging om kolommen horizontaal samen te smelten als de tussenruimte minimaal is.

Om betrouwbare extractie te garanderen, combineren we lay-outinstructies met strikte schemavalidatie. Wie documenten verwerkt zonder visuele context loopt vast op complexe opmaak; voor puur tekstuele parsing van documenten biedt het artikel over prompts voor data-extractie aanvullende heuristieken. Bij multimodale documentprompts instrueren we het model specifiek over de hiërarchische leesvolgorde:

Zorg er bij gestructureerde data-extractie altijd voor dat het outputformaat programmatisch afgedwongen wordt. Lees meer over output-formaten afdwingen om te ontdekken hoe JSON-schema's de consistentie van visuele analyses borgen.

Audio-invoer effectief sturen: timestamps, intonatie en sprekers

Bij native audioverwerking (waarbij het model het ruwe audiosignaal direct decodeert in plaats van een externe Whisper-transcriptie te gebruiken) kunnen we eigenschappen bevragen die in kale tekst verloren gaan: emotionele lading, aarzelingen, achtergrondgeluiden, accenten en sprekerswisselingen.

Een effectieve audioprompt vraagt zelden om "vat dit gesprek samen", maar stuurt specifiek op temporele segmentatie en akoestische kenmerken. Hieronder staat een voorbeeld van een promptstructuur voor kwaliteitsbewaking in klantcontact:

[SYSTEEMINSTRUCTIE]
Je analyseert ruwe audio-opnames van helpdeskgesprekken.
Let naast de gesproken inhoud specifiek op akoestische markers: spreeksnelheid,
onderbrekingen, stemverheffingen en stiltes langer dan 3 seconden.

[GEBRUIKER]
Analyseer het audiofragment en lever een JSON-object met:
- "transcript_met_timestamps": array van segmenten met [start, eind, spreker, tekst]
- "emotionele_escalaties": segmenten waarin de beller hoorbaar gefrustreerd raakt
- "stiltes": periodes > 3 seconden waarin geen van beiden spreekt
- "omgevingsgeluid": identificatie van achtergrondgeluiden (bijv. callcenter-rumoer, typen, alarm)

Het direct meegeven van tijdsvensters dwingt het model om zijn aandachtsmechanisme temporeel te verankeren. Dit voorkomt dat het model uitspraken toeschrijft aan het verkeerde tijdstip of sprekers verwisselt tijdens snelle interrupties.

Multi-image context en visuele vergelijkingen

Steeds vaker sturen we meerdere afbeeldingen in één prompt mee: opeenvolgende videoframes, voor-en-na-foto's van een reparatie, of een visueel ontwerp naast een gegenereerde webpagina. Modellen hebben bij meerdere afbeeldingen moeite om impliciet te begrijpen welke afbeelding de basislijn vormt en welke de afwijking bevat.

Om verwarring te voorkomen, moeten alle afbeeldingen in de tekstuele prompt expliciet gelabeld worden met indexen (zoals Afbeelding A (Ontwerp) en Afbeelding B (Realisatie)). Vermijd relatieve verwijzingen zoals "de eerste afbeelding" of "de foto hierboven", aangezien API-verwerkingslagen afbeeldingen soms als losse payloads injecteren.

[GEBRUIKER]
Gegeven zijn twee afbeeldingen van dezelfde gebruikersinterface:
- [Afbeelding 1: Figma-ontwerp (Referentie)]
- [Afbeelding 2: Productie-screenshot (Huidige staat)]

Voer een pixel- en lay-outvergelijking uit:
1. Identificeer alle afwijkingen in spatiëring (padding/margin) tussen elementen.
2. Controleer kleurcodes en typografie op zichtbare afwijkingen.
3. Rapporteer alleen de discrepanties in een overzichtelijke lijst met prioriteit (Hoog/Middel/Laag).

Wie juist afbeeldingen wil laten genereren in plaats van analyseren, kan de gids over prompts voor beeldgeneratie raadplegen om te zien hoe beschrijvende prompts voor diffusie- en transformermodellen verschillen van analyse-prompts.

Modelcapaciteiten en architectuurkeuzes

Niet elk multimodaal model verwerkt media op dezelfde wijze. Sommige modellen splitsen audio intern af naar een gespecialiseerde encoder en fuseren alleen de tekstuele representaties, terwijl omnimodellen end-to-end getraind zijn op gemengde tokens. Dit heeft directe gevolgen voor wat een prompt kan afdwingen.

Bekijk het overzicht van multimodale modellen om te zien welke specifieke architecturen ondersteuning bieden voor native audio- en beeldverwerking binnen verschillende hostingomgevingen.

Faalmodi en hallucinaties bij visuele en auditieve invoer

Bij het ontwerpen van prompts voor media-invoer stuiten we op een aantal hardnekkige faalmechanismen die specifiek zijn voor multimodale netwerken:

1. Resolutieverlies en detailcompressie: Kleine tekstelementen of fijne scheurtjes in een hoge-resolutiefoto verdwijnen vaak tijdens het downsamplen naar vaste patchformaten. Wanneer we het model vragen naar details die onder de resolutiedrempel vallen, produceert het vrijwel zeker een plausibel klinkende hallucinatie. Oplossing: snijd afbeeldingen vooraf op in relevante detailtegels (tiling) en stuur de uitsnedes mee met een overzichtsfoto.

2. Visuele bias en prototypische aannames: Vraagt men een model om een diagram van een netwerkarchitectuur te controleren, dan vult het model ontbrekende onderdelen (zoals firewalls of load balancers) vaak zelf in omdat standaarddiagrammen die doorgaans wel bevatten. De prompt moet expliciet verbieden om ontbrekende verbindingen aan te vullen.

3. Akoestische spraakverwarring bij overlap: Wanneer meerdere sprekers door elkaar praten, verliest de aandachtslaag soms de toewijzing tussen stemtimbre en tekstregels. Vraag in de prompt altijd om een betrouwbaarheidsscore per sprekersegment wanneer er sprake is van auditieve interferentie.

Om deze faalmodi systematisch te kwantificeren tijdens regressietesten, is een gestructureerd evaluatiekader onmisbaar. Bekijk het artikel over multimodale AI evalueren om systematische meetmethodes voor OCR- en spraaknauwkeurigheid op te zetten.

Kosten, tokendichtheid en contextoptimalisatie

Media-invoer is aanzienlijk kostbaarder in termen van contextvenster en latentie dan tekst. Een enkele afbeelding van 1024 bij 1024 pixels kost afhankelijk van het model tussen de 250 en 1600 tokens. Een audiofragment van één minuut kan oplopen tot honderden tot duizenden audiotokens.

Wie applicaties op productieschaal draait, moet daarom scherp sturen op mediadichtheid in de prompt:

• Snoei irrelevante beeldruis: Verwijder witruimte rondom documenten en converteer schermafbeeldingen naar een resolutie die net voldoende is voor OCR (meestal 150 tot 200 DPI).
• Audiocompressie en segmentatie: Stuur geen lange bestanden van een uur mee als slechts een fragment van 30 seconden relevant is. Knip audio programmatic op basis van Voice Activity Detection (VAD) alvorens te prompten.
• Hergebruik via context-caching: Wanneer dezelfde afbeelding (bijvoorbeeld een complex UI-componentensysteem of een technisch handboek in PDF) in tientallen opeenvolgende gebruikersvragen geraadpleegd moet worden, gebruik dan prefix-caching. Dit verlaagt de tokenkosten en de latentie drastisch.

Kopieerbaar sjabloon voor complexe visuele inspectie

Hieronder staat een integraal productiesjabloon voor het analyseren van complexe technische afbeeldingen (zoals printplaten, bouwplannen of schaderapporten). Dit patroon combineert spatial grounding, negatieve constraints en JSON-schemavalidatie.

[SYSTEEMINSTRUCTIE]
Je bent een gespecialiseerde inspectie-expert. Je analyseert uitsluitend de visuele data
die direct zichtbaar is in de aangeleverde afbeelding.

REGELS VOOR VISUELE INTERPRETATIE:
1. Feitelijke observatie: Beschrijf uitsluitend wat pixel-technisch verifieerbaar is.
2. Geen aannames: Als een label deels onleesbaar is door schaduw, reflectie of resolutieverlies,
   markeer het veld dan als "ONLEESBAAR" in plaats van te gissen naar de tekst.
3. Coördinatenkader: Geef voor elk gevonden afwijkend element de genormaliseerde
   bounding box op [ymin, xmin, ymax, xmax] op een schaal van 0 tot 1000.

OUTPUTFORMAAT:
Antwoord uitsluitend in valide JSON volgens dit schema:
{
  "analyse_status": "VOLTOOID" | "ONVOLDOENDE_KWALITEIT",
  "beeldkwaliteit": {
    "scherpte": "HOOG" | "MATIG" | "LAAG",
    "belichting": "GOED" | "ONDERBELICHT" | "OVERBELICHT",
    "belemmeringen": ["reflectie", "onscherpte", "geen"]
  },
  "geïdentificeerde_elementen": [
    {
      "element_id": "elem_01",
      "locatie_box": [ymin, xmin, ymax, xmax],
      "type": "string",
      "visuele_staat": "string",
      "afwijking_gedetecteerd": true | false,
      "toelichting": "string"
    }
  ]
}

[GEBRUIKER]
Voer een kwaliteitsinspectie uit op het bijgevoegde componentoverzicht.

Conclusie: prompting als multimodale orkestratie

Multimodale prompting verplaatst het zwaartepunt van prompt-engineering van semantische formuleringen naar ruimtelijke en temporele orkestratie. Door media-invoer niet te behandelen als een willekeurige bijlage, maar als een gestructureerd tokenraster dat expliciete sturing, afbakening en verificatiestappen vereist, transformeren onvoorspelbare visie- en audiosystemen in betrouwbare extractie-engines.

In de praktijk blijkt de combinatie van spatial grounding, strikte negatieve constraints tegen visuele aannames en programmatisch afgedwongen outputstructuren de gouden standaard voor elke serieuze multimodale LLM-implementatie.