Forskning viser hvor persona-prompting fungerer og når det slår tilbake

«Du er en ekspert»-persona-oppfordring kan skade ytelsen like mye som den hjelper. En ny studie viser at persona-spørring forbedrer tilpasningen til menneskelige forventninger, men kan redusere faktisk nøyaktighet på kunnskapstunge oppgaver, med effekter som varierer etter oppgavetype og modell. Takeaway er at persona-spørring fungerer bedre på noen typer oppgaver enn i andre.

Persona Spørring

Persona-spørring er en vanlig måte å forme hvordan store språkmodeller reagerer, spesielt i applikasjoner der tone og tilpasning til menneskelige forventninger betyr noe. Det er mye brukt fordi det forbedrer hvordan utdataene leses og føles. Gitt hvor utbredt persona-tilskyndelse er, kan det komme som en overraskelse at den faktiske effekten på ytelsen forblir uklar, ettersom tidligere forskning viser inkonsekvente resultater, noe som gjør teknikken i tvil om den hjelper eller skader.

Forskerne konkluderte med at persona-prompting verken generelt sett er fordelaktig eller skadelig, og at effekten avhenger av typen oppgave.

De fant:

• Det forbedrer justeringsrelaterte utganger som tone, formatering og sikkerhetsatferd
• Persona-spørring forringer ytelsen til oppgaver som er avhengige av faktisk nøyaktighet og resonnement

Basert på dette introduserer forfatterne en metode kalt PRISM (Persona Routing via Intent-based Self-Modeling), som bruker personas selektivt, ved å bruke intensjonsbasert ruting i stedet for å behandle personas som en standardinnstilling. Funnene deres viser at persona-prompting fungerer best som et betinget verktøy og gir en bedre forståelse av når persona-prompting hjelper og når det bør unngås.

Håndtere atferdssignaler

I del tre av artikkelen sier forskerne at ekspertpersonas har “nyttige atferdssignaler”, men at naiv bruk av persona forårsaker skader så mye som det hjelper. De sier at dette reiser spørsmålet om disse fordelene kan skilles fra skadene og bare brukes der de forbedrer resultatene.

Atferdssignaler påvirker LLM-utgang. Disse signalene er grunnen til at persona-prompting fungerer. De driver forbedringer i tone, struktur, sikkerhetsatferd og hvor godt svarene samsvarer med forventningene. Uten dem ville det ikke vært noen fordel med persona-spørring.

Likevel, i et tilsynelatende paradoks, viser papiret at de samme signalene forstyrrer oppgaver som avhenger av faktisk nøyaktighet og resonnement. Det er derfor avisen behandler dem som noe å administrere, ikke maksimere.

Disse signalene inkluderer:

• Stilistisk tilpasning og tonetilpasning: Vedta en profesjonell eller kreativ stemme.
• Strukturert formatering: Gir trinnvise eller tekniske layouter.
• Formatoverholdelse: Hjelper modellen med å følge komplekse strukturer, som profesjonelle e-poster eller trinnvise STEM-forklaringer.
• Følgende hensikt: Fokusere modellen på brukerens underliggende mål, spesielt i oppgaver som datautvinning.
• Sikkerhetsavslag: Identifisere og avslå skadelige forespørsler mer effektivt ved å ta i bruk en “sikkerhetsovervåker”-rolle.

Persona-prompt vinner

Avisen fant at personanmodninger var en seier i fem av åtte kategorier av oppgaver:

1. Utvinning: +0,65 poengøkning.
2. STEM: +0,60 poengøkning.
3. Begrunnelse: +0,40 poengøkning.
4. Skriving: Forbedret gjennom bedre stilmessig tilpasning.
5. Rollespill som domeneekspert: Forbedret gjennom bedre tonetilpasning.

Persona-spørringen vant i kategoriene ovenfor fordi de handler mer om stil og klarhet i stedet for om svaret er riktig for fakta og kunnskap. De fant også at jo lengre og mer detaljert persona-forespørselen er, desto sterkere blir innrettingen og sikkerhetsatferden.

Persona-forespørselsfeil

Motsatt forringet ekspertpersona konsekvent ytelsen i de resterende tre (av åtte) kategoriene fordi de er avhengige av presis faktainnhenting eller streng logikk i stedet for stil og klarhet. Årsaken til ytelsesfallet er at å legge til en detaljert ekspertpersona i hovedsak “distraherer” modellen ved å aktivere en “instruksjonsfølgende modus” som prioriterer tone og stil.

Aktivering av ekspertpersoner går på bekostning av “faktisk tilbakekalling.” Modellen er så fokusert på å prøve å opptre som en ekspert at den glemmer informasjonen den lærte under den første opplæringen. Det forklarer fallene i nøyaktighet for fakta og matematikk.

Persona-ekspertforespørsler fungerte dårligere i følgende tre kategorier:

1. Matematikk
2. Koding
3. Humaniora (memorert faktakunnskap)

Papiret bemerker at på en av kunnskapsbenchmarkene (MMLU) falt nøyaktigheten fra en 71,6 % baseline til 68,0 % selv med “minimum” persona, og falt ytterligere til 66,3% med den “lange” persona.

De forklarte sikkerhetsforbedringene:

“Mer detaljerte personabeskrivelser gir rikere justeringsinformasjon, og forsterker instruksjonsjusteringsadferd proporsjonalt.”

Og viste hvorfor faktanøyaktighet får en hit:

«Persona skader føropplæringsoppgaver
Under foropplæring tilegner språkmodeller seg evner som memorering av faktakunnskap, klassifisering, gjenkjennelse av enhetsforhold og nullskuddsresonnement. Disse evnene kan nås uten å være avhengige av instruksjonsjustering, og kan bli skadet av ekstra instruksjonsfølgende kontekst, for eksempel ekspert-persona-oppfordringer.»

Konklusjoner nådd

Forskerne konkluderer med at persona-spørring konsekvent forbedrer innrettingsavhengige oppgaver som skriving, rollespill og sikkerhetsatferd, samtidig som ytelsen på oppgaver som er avhengig av foropplæringsbasert kunnskap, inkludert matematikk, koding og generelle kunnskapsreferanser, forringes.

De fant også at en modells følsomhet for personas skalerer med treningen. Modeller som er mer optimalisert for å følge instruksjoner er mer “styrbare”, noe som betyr at de får det største løft i sikkerhet og tone, men de lider også av de største fallene i faktisk nøyaktighet.

Takeaways

1. Vær selektiv med å bruke persona-forespørsler:

• Ikke bruk “Du er en ekspert” som standard
• Behandle personanmodning som situasjonsbetinget. Å bruke den overalt introduserer skjulte nøyaktighetsrisikoer.

2. Persona-forespørsel er effektiv for:

• Skrivekvalitet
• Tone
• Formatering og organisering
• Lesbarhet

3. Oppgaver som ikke drar nytte av persona-spørring, og som i stedet bør bruke nøytrale forespørsler for å bevare nøyaktigheten:

• Faktasjekking
• Statistikk
• Tekniske forklaringer
• Logikktunge utganger
• Forske
• SEO analyse

4. Husk disse tre funnene:

• Bruk persona-forespørsel for å generere innhold, og bytt deretter til en ikke-persona-forespørsel (eller en strengere modus) for å bekrefte fakta.
• Svært detaljerte “ekspert”-oppfordringer styrker tone og klarhet, men reduserer fakta- og kunnskapsnøyaktighet.
• «Du er en ekspert»-oppfordringer kan føre til at en modell prioriterer å høres riktig ut fremfor å være riktig.

5. Match ledetekstene dine til oppgaven:

• Innholdsskaping: Persona hjelper
• Analyse og validering: Persona gjør vondt

Den mest effektive tilnærmingen er ikke én forespørsel, men en arbeidsflyt som bytter meldinger avhengig av oppgaven, lik forskerens PRISM-tilnærming.

Les forskningsoppgaven:
Ekspertpersonas forbedrer LLM-justering, men skadenøyaktighet: Bootstrapping Intent-Based Persona Routing med PRISM

Utvalgt bilde av Shutterstock/ImageFlow