📄️ 🔴 Soft prompty
Prompt tuning(@lester2021power), alternativa k fine tuningu modelu(@khashabi2021prompt), zmrazí váhy modelu a aktualizuje parametry promptu. Výsledný prompt je "měkký prompt" (ang. soft prompt).
📄️ 🔴 Interpretovatelné soft prompty
Soft prompty jsou posloupností vektorů, které neodpovídají žádným skutečným tokenům ve slovníku. To ztěžuje interpretování promptu. Přesto se o to můžeme pokusit mapováním vektorů na nejbližší tokeny ve slovníku. Promítnuté soft prompty jsou však často nevyzpytatelné; mohou dobře řešit úlohy, ale promítají se na libovolné tokeny ve slovníku(@khashabi2021prompt).