Přeskočit na hlavní obsah

🟢 Chain of Thought Prompting

Chain of Thought (CoT) prompting1 je nedávno vyvinutá prompting metoda, která vybízí LLM k vysvětlení jeho uvažování. Níže uvedený obrázek1 ukazuje standardní prompt s několika shoty (vlevo) v porovnání s promptem myšlenkového řetězce (vpravo).

klasický prompting vs CoT (Wei et al.)

Hlavní myšlenka CoT spočívá v tom, že ukázáním několika málo záběrů exemplářů, kde se argumentace vysvětluje v exemplářích, LLM také ukáže proces uvažování při odpovídání na prompt. Toto vysvětlení uvažování často vede k přesnějším výsledkům.

Příklad​

Zde je několik ukázek. První ukazuje jak GPT-3 (davinci-003) nedokáže vyřešit jednoduchou slovní úlohu. Druhá ukazuje, jak GPT-3 (davinci-003) úspěšně řeší stejnou úlohu pomocí výzvy CoT.

Nesprávně​

Správně​

Výsledky​

Ukázalo se, že technologie CoT je účinná při zlepšování výsledků v úlohách, jako je např. aritmetických úlohách, úlohách zdravého rozumu a symbolického uvažování1. Zejména pohotová PaLM 540B2 dosahuje 57% přesnosti v řešení úlohy GSM8K3 (v té době SOTA).

Comparison of models on the GSM8K benchmark (Wei et al.)

Omezení​

Důležité je, že podle Wei et al. "CoT přináší zvýšení výkonu pouze při použití modelů s parametry cca 100B". Menší modely zapisovaly nelogické myšlenkové řetězce, což vedlo k horší přesnosti než standardní prompting. Modely obvykle získávají nárůst výkonu díky podnětům CoT způsobem úměrným velikosti modelu.

Poznámky​

Při psaní této kapitoly nebyly poškozeny doladěny žádné jazykové modely 😊.

  1. Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩
  2. Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). PaLM: Scaling Language Modeling with Pathways. ↩
  3. Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. (2021). Training Verifiers to Solve Math Word Problems. ↩