Rešerše poetry papers na Zoteru

[ptakopysk]

Rudolf přidal na Zotero nějaké další poetry papers z loňského ICCC:
https://www.zotero.org/groups/5184983/poetrygeneration/items/AR7KTGPK

• On the power of special-purpose GPT models to create and evaluate new poetry in old styles
• Creative Data Generation: A Review Focusing on Text and Poetry
  Na první pohled se zdá, že oba stojí za zkouknutí.

Prosil bych je zkouknout a sem nebo na Slack napsat stručně co jste se tam dozvěděli.

[jinymusim]

• On the power of special-purpose GPT models to create and evaluate new poetry
  in old styles

GPT-3 / GPT-3.5 Použití. Finetuning pro nalezení stylu autora už od 300 básní!
Pro nalezení tématického začlenění a nějaké sumarizace, GPT-3.5 byl prompnutej ať zesumarizuje a ať vybere téma z listu. Trénování poté děláno na GPT-3 tím, že začne autorem (Jméno, Narození, Úmrtí, Země), následně téma a sumarizace. To dohromady dává prompt (Pro následující generování). Poslední je samotná báseň (Completion v GPT-3).

Určitě by tedy šel použít větší model a dát tam tyhle věci + Metrum a Rýmové schéma a mohlo by to být zajímavé.
Problém je, že používají GPT-3-Davinci, který má 175B parametrů. Stačili ale jen 4 epochy

[jinymusim]

Zkouším dostat z modelů kategorie, ale nic moc.

Zkoušené modely: h2oai/h2ogpt-4096-llama2-7b-chat, simecek/cswikimistral_0.1, mistralai/Mistral-7B-Instruct-v0.2, NickyNicky/Mistral-7B-OpenOrca-oasst_top1_2023-08-25-v2

Problém je asi v tom, že to nepozná věnování vrchlickému a další věci. Metadata by tedy mohla pomoci

[jinymusim]

• Creative Data Generation: A Review Focusing on Text and Poetry

Tento článek je spíše review toho co se děje okolo Creative Generation. Ohledně poezie zde není mnoho, pouze to, že se liší od prózy rytmem a rýmem. Ukazuje na několik druhů básní jako Haiku, Sonet a Lymerica. Metody jsou pouze zmíněné, ne moc do detailu. Zajímavé je RNN RL podle autorova stylu. Je tam zmíněno i řešení s fill mask na templatu. To je ještě filtorváno tak, ať metrum sedí.