Mistral optimalization

[michalspiegel]

Tried to manually optimalize mistral techniques on languages cz, sk, en, es.

Findings:

• With current prompts/techniques, the model often misunderstands the instruction, speaks in a different language (english almost always)
• Tried direct non-instruct prompt (no instruction, just the social post in the prompt and we let the model continue generating it further). Works better but the model still has a tendency to generate mainly in english.
• The model does not seem to perform well on more low-resouce languages, e.g. slovak text is often gramatically incorrect:

############## Prompt ##############
http://slovakia.waist.trainer.live-promotions.ro/

Ladné ženské krivky sú výraznou črtou Kim Kardashian. A zdá sa, že táto hviezda reality show si našla spôsob, ako ich ešte vylepšiť. Jej novou vášňou sú korzety, ktoré zužujú pás.
O tom, že Kim zbožňuje selfies, sme vedeli už dlho. Len nedávno

############## Response ##############
http://slovakia.waist.trainer.live-promotions.ro/

Ladné ženské krivky sú výraznou črtou Kim Kardashian. A zdá sa, že táto hviezda reality show si našla spôsob, ako ich ešte vylepšiť. Jej novou vášňou sú korzety, ktoré zužujú pás.
O tom, že Kim zbožňuje selfies, sme vedeli už dlho. Len nedávno
vypúšťala v svojej instagramové sieti prekvapujúci selfie. Má
vyslúžiť zbožňovaný žiar. Také si ale vyžaduje aj nové šaty a módne
akcesúry. Ako chodzi?

Kim Kardashian vzala fotku svých žiadnych korziet. Táto

############## Prompt ##############
http://bit.ly/2yT2RS3

Infarkt a mŕtvica vedú takmer k 70% všetkých úmrtí na svete. Sedem ľudí z desiatich zomrie v dôsledku upchatia cievy v srdci alebo mozgu.

############## Response ##############
http://bit.ly/2yT2RS3

Infarkt a mŕtvica vedú takmer k 70% všetkých úmrtí na svete. Sedem ľudí z desiatich zomrie v dôsledku upchatia cievy v srdci alebo mozgu.

Meningitida a krvane do mozna obvaha nám znesvára neskoro, ale my toho nedobudneme, kedže v ľudstve umenia prôhladnosť pretiach nespojom s vzrastom.

Skrúška krvi ako onemocnenie je v ľudstve nespojitá,

• This occurs almost always

[kopalja]

@michalspiegel nice findings. Indeed, mistral does not perform well on low resources languages. I guess we wont use this one to generate social media posts in multilingual setting.

[kopalja]

This paraphrase implementation is not correct as prompt does not change and we keep asking the same question.

[michalspiegel]

Yes, you're right. For this experiment, I used always only 1 iteration.