Oto wiersz stworzony przez model AI, trenowany przez 2 i pół dnia.
Spójrzcie w tę głąbię wieczności.
Nie możliwe jest stwierdzenie,
czy rzecz się zakończyła,
ponieważ zakończono jedynie część końca.
Dlatego też na leży przyjąć,
że przyjęcie zostało przyjęte.
I tak oto prze minęło.
Albo jeszcze nie.
To nie clickbait, fachowo taki tytuł raczej nazwiemy atraktorem.
Na takiej zasadzie ukazanie tego faktycznie, ma pewien sens.
Trochę właśnie o to chodziło, o zwrócenie uwagi, że w gruncie rzeczy nadal w trybie klasycznego czatu, rozmawiamy często z absurdalnie dużą bazą, często trafnych dopasowań.
Tytuł jest letko clickbaitem, bo zasadniczy problem z którym się tu mierzymy, to śmiesznie drobniutka karta jak na trenowanie modeli językowych. To jak by składać samochód z drewna, i mówić, że motoryzacja nie ma sensu ;). Choć faktycznie widać tu jak postępuje trening AI, co może być dla kogoś ciekawym eksperymentem. A, i sporo dziwności może wynikać z zanieczyszczenia materiału wejściowego.
i jeszcze bonus, tekst, jaki wg wersji trenowanej przez niecałe 24 godziny powinien mieć artykuł naukowy:
Mięk. Mięknik. Miękowo. Mię.
Trzy przedości i jedno zanim.
Wybrzmrok.
Podgłos.
Doszum.
Nie.
Jeszcze nie.
Jeszczniej.
Przew.
Przewo.
Przewisto.
Przewiś.
Ś.
Szel.
Szelma.
Szelmot.
Szelmotnia.
Tra.
Trom.
Tram.
Rzecz ta, jakoby była i nie była, przechodzi przez pośród.
Na podstawie i podstawnościach i mię dzy razami
zacho wało się prze coś.
Nie jest to całkiem, ale też nie zgoła.
Przy bliżeniu do nie wiadomo,
następuje rozszczekanie.
O wykazaniu
Ba dano prze kilka dniowości:
pier — sześć,
dru — mniej,
trze — coś.
Wynikano, że prze miały podobne do niepodobnych.
Z kolei pod wynik nie wykazał się całkowicie.
Przezo, że było,
było też niebyło.
wsadem był kawałek wikipedii polskiej, nie cały, około 200 mega tekstu i ixml, kilkadzieścia mega pobranych ustaw, i innychdokumentów prawnych które miałem pod ręką, wypisy z ksiąg wieczystych i inne smakowitości
takie jak newslettery, oferty czy tyfloświat.
Na ostatni, nie pełny cykl, mniej niż 12 godzin, trafiła znana nam biblioteka 60 tysięcy plus książek, w sumie wtedy dopiero zaczął realnie uczyć się języka.
zestaw danych nie był czyszczony i preparowany, wszystkie przypisy, błędy OCR i groch z kapustą:
Finalny prompt: “Napisz dowolny wiersz, zachowaj strukturę rytmiczną, sylabiczną języka polskiego”
Tak prezentuje się Pani Mini llama.
dla ciekawskich parametry:
Layers 12
Hidden 512
Heads 6
FFN 2048
RoPE
RMSNorm
SwiGLU
Nie pamiętam, czy używałem Grouped Query Attention, w każdym razie dwie sesje z jakimś reinfored na to poszły, w sumie fktycznie mniej niż 3 dni
Żeby nie było, tak prezentuje się pani “MiniLlama”
Parametry:
Layers 12
Hidden 512
Heads 6
FFN 2048
RoPE
RMSNorm
SwiGLU
ale dostał na to tylko 1 dzień, na 8-gigowym quadro.
Leave a Reply