203325986793add2e3e581867bebb13b4cab60b3
from scratch RoBERTa MLM + classifier, seq_len=256 fairseq roberta

 

challenge
"He Said She Said" classification challenge (2nd edition)
submitter
kaczla
submitted
2020-06-13 20:45:28.613868 UTC
original repo
https://git.wmi.amu.edu.pl/s402227/petite-difference-challenge2-pretrained.git / branch roberta_mlm_classifier
publicly available at
git://gonito.net/petite-difference-challenge2 / branch submission-06202
browsable at
https://gonito.net/gitlist/petite-difference-challenge2.git/submission-06202/
clone by
git clone --single-branch git://gonito.net/petite-difference-challenge2 -b submission-06202
file basename
out

test-A / 7e62f76ba32abfb86165908c418fdbb54bcef77b
Metric Score
Likelihood 0.57068
Accuracy 0.69153

dev-1 / befb092ba7041cabe01e7c900caa08ae5566dabb
Metric Score
Likelihood 0.57229
Accuracy 0.69255

worst items

note: the gold standard is taken from the submission itself, not from the challenge data!
# input expected output actual output test-A Likelihood
1 witaj Olga, a widzisz, troszkę Cię nie było u mnie, a ja zacząłem bawić się w fotografa i jeszcze nawet trochę grafiki mi się robi...pozdraw… 1 0.01002382 0.01002
2 Po wielu miesiącach choroby dziecka i chodzenia od drzwi do drzwi gabinetu w końcu trafiłem na Panią doktor. Jej wiedza i podejście do dziec… 1 0.01029159 0.01029
3 moje ego nie urosło, tylko mnie już przerosło, ciąży mi i nade mną, dodatkowo jestem w ciąży. a poczucia humoru to ja nigdy nie miałem. 1 0.01036497 0.01036
4 Poszukuję porady prawnej i ewentualnie wynajmę prawnika.Do prowadzenia mojej sprawy w wydziale rodzinnym i nieletnich.Jestem matką dwóch cór… 1 0.01036875 0.01037
5 Kiedy przestałem być dziewicą ? Oto pytanie, które moi bliscy zadawali sobie od zawsze. Nigdy nie opowiadałem o tym zbyt chętnie, aż 1 0.01051716 0.01052
6 chciałbym miec tak tylko dla siebie ;p bym mi tak tanczyła 1 0.01058179 0.01058
7 Jestem mężatką od 6 lat, mam troje dzieci. Mój wiek to 34 l., a męża 32 l. Mój problem polega na tym, że mój mąż ogląda treści pornograficzn… 1 0.01064023 0.01064
8 Jestem bardzo zadowolony z pobytów w Hotelach Diament (Zabrze, Katowice, Wrocław), przeważnie są to wyjazdy służbowe - bardzo dobre warunki … 1 0.01070902 0.01071
9 do ,,Luki" zaglądam bardzo często. Dla mnie jest to rodzaj przewodnika po moich własnych uczuciach i bardzo chciałbym poznać osobiście tę au… 1 0.01071045 0.01071
10 > O rany ale się rozpisałem Pisz ,pisz.Ja moge czytać i czytać.I chyba nie jestem w tym osamotniona 1 0.01074607 0.01075
11 (...) -3 tygodnie (to dobrze, bo kasowo na dłuższą metę bym nie wytrzymała;) ) Mam długie włosy i mimo, że teoretycznie to co widzimy ... Ma… 1 0.01097908 0.01098
12 Wspaniała , miła dentystka . Nareszcie przestałem się bać leczenia zębów . Wszystkim polecam. Bożena 1 0.01100028 0.01100
13 Witam, chciałbym poprosić o jakąś poradę, jak pozbyć się trądziku. Otóż mam 15 lat i od 2 lat mam duży trądzik. Byłem u ... Rozumiem problem… 1 0.01106170 0.01106
14 (...) Rozumiem problem, bo sama mam krosty na całej twarzy, trochę na ramionach i dekolcie..Mam 13 lat i od 2 lat nie mogę się tego ... , ró… 1 0.01108626 0.01109
15 Witam, chciałbym poprosić o jakąś poradę, jak pozbyć się trądziku . Otóż mam 15 lat i od 2 lat mam duży trądzik. Byłem u ... Rozumiem proble… 1 0.01117298 0.01117
16 Niedawno rozmawiałem z kolegą w Londynie. Pan docent Rejdak jest dobrze tam znany i ceniony bo tam sie szkolił i prowadził badania naukowe. … 1 0.01128251 0.01128
17 ciągle cie widzę, dobrze cię znam i źle się czuje gdy jestem sam...lepiej bym tego nie wyraziła 1 0.01162062 0.01162
18 Mam 23 lata i ostatnio nie mam ochoty na seks z mężem. Jesteśmy krótko po ślubie, a współżyjemy od 4 miesięcy. Na początku ... możliwe, że P… 1 0.01172144 0.01172
19 Gramatyka angielska z humorem Gramatyka angielska z humoremPotrzebuję znaleźć podręcznik do gramatyki z bardzo dużą ilością ćwiczeń iprzykła… 1 0.01172905 0.01173
20 Ja z przyjemnością mogę napisać hotel PARK w Katowicach. Bardzo miła obsługa, zwłaszcza Panie na recepcji. Pokoje też super, jedzenie smaczn… 1 0.01174133 0.01174
21 _________________ Jestem wredny i 1 0.01182318 0.01182
22 Dotychczas wprawdzie nie miałem żadnych problemów z pracą - raczej można powiedzieć, że zawsze spadek na tzw. cztery łapy, ale nie czuję się… 1 0.01186189 0.01186
23 Jestem Anita, 25 lat, widziałem swój profil na JAKJA.PL, widzę 1 0.01187636 0.01188
24 Mam na imię Anita, widziałem dzisiaj swój profil i sta 1 0.01187701 0.01188
25 - Więc dobrze, Justin ja, ja jestem w ciąży.- kiedy to usłyszałem, zaniemówiłem. Nie wiedziałem co powiedzieć. 1 0.01195322 0.01195
26 Obejrzałem raz i drugi nie zamierzam. Przereklamowane i za mocno wypromowane Testosteronem, albo po prostu to dlatego, że nie jestem kobietą… 1 0.01213322 0.01213
27 Miałem zamiar wspomnieć jeszcze o kilku sprawach, jednak nie jestem ani kobietą, ani muzułmanką (chociaż muzułmaninem), więc nie chcę za wie… 1 0.01229215 0.01229
28 Rozumiesz, co jest najważniejsze w życiu. Ja wciąż szukam... Próbuję, i chyba Ty znalazłeś już receptę na wszystko: Popatrzyłem oczami wiary… 1 0.01229857 0.01230
29 Negatywna : nie polecam. wykonywałem... 1 0.01244741 0.01245
30 Witam, jestem młodym grafikiem, moja praca polega na projektowaniu materiałów reklamowych na potrzeby jednej z multi-agencji ubezpieczeniowy… 0 0.98750967 0.01249
31 Witajcie, wlasnie zabieram sie do napisania wypowiedzenia umowy OC komunikacyjnego z PZU. Jak takie wypowiedzenie powinno wygladac? Okres ub… 1 0.01251090 0.01251
32 Negatywna : też zaufałem pani liwi -... 1 0.01255566 0.01256
33 “Pamiętam, że zazwyczaj gdy budziłem się rano, pierwszą rzeczą którą brałem była 1 0.01255898 0.01256
34 Przez 15 lat miałem kłopoty z krwawieniem z nosa, byłem u przeróżnych laryngologów (w Polsce i Niemczech), aż w końcu trafiłem do Pana Sokoł… 1 0.01256899 0.01257
35 Do tematu będę zaglądał co tydzień, ewentualnie dwa (chyba że będę miał wolny czas to szybciej) wpisując wszystkich graczy. 0 0.98737663 0.01262
36 Czym może być spowodowany brak wytrysku i czym można to leczyć? Zanim poznałem dziewczynę były momenty częstej masturbacji. Teraz poznając d… 1 0.01266872 0.01267
37 , ale będę czerpał świeże powietrze wprost z lasu otaczającego dom. Obecnie kończę prace wykończeniowe. Dom zostanie oddany do użytku w poło… 0 0.98728275 0.01272
38 \"Mam 32 lata. W styczniu dowiedziałem się, że jestem w ciąży. Oto mój dziennik.\" Dziennik ciężarowca to bezpretensjonalny,... 1 0.01273964 0.01274
39 Nie będę opisywał wszystkich, godnych pożałowania argumentów tej szkoły, tylko otwarcie powiem, że nie warto jest interesować się tą firmą. … 0 0.98722649 0.01277
40 Witam, chciałbym poprosić o jakąś poradę, jak pozbyć się trądziku. Otóż mam 15 lat i od 2 lat mam duży trądzik. Byłem u lekarza, ale ten naw… 1 0.01279877 0.01280

dev-0 / ffbb14c17de71edf9aeb7142b3ac1c40f3f9649e
Metric Score
Likelihood 0.57555
Accuracy 0.70276

worst items

note: the gold standard is taken from the submission itself, not from the challenge data!
# input expected output actual output test-A Likelihood
1 czy majac 17 lat moge sama sobie zalozyc konto w banku?Pewnie ,że tak.Teraz wiele banków oferuje konta dla młodzieży.Na dodatek najczęściej … 1 0.01025120 0.01025
2 Witam wszystkich! W najbliższym czasie otwieram mój pierwszy w życiu prywatny interes, zależy mi aby pomieszczenie, w którym znajdzie się mo… 1 0.01038776 0.01039
3 troszkę naciągam, bo jeszcze muszę go polakierować, ale ponieważ nastąpi to dopiero jak będziemy lakierować podłogę w wiatrołapie, żeby było… 1 0.01073629 0.01074
4 / wiem. jestem wredny / 1 0.01080061 0.01080
5 „Potwierdzam odebranie przesyłki, dziękuję jesteście genialni, dotarła błyskawicznie:) Gazeta bardzo mi się podoba. To prezent dopiero na św… 1 0.01083487 0.01083
6 Witam, chciałem zapytać, czy prezerwatywy durex zawierają środki plemnikobójcze ? Jeśli tak, to które z modeli to są ? Jeśli nie, to jakie i… 1 0.01088390 0.01088
7 Justyna / Marzyłem o Afryce 1 0.01110339 0.01110
8 Zacząłem używać nicorette w 2001 roku. Przez 2 lata nie paliłem, lecz później wróciłem do okazjonalnego palenia. Nicorette pomogło znacznie … 1 0.01113634 0.01114
9 ma wątpliwości, czy ciąża jest prawdziwa.- Prasa już tyle razy pisała, że znów jestem w ciąży, że mam czasem ochotę z tego żartować . A to p… 1 0.01130565 0.01131
10 Gdy skoncze i przeczytam, to znajduje dziesiatki niewlasciwie uzytych slow, nie podoba mi sie styl, literowki a juz prawdziwym pieklem sa dl… 1 0.01136237 0.01136
11 sama jej wcześniej poszukać że ocknąłem 1 0.01195215 0.01195
12 a mnie tak sobie to cieszy, tzn. polubiłem Sama jako aktora, a w następnych filmach juz go nie zobaczymy:( 1 0.01206487 0.01206
13 pozdrawiam tessa18.04.2013. 15:04 ca - kredyt mieszkaniowy 3x0Potwierdzam dla mnie również najtaniej było w Credit Agricole. Na kredyt 50000… 1 0.01217429 0.01217
14 Co o tym myśleć, co robić? Borsuk był dziś wykończony po pracy i chciałbym mu oszczędzić nocnej pobudki. Ale sama czuję się zagubiona. 1 0.01220129 0.01220
15 Opis produktu 'Dziennik ciężarowca ': ?Mam 32 lata. W styczniu dowiedziałem się, że jestem w ciąży. Oto mój dziennik.? 1 0.01221003 0.01221
16 Witam, ,jak łatwo autorytety manipulują nami! Współczuje właścicielowi osiołka. Osiołkowi też współczuje takiego właściciela-przyjaciela . G… 1 0.01225313 0.01225
17 (...) rano w dniu stosunku. Dziś mija 8 dni od współżycia. Stosunek najpierw był z prezerwatywą później jednak chłopak na jakieś 5sekund wło… 1 0.01227543 0.01228
18 Faktycznie. Po prostu jestem wredny, wybaczcie 1 0.01236769 0.01237
19 Kilka słów na temat wyjazdu:- 14 dni w drodze- przejechane około 4200 km.W sumie odwiedziłem około 40 miast, miasteczek, miejsc, które mogę … 1 0.01239552 0.01240
20 Wydaje się, że proces odkrywania pomysłów na nowe książki, ale także interpretacji tych już napisanych, toczy się w głowie Rotha bez przerwy… 1 0.01256737 0.01257
21 Dziś pierwszy raz usłyszałem tą piosenkę .Myślałem że już nigdy czegoś takiego nie poczuje , to niesamowite .Tak jak bym słuchał pierwszy r… 1 0.01260911 0.01261
22 Jestem nauczycielem fizyki i informatyki w XXXV LO 0 0.98736137 0.01264
23 Jestem pracownikiem OBI i życzę  sobie i innym by nasze ... 0 0.98720556 0.01279
24 Jestem taki/taka ładna :P 1 0.01286069 0.01286
25 Zatem nie będę demontował drukarki, szkoda chyba czasu, oddam do serwisu. 0 0.98709422 0.01291
26 jako komentarz pozytywny ... bo nie będę pierdolił na youtube z sofomiszkami : ] 0 0.98702973 0.01297
27 Nazywam się Karolina, mam prawie 18 lat. Bóle podbrzusza, kłucia z lewej lub prawej strony brzucha, a także dyskomfort w pochwie. Co oznacza… 1 0.01299706 0.01300
28 -Nie, przegrałem! Mąż wcześniej wrócił z pracy do domu i niespodziewanie zastaje żonę, która nago leży w wymiętoszonej pościeli. 1 0.01300883 0.01301
29 Wiadomo. Dla innych się liczy a dla drugich mniej :-) Ostrzałki mogą kosztować kilkadziesiąt, kilkaset, a w skrajnych przypadkach kilka tysi… 0 0.98698503 0.01301
30 17 listopada 2011 o 14:17 Masz rację. Należy brać najlepszą ofertę. Oferta za 30 zł jest najlepsza. Szkoda że nie ma za 60 zł. Ja bym brał z… 0 0.98691303 0.01309
31 wejdę na scenę, jestem martwy. Potrafię nic nie mówić i siedzieć w kącie przez całą imprezę. Budzi się we mnie demon dopiero, jak śpiewam.W … 0 0.98678225 0.01322
32 ". Na samym początku mówię tekst "Byłem na randce z Jonas Brothers, są tacy gorący!". Oczywiście to nie jest prawda, to tylko tekst, tak jak… 0 0.98672432 0.01328
33  Byłem dziewicą 1 0.01328266 0.01328
34 PiS rządził niecałe 2 lata, PO prawie 5 - będąc cały czas w komfortowych warunkach do wykonywania swej powinności. Tylko, ze wykonawstwo tej… 0 0.98669726 0.01330
35 Byłbym bardzo zobowiązany za odłożenie mi jednego biletu wstępu na któryś z podanych wyżej terminów. 0 0.98666811 0.01333
36 słyszałem o tym nawet na korytarzach.Podobnie mówią w TVN :- Na dziś nie planujemy nic podobnego, nawet jeśli chodzi o następną ramówkę - mó… 1 0.01340680 0.01341
37 dla Hadouken!? Dalej czekam na ich koncert w Polsce. Potem, kto wie. Może uda im się zatrzeć to jednak negatywne wrażenie. A za dwa dni pewn… 0 0.98657310 0.01343
38 Jestem pracownikiem firmy architektonicznej. Do moich obowiązków należy wybór okien do opracowywanych projektów. Działamy głównie na rynku w… 0 0.98655450 0.01345
39 - W sferze zawodowej najważniejsze są koncerty, śpiewanie, rozwijanie swoich możliwości, które wydobyłem na światło dzienne. Może nie tyle m… 0 0.98655403 0.01345
40 Byłem pracownikiem przez wiele lat. Teraz prowadzę własną ... 0 0.98650628 0.01349

Compare with other submission