Your browser doesn't support the features required by impress.js, so you are presented with a simplified version of this presentation.

For the best experience please use the latest Chrome, Safari or Firefox browser.

Gonito.net

open platform for research competition, cooperation and reproducibility

Filip Graliński

Adam Mickiewicz University / Applica.ai

24 September 2019, PSNC

Motivation

Alternatives?

That's why we created

Gonito.net

open platform for machine learning competition

… and

GEval

companion Haskell library and stand-alone tool for machine learning evaluation

RMSE, MSE, MAE, SMAPE, Pearson, Spearman, Accuracy, LogLoss, Likelihood, F1.0, F2.0, F0.25, Macro-F1.0, Macro-F2.0, Macro-F0.25, MultiLabel-F1.0, MultiLabel-F2.0, MultiLabel-F0.25, Probabilistic-MultiLabel-F1.0, Probabilistic-MultiLabel-F2.0, Probabilistic-MultiLabel-F0.25, MultiLabel-Likelihood, MAP, BLEU, GLEU ("Google GLEU" not the grammar correction metric), WER, NMI, ClippEU, LogLossHashed, LikelihoodHashed, BIO-F1, BIO-F1-Labels, TokenAccuracy, Soft-F1.0, Soft-F2.0, Soft-F0.25, Probabilistic-Soft-F1.0, Probabilistic-Soft-F2.0, Probabilistic-Soft-F0.25, Soft2D-F1.0, Soft2D-F2.0, Soft2D-F0.25, CharMatch, BLEU:lm<\s+|[a-z0-9]+> (BLEU on lowercased strings, only Latin characters and digits considered)

A challenge…

"He Said She Said" classification challenge (2nd edition)

Guess whether a text in Polish was written by a man or woman.

This challenge is based on the "He Said She Said" corpus for Polish. The corpus was created by grepping gender-specific first person expressions (e.g. "zrobiłem/zrobiłam", "jestem zadowolony/zadowolona", "będę robił/robiła") in the Common Crawl corpus. Such expressions were normalised here into masculine forms.

Classes

  • F — text written by a woman
  • M — text written by a man

Directory structure

  • README.md — this file
  • config.txt — configuration file
  • train/ — directory with training data
  • train/train.tsv.gz — train set (gzipped), the class is given in the first column, a text fragment in the second one
  • train/meta.tsv.gz — metadata (do not use during training)
  • dev-0/ — directory with dev (test) data
  • dev-0/in.tsv — input data for the dev set (text fragments)
  • dev-0/expected.tsv — expected (reference) data for the dev set
  • dev-0/meta.tsv — metadata (not used during testing)
  • dev-1/ — directory with extra dev (test) data
  • dev-1/in.tsv — input data for the extra dev set (text fragments)
  • dev-1/expected.tsv — expected (reference) data for the extra dev set
  • dev-1/meta.tsv — metadata (not used during testing)
  • test-A — directory with test data
  • test-A/in.tsv — input data for the test set (text fragments)
  • test-A/expected.tsv — expected (reference) data for the test set (hidden)

Install GEval

curl -sSL https://get.haskellstack.org/ | sh  # Haskell Stack
git clone git://gonito.net/geval
cd geval
stack setup
stack install
# add ~/.local/bin to $PATH

Or just download the GEval binary

(Fully static binary for 64-bit Linuxes)

wget https://gonito.net/get/bin/geval
chmod u+x geval
./geval --help

Current status…

# submitter when ver. description test-A Accuracy ×
1 p/tlen 2017-01-26 10:08 1.0.0 KenLM + Vowpal Wabbit vowpal-wabbit 0.69379 13
2 kaczla 2017-05-25 19:55 1.0.0 LSTM - decrease batch_size, 5 RNNs neural-network 0.69348 22
3 Karol Mazurek 2018-11-29 10:07 1.0.0 LinearSVC dev-0 dev-1 test-A - read submission_info.md python scikit-learn 0.66309 5
4 [anonymised] 2019-01-27 09:40 1.0.0 Test4 0.66276 4
5 siulkilulki 2017-03-27 11:08 1.0.0 without feature engineering, Adaptive Moment Estimation, 49 epoch. discriminative better than generative python self-made logistic-regression 0.66120 13
6 Grzegorz Bąk 2018-12-11 22:32 1.0.0 initial version with training limit on 1m python scikit-learn better-than-no-model-baseline 0.65983 3
7 [anonymised] 2019-01-27 07:23 1.0.0 dodanie zaktualizowanego test.py 0.65883 3
8 [anonymised] 2018-05-20 15:57 1.0.0 naive bayes 0.65872 1
9 [anonymised] 2019-01-27 13:01 1.0.0 Wesja milion7 0.65659 8
10 Mieszko 2016-12-27 10:22 1.0.0 Kenml devs & train LM & remove punct kenlm 0.65591 45

How to replicate the best result?

# this will take some time (big repo)
git clone --single-branch git://gonito.net/petite-difference-challenge2 -b submission-00448
cd petite-difference-challenge2
make clean && make # optionally if you to want to replicate training
geval --test-name dev-0
0.71473
geval --test-name dev-0 --line-byline -s | head -n 8
0.0     firmy. Słyszałem że ciężko się drukuje na papierze kredowym.Czy jest może       M       F
0.0     A co do wiersza to zgadzam się prawie, prawie...Miałem może troszkę inną wizję, troszkę inną interpretacje, ale to nie jest aż tak ważne. Mnie też ogarnęło wzruszenie, mnie też zrobiło się tak wspaniale na sercu, że jednak, że nie tylko tak bardzo egoistycznie, że jeszcze ktoś widzi to co obok, a może przewiduje to co kiedyś... "pomiędzy gwiazdą a kamieniem"... dawno nie czytałem tak pięknego wersu, tak wymownego i bogatego w możliwości interpretacji. To dla mnie tak jakby gwiazda była tym czymś co dalekie, marzeniem, złudzeniem, ciepłem, ideałem, czymś nieosiągalnym, takim... niebiańskim... Kamień zaś pozostaje tylko kamieniem, symbolem uporu i twardości, takim, którego czas się nie ima, takim, który ciężko naruszyć, ale on sam może być przyczyną... I ten lęk , o którym pisał Tomaszek. Czułem go i nadal czuję. I przy każdym czytaniu wiersza jest silny. Nie słabnie. Czy to znaczy, że trafiłem na bardzo dobry wiersz? Chyba tak. Nie. Na pewno tak.         F       M
0.0     (*) Popularna jest też szkoła, że nie należy grzybka myć, żeby nie stracić cennych mikroelementów. Osobiście grzybka codziennie przepłukuję do czysta i rośnie jak opętany. Jeżeli jest jakiś biolog na sali, to bedę wdzięczny za naukowe wytłumaczenie za lub przeciw :)      F       M
0.0     Alkad na próżno chciał się dowiedzieć jakichś bliższych szczegółów iż rozwiązanie zagadki będzie raczej trudne niż łatwe. Zauważyłem Wszedł do  M       F
0.0     łóżka, którego nie dotykałem,   F       M
0.0     breathżyłem w klatce(Siergiej, 17 lat) Przyznaję, podobało mi się wiele dziewczyn i chłopaków. Odczuwałem całą gamę emocji, wszystkie stopnie podniecenia, niekontrolowane drżenie, gdy pragnienie było silniejsze od zdrowego rozsądku. Ale nie, nie, nie, nie. To nie może się dziać naprawdę. Czemu, do cholery, musiałem zakochać się w kimś takim?! Niski, chudy, do wyglądu aktorów z okładek, którzy mnie kręcili  tak daleko, jak tylko możliwe. Samotnik emanuj      M       F
0.0     Nie zgodziłbym się że tylko, ale ustalcie to między sobą z flor_ekiem jeśli się pojawi (nie jestem pewien, bo nie wszyscy mają ochotę kwitować odbiór roboty).        M       F
0.0     Zawijałem i spinałem wykałaczkami.      F       M

I wanna do something better

Sign up, add SSH key etc.

Clone the repo:

git clone --single-branch ssh://gitolite@gonito.net/john/petite-difference-challenge2
cd petite-difference-challenge2
git pull ssh://gitolite@gonito.net/petite-difference-challenge2
git push origin master

Work on your solution and check locally:

geval --test-name dev-0

Push your brilliant solution:

git add dev-0/out.tsv test-A/out.tsv # ...
git commit -m 'my brilliant solution'
git push origin master

… and let Gonito.net know about your submission (or configure a Git hook)

… and see your results

# submitter when ver. description dev-0 Accuracy dev-1 Accuracy test-A Accuracy
19 p/tlen 2017-06-11 19:34 1.0.0 CNN, embeddings with more dimensions 0.68324 0.67808 0.67507
20 p/tlen 2017-06-11 05:26 1.0.0 simple convolutional network neural-network cnn 0.68111 0.67355 0.67189
7 p/tlen 2017-04-25 19:49 1.0.0 5 RNNs combined 0.70079 0.69568 0.69044
3 p/tlen 2017-04-24 05:36 1.0.0 fasttext combined with KenLM 0.71653 0.70503 0.69295
14 p/tlen 2017-04-23 17:02 1.0.0 LSTM (by Nozdi) 0.69433 0.68978 0.68382
10 p/tlen 2017-04-23 10:35 1.0.0 fasttext word 2-ngrams, 10x buckets, character 3-6-ngrams 0.70222 0.69351 0.68632
375 p/tlen 2017-04-23 08:15 1.0.0 fasttext word 2-ngrams, 10x buckets, character 3-6-ngrams 0.70222 N/A N/A
17 p/tlen 2017-04-23 06:53 1.0.0 fasttext word 2-ngrams, 10x buckets, character 3-6-ngrams 0.69423 0.68672 0.67830
16 p/tlen 2017-04-22 20:26 1.0.0 fasttext with word 2-grams and 10x buckets ready-made fasttext 0.69322 0.68578 0.67851
21 p/tlen 2017-04-22 19:42 1.0.0 fasttext with word 2-grams ready-made fasttext 0.68593 0.67887 0.67183

Be open!

You can open   your submission so that everybody could see it

… and you fork somebody else's submission   and build upon it

git clone --single-branch ssh://gitolite@gonito.net/john/petite-difference-challenge2
cd petite-difference-challenge2
git fetch ssh://gitolite@gonito.net/petite-difference-challenge2 submission-00448
git reset --hard FETCH_HEAD

… or you can browse the code at http://gonito.net/gitlist/petite-difference-challenge2.git/submission-00448

Yet another challenge

# submitter when ver. description test-A RMSE ×
1 Artur Nowakowski 2019-04-19 07:52 1.0.0 optimized word2vec + nn neural-network word2vec 17.789 9
2 p/tlen 2017-05-31 04:49 1.0.0 VW -nn 6 on up to 4-grams and [5-7] tokens vowpal-wabbit neural-network 19.501 12
3 [anonymised] 2019-05-03 19:49 1.0.0 BiLSTM w/o sorting 23.225 42
4 Adrian Witczak 2019-06-01 15:50 1.0.0 tf ready-made linear-regression tf 24.291 12
5 Damian Michalski 2019-06-04 15:41 1.0.0 Vowpal Wabbit quadratic model + graph v2 vowpal-wabbit graph 27.297 2
6 pzimny 2019-06-04 12:03 1.0.0 vw first encounter(loss function, -b 27, passes=20, quadratic model) vowpal-wabbit graph 27.384 1
7 Yurkee 2019-05-06 15:05 1.0.0 tfidf 50k words low reduction range ready-made linear-regression tf-idf 27.708 16
8 Marcin Szczepański 2019-05-17 18:45 1.0.0 Vowpal Wabbit - linear regression + graph vowpal-wabbit graph 27.808 10
9 Gabi 2019-04-15 20:33 1.0.0 Basic ready-made solution with one column ready-made linear-regression tf-idf 28.298 3
10 Stanislaw-Golebiewski 2019-05-03 18:37 1.0.0 3000 words tf-idf self-made linear-regression tf-idf 32.631 11
git clone --single-branch git://gonito.net/retroc2 -b submission-00647
cd retroc2
geval --test-name dev-0
22.4133
geval --test-name dev-0 --line-by-line -s | head -n 2
149.17849548415006	i Rdlñmczy samorzfšü” Wybnwdclsgylláwdolvlmhkvel Izby RUIHI( (e1 odbyły się a gmdmn zouz y cyyuyę Eyal: rwym. będą veyrezL-nlum/nh w . w mnęszkzunec y „yyy, yy yy awm ?gniew tym. mœszkamę( Ustawa z dma M grudnia v99; y. y .zumy rownych, ktora wasi yy zym s kwyelma 199c y. ,yyuyzy syçnzhvohuciychwPolxv wyme- ,yę mnędzywu ennym azymyy w Pmm ymy rowan: Syçganne do „yy uadyqy yymyyyyyyy „yyy y. ynspwaqedadzyašanyaobecnyth .z Wymœnyunquäuyvapvzewyduy y z moty ;smaga paw.) przynar Ieznoár yy umovxądu mhvczegu „yy Ivycxrwch y prawnych będą' „yyy ;xxhtnykami „ymy rolnego, pedalku dochodowego yy yyy» y /yunvnh y „a m: priv/nych z dzmlnwsprqalnyrh nvmlukql yyy, „c, ovyxzczlonkuw rohuczych ipn)- Hush!! prudulœygnych posada”. tychw dzyelnyarh Krąg kyd! pudmmmwy yyœyyyyuye wszyslkye osuby .ymm y.] swe dzmła\\nn›ć«ą yyyyyyyzy. yyy ›a maxu yesl ubhgalnryuun, ak* znak ysy mch .yyyz wyka; zyyyyzyz» nunzłvyvohyczel.klóvydualnutna alrauna pvwlalu Muglby hanlne; y y abauue powlnm Wybory w lym mlm zysmy pvnpmwadmm wędki; z y znwanei uslawy Inhwilunœi 2| (uma zum y. Dmyçhrzzs w wyhomrh „yyy dzem: cyyyyyyyy hczątc pnmdłlyś lu nzylkńw mhnwh wyblsruüy dodalkowych xlmhonláw, Mldeymo dzralan y. vzezz mxw .yyy yyyyyzsyymyyy rohvyrlwn y ww yyy; pnpawysuukxuyyzgvalmy „yam dZemeV neywyzsxy „ym uby, M0 „yyy Lłulydwtmsw Lynam. Izbie Rohm-vy okolo m0 osob. m- ym. «umow me zmienna „ę, .ny łwurzą yyy ›wę Pawyymwa uR Do 29 gmdma uabęaę wę ymm poswdzcnya yyy ymyyyy Wy, m» dokonają wyboru wle woxlnnuqxstšn „ay y yyyyyyy. ;sdr neguäelsgah y. Walmlgmnvadzcr „ux š 7 kazde; miły yade" :mę gal będa lworzyly wyyy. Zgmmar dxenm wasy yyyyyyyyyyyozwyy :yy orgraruuyt ym mab Wahcgn Zyumadzcnna, bo yyy zawsze duzu sprawnie y dam. yy y. na w I "wurządzamt analu, yny, Dpm!! y »vnmsköw z mkvesu pmduktu yoyyyy ym Nm kumhvagay gynvom admlmslmqy rudawe] y ;yr „ma u wysxçpnwama ay ulgznow adnvvmuluqy vvąduœœy w wugewudzlwl: y „p, nnw sammządu lnyylnmünygo y ynyqavywa w zakresie regulaql prawnydv dulvrząryrh yoyyycryyy, yymyyy wy y rynków mnyyzy mmz upmiüwame pyyyęyyyyyyy (ych pilar „ymy, prowadzeme dzmlzn yrzerz Iwnlzumn rynku yyyysgo oraz wprawy »uruukávy zbytu „ymy mw rolnych, pmwadzenœ ..yynyy kuędów y yyynmyyyymy pmdmyy mhm, gtnmadvrnœ, prze' ducenluw mhuyrh oraz yyytyy pyzedayębnunáw, dundzhvn y znkresy: dzyawmáry mhm/eg, wytqskyego gospodarslwx dummy/ego uml uzyskiwania yyyyz rolnykáw wzmę Mmww kwahhkacygnych yy zakusy:: yyyyyyyyyyy, kuvalkvwanw y upowszechnmnye zyunnlelvky vue ay ympyd.y‹z.~„yyzy.xyy .y navzecz pndnnvrnm yakołn ,yoynyow y urządzen swsuwmnydw w dhamma- ›(1 mwnn; uraz yyy rzczz popm- slw.: w :elnnnw z yyayosykyyyy pvrw/ ny yyyyyyczy. wapœvalvœ yyy LIuaMI Hush, ymqawame powsuwanm „eyy pmducemnw rnhvynh y k» ;yyy zyyyyyyy yy m-ci pupmwv wame ekwpullu prudukláw ruhuyüly yyyyy orgnmzaqnmn pvndurrnxów mlnyzh „wyrwy y yynyyyyyy. qą ;mhm/ną w zakresyę uzhvony Środowska, zdmwm y wyeyyyyygy dxmdznrma yynyyyymgy, wy; nwolubehkir pomady: yyyyyym ty; yy „zyyywyyyyyyy haha gospodarsku w wuyewadz {mewynmy „y zzuyyyzyyyyyzmz panad 2,5 .yyy yyy co svavvowy yn yyyyz. produky kraymvq, zyęyyyyy mw ponad z xs yyyy yyy /I lpm( nk' :huvakńm cukwwyüw ;,4 yyyy yyy y' ye z lys. yyy/ au y y mez naywnznyeyszœ w kraju zagyyby. „ym yyynyy yagnrüwych r myłhny czym pnrzeczky, xmsknwky, yyy: mo" uvvawy tyloma y zy dnkańcuni: n: m.	2002.49999998415	1853.3215045
146.48617498419003	r yyyyyy 1004 y y z rLyym yyzzyyy œçácrq Merkvsga rynku zyyyyyzzywwyzyyo Zuwagr yyy wzrosl zbraniw zbó: w us nre yyarzzy z teg:: powod !rtzyć yyy wzrost zzy, które bedq mkr: ;awiejak w dwóm pwned/Hth :zza/mdr Zaćma w wrr yyyrmw drwygw „a swyrh hymm rra/wrekfm „szwy zmyyyy zyzrmyyzyyyyry w myszyyyy kra/u. w vu xe ' uma zyyyyypyyzwy Nrchórym mrruamrom muyna yyyz blaka y w zzy. cza miesa, zwłaszcza mniam/ego, kmm m produkty rolne Ĺy yrzzymz wykupywane yyyzyz przrdsrrbrvrswwa z rnnydr raruw zyze œrr upy. Przew/mkrum yyy Dvzwkaçh Cmrnnydr w Dokm/owre Wiadomnśc Gm nne -±______ „yw yyzyyyyyyyz mundy yywyyzzyyy., stamwa ule mz. me skazane wyzrwy-m ,y Tc ukolrunma sprawna/ą, yz Inne „yyy yy y !orne y yzw yyyzzywyy będą wyyyywymyzyyyz y yyyyszyywywayz yy., yywyy „yyyyyyyyyy, lesza: mz powtarzam, ze nakazem rhwrr na( ,yz y n aby porskr y Nas/ys „ymyyy ,esy ralrrrw/a, yy syzyyyyyzzyyym polazzvvru ramka! duzego mrawz Gmrna wyzy-swy Brala Podlnka !o v2. soo ha yyyywyzyzyryyyy, w yyy yyy au (rz m nz yyy gmmy ame, r524 ryz yyy lasy) nalezace do r 55v gospodarstw 0d wyrwwy !a1 w yyyyyyyyyz yyyyywywyyyym yyy mweçlycre uzy lep ym !zg/Madam ;esw yyw 2004, w którym przeznanzyrramy »a mo( budzetu grnrny yyy zzdarrra yyy, we yyyye Eudwcmyrnln zs orrqg w, ?Jkm ›rem kdrraIr/axtymer y 2 wm dróggmrrrrvydl :podbudową y asfaltem. N y nn yyywu y docrągawer, 22 wm syzzy wzyyzrrzzzyyyyz; y zsz wny zyc; gymyymyzn z scy wyyy dróg .yywzyyzzyyyyww sw wrę:( [sucze duzo donot/rama Wdm ym yyaryazyy 20m4 roku omm, my yyyyywayrzyry ›Ae/eg wyyĹyyyyyry, wazrvyrrr dla (Imrrvy y mreszkańmw rnwcstyc/r, Mrcdzy ymyymy zymyyyz zywym sportowa 7 wrdnwrdanmr przy rvyyzyryayyyyyy Dimmu/um w Crcrborze Dux m Nrcxapomrnamymkze a naszsr, brfskrer kuhurze Przy wryyyyzzn wyyryyyyy mz nłvrellrrarh zzyyywyyy zespoły (prew/ay ›a mwyr, ne. Mymy a racowm grnaryrh rawodńw yyy yyy ywyywy, kurorrkarskąy xdobmcrwa ludow/ngo, yzzzwyy, ;dowan. zaaz mk yyyyyyza :a grup rmędzynslodowyth Dzrękr temu nasza gnu/m , ,arz wawy ze pala yeye gyyyyyzyyyyy. Dzra yar/mv( yy.; yyywye kultury to wsyyarczysyyy powrór ywy wyyzyzyy. w Lhvwwrrę( azwyyz /wyC/are oraz vhyriywy* yrryy yyy y pr V, szwy pokoleń DOŻYNKI POWIATOWE: ŁOMAZY: Ic. ŻNIWA SKOŃCZONE, SNOPY ZWIEZIONE; ŻEŃCY 5:5 SPIESZĄ, SKACZĄ A CIESZĄ.” Uwieńczenie Iudzkiej pracy Mszą śwwęłą w kmuęre pw. Apusmmw Prmm y Pawla w wyyyyyzyzw, wyymzrzwyyyywzya wzzz rs brskupa uy dozynkowe Na „ere lradyrymtgu duzynkuwegu kuruwudu nhuk Fidenza hzamkiega .yzyyyswy yyyywyyyyyy brarakregu sldnąl ws. brskupZbrgnrexv Klemlkuwskr. P0 mz prerwszy arswyp Sredleckl zymzyu ywayy obecnaśzcrą ;skm wazne ara yyorywyego rornrka, poaraswyey ws. śwręw. w swourr wyshęp yyy Tedemu Lzzyywswy alarmu puwraru hrakkrago rmędxy yyyyymy paw/redzie) Dustar „wz Mamy yyy, bypodrrzymañprçkną !radyqçpnlskyv/ wyy rl yyy vy anega ›ym du, by ,yyywzzze dorobek, kullurç oraz folklor pod/askrcr zyzmy- rplzekazać .zy ugmmny bagaz wyryymwy rraswęp yyym pokorę/warr w którym udzrat wzręly zlspałymlkiawslytzne, rudawe y ubrzçdowc z pav/mu brals gu ny raz swn u ma wrencnw gmrny yzyyyzzzyyyy wzyz yyyyy przu stursk.), m kmvydt puknzarrn m, (u yyy, repszegu mamy n: pudlask „zym, w mmz zyyzz ry :ks zyql zyzzzyyyywyyz o przyznay ,yyy z s:. a udlukz. Wrenrz( zz Sryrzyn wu-y reprezemmval	2004.49999998419	1858.013825
geval --test-name dev-0 --worst-features | head -n 16
in<1>:iest	1288	29.96086426	0.00000000000000000000
in<1>:iak	1059	29.56892036	0.00000000000000000000
in<1>:iego	1041	29.10324719	0.00000000000000000000
in<1>:;	15855	18.44934849	0.00000000000000000000
in<1>:iako	663	31.50026033	0.00000000000000000000
in<1>:tey	577	31.77574310	0.00000000000000000000
in<1>:d	9075	19.36616635	0.00000000000000000000
in<1>:iey	400	32.41432702	0.00000000000000000000
in<1>:y	6962	20.11327877	0.00000000000000000000
in<1>:bydź	403	31.78838173	0.00000000000000000000
in<1>:ieszcze	449	30.73618019	0.00000000000000000000
in<1>:iuż	428	29.66315953	0.00000000000000000000
in<1>:Króla	483	28.34047199	0.00000000000000000000
in<1>:u	9882	19.06794134	0.00000000000000000000
in<1>:teraz	2477	21.48332437	0.00000000000000000000
in<1>:b	7915	19.23917820	0.00000000000000000000
geval --test-name dev-0 --line-by-line -s --tokenizer 13a --filter 'in<1>:Król' | head -n 2
73.3384038951101	.ł Cześć nicłH.Zf doW:t. ... l-' Lwó'w, 3(). !J1"udniu. ./en. km'. uusir" potwiCl'dza wiadomość prze:" gazeti( powszechllł). .Hłgsburgsk podan iż Ausll'ya proponowała l'l'usom wniesienie nn srjm zwią7,kowy wspólneg'o wniosku 1 o osadzenie i w7,i\\)cie w zakład S7,leswiku I na prz)'pallck g'd)'hy Dauia lIie cofuęła lISiOIWY kOI:Stylucyjllt'j 7, dnia 18. listopad... PI'!IS)' PI'0po1'FH II' IJI'zy,jt.'ł)' i WSI111lny wnioSl'k obu mocarstw złożony h(:d7.ie ua posiedzeuiu sl'jm\\l zwi')7,kowego z dllia 28. g'l'ulll1ia. ./cn. /.'01', ZWl'aca uwag' Iła 7.lIat'zelłi( i wielkł). dOlliodosć wuiosku teg;o, za iuit'y,d)'w., Anstl'yi IJO\\\\zi':tcgo; dowolb.i ou, i1, !'Z..ul cesal'ski g'ol!)w jest popie- 1';lĆ spl'a\\\\ t( l\\iemiec 7, ał') e n Cl'gi ',ł, w gTallieach pl'ilwa i Ullli.II'ko- \\lauiil..Jak skol'o 1,aś \\\\'niosek pO\\l'Yzszy p\\'7.'Vjet'V hed7,ie, Auslt'y'a wvpełni ollo\\\\ii)zki s.woje jako lIIoc'al'sh\\ o l i'l:łI;jed il fak \\\\'7,g'I,, d;łII :t.wiazku jak i wzo'ledem mocal'slw z;ig'I'anil'7.uych, t> .. Krl)! Chl'ystyan IX. dUl'lski lila m'(;I 1,,1111(;11' udauia się 110 wojskil w Sz\\eswiku I co jednak jeszcze jes.1: w.,I p(hnlll. l\\ieklól'e IIy;ienlliki s..ldza, iż Król opuści Kopenhag\\ .I cd )'lIIe dla IIsuuil'cia sil' od nacisku slrounictwa demokl'atyezucg'o w sloliey. '" lakim zaś I'a:t.je hyć może 1 iż lud dUI\\ski obwoła Królem Ksil:cia (}sk.łI'" s7:wed7,kiego. Tak wiec eg7.ekueya zwi;.ł7,1uma spl'owalł1,]aby 0111'1\\1: n t'c7,Y histol'yczne znac7,enic dla p;dlslw skalHl)'nawskich lIIieć mo- .-aey. "', Najważniejsz (hiś wiadolllości',l jcst do niesienie dlll'lskieg'o dziennika Dagbladel l że podania do 1I),tUisyi c Jollkó\\\\' minisLel'sLwa Hall 7,oStółły przyjl;le. Jak wialloll\\o 7. te1l'g'l'ółIllU I chciał 1(1'1\\1 pornu,ye nlwon,euie noweg'o g'ilhinetu dla c"łq 'o IHtt'lstwa l",nu Alllh'eae i kilku inllym c7Joukolll 1lI',micy sejmu; ei jl'llnab,e lIil'chcieJi podją.ć się teg'ol ale Hil' wiadomo jeS7,('7,(', c7,Y uic próho\\Yal:o na nowo utworzyć ministerstw;, \\I' tYUI l!udłU I j pn,cto uie 1I\\0 na jeszcze do tf'j chwili 'H'7,Y pUS7,C ,"Ć slano\\\\'cz;ej 7.miany sysll'llw. To pe\\\\u.llyiko l 1.(' 1'7.,.111 dlu'lski nie stawi adnFh pl'7.cszkód tokowi egzekucJi, il najuowsze felegTam) ,apo\\\\'iadaji nawet jako rzeez pOllobn'1 110 1)I'a\\Hly, ze lhlllc7,Ycy' \\lsli)pi; z Hendsblll'g'a i Friellrichsztadu, i że przyczołek mostowy \\\\' Fl'iedl"ichsztadzie bę- -::- ; ... Ihie hUI'ZOIlY. Ty'm spo:!ollem wi 'c odpadłby jedl'n z po\\\\'olll;\\\\', kt.')r)' 1 łł1u aklowi wojskowemu Imlgł nadal eharilkll'l' iuiel'ilHcyoII.dll,\\'.. W,'(Hug depeszy 7, Bim.;J'stkQ b"o. dobrem ,c'O' z-- 4awJlych, a nie -'WB2YStko złem; co z _nowycher;? ów- pocho ppc.łzlelo?c nR .-dwa ho rnsy, tRh, illk_ dnh. 18. b., PI. .Z_IJI/j-WSZ"Y-'IIUDO.uka t w. lr.tóry-d,- alSlia te---- po o tc\\łó- rOZ?6Cl _łci dalllze p.0t'uszenia, I ,rOwsle. w. JJat,_;rua"h I .k- \\'V obl'onie ,rawJlie, 1V_"śdgani8' i I\\. w;.- oihn>otach_., słowem ,'we- ",,,zYlluich twi zIJn'8ch. woieno}'i:D ,_ chauło- Wff41V ,arfqznoŚć, i ,d.Cikłaic1nose't __ ktere. Gbe... (;:Ut: -, 1 -' '- h P _d fJ ł b i Kr.aie Rai.b'ary.yskie.. G8z€ dwor,sk.r 'l',uryóska. umłfśeiła pO' DlZS Y- wY.lils. .z listu" z T u n e t u, pod, dniem.' 6. .Su l'pma pHian go; ,Pomlmo zapobiegQ'w-, klorc,- c:zy- nolło- w' T'a b.a r-ce- dra zlIch-:,łwanill-statkó", l\\()rale- łowijcyc:h od, zarllzy' moy-c-Ner, rra- rzcgAch- t mC l,nlch-- rlll1ui ccy, "wdawa< .lo sili. pr./:Ccl cz wIeJe z, 1Hch w c' ClJ nIiG'Ć' Bone W- Bonie.' um;ccałó có;1ziI.Hia;c. "'i r o I'odkow miarw, po Co. ludzi;- a ia,.r:1) iui'" rnwJf'- .IiP!l.stos3ało..__ W- li () D S t a n t y-n i e" rear/h,> 11lQOIIJC lelzcze. bardAti€y,i IcJ.vłie _była na-- zi ia, ,aby si,:_ hm- choć' ieden. oz!g.--,;;#:;{ p rJi1 1 zycm Qzostllł.._ F',-DntYUQ Maurów WygÓl'IH,lJł I dO J !Ii !Utłj) o 5tQpnia' 2e 'się na .trupo",- za[lj) E pOw1ctt'zonJ: h .zu.cali i że" ich L!dni dl'Ugiri( ł a_. r ł\\- Vt'p!41cr h o eby otI'Zym "Ił z":łzczyt'. po<" ł grzt'Dall.ia ofJj'dllże. .Tallie--i -- w-A ł... i er z.e "ras" \\. t., SO_"' 'IO 'po letr:i:e-W--w1so1\\;.m stl)pniu" W eał':Jrt' al(ih; Hrai-u- Tiu-'etaJ1ski.m: nie p(,haz6łj li śhdf -rr:J)rO\\H }'. z.fr:zy. a na et s ę w-;ale. nic ze?;" -me Ub:;WI-alliJ, '3apLihiegł!.z1 ni sz"Et;fi'';IU p..zet: zUFc!ne zhilnenle tucch wioseJl- 2- -A l g i el'e- I :)" i {; an:(:!ó tJy h ,.w l\\t()rJ h. si pf-IJcyrzaoe' zDalIi ZJ""Uł,_I" t ,.P.tze jwi1ic''Zaś I\\UZ6Chod..\\vj zd-il.1 si{ zaraza al'a zJiwie rozsserzać; ,grlillllluie cna ill l w-' reł:"'czenie'; i bArdzo -lIi I .kano, abY'. s cał go.Ge8 r5twa Jilar-okańskiego nie Olv r' 1 n ła; ppmewaetam 'wstelkicb. środLów..(j tro-" 1< żnłlści p,,"uciw. ni-ey zanierl:hui ."-- 1 t 'I !J l' li 1- 11 j' -6 ' Orn-yłl£it:: W- przesdym 'numerze ga'ł''1t-l 1111'-' s ey, na mmcy .606, _w przed 'ialc .,gir!!. wicr 1;' 8mym g orYf.-r£/ł-tmaSi p_otar ala ':lic poprani':' pilta,rg_	1817.74931505264	1877.6313445

Comparing results

geval --metric GLEU --precision 4 --tokenizer 13a \-i wmt17-submitted-data/txt/sources/newstest2017-deen-src.de \
-o wmt17-submitted-data/txt/system-outputs/newstest2017/de-en/newstest2017.uedin-nmt.4723.de-en \
--most-worsening-features wmt17-submitted-data/txt/system-outputs/newstest2017/de-en/newstest2017.LIUM-NMT.4733.de-en \
-e wmt17-submitted-data/txt/references/newstest2017-deen-ref.en | head -n 10
exp:euros	31	-0.06468724	0.00001097343184385749
in<1>:Euro	31	-0.05335673	0.00002829695624789508
exp:be	296	0.02055637	0.00037328997500381740
exp:Federal	12	-0.05291327	0.00040500816936872160
exp:small	21	-0.02880722	0.00081606196875884380
exp:turnover	9	-0.09234316	0.00096449582346370200
out:$	36	-0.01926724	0.00101954071759940870
out:interior	6	-0.07061411	0.00130090392961781970
exp:head	17	-0.03205283	0.00159684081554980080
exp:will	187	0.01737604	0.00168212689205692070

Not a toy!

Thanks!

And check it out at gonito.net: