src/com/hughes/android/dictionary/parser/wiktionary/EnFunctionCallbacks.java

   1 // Copyright 2012 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.parser.wiktionary;
  16
  17 import com.hughes.android.dictionary.engine.EntryTypeName;
  18 import com.hughes.android.dictionary.engine.IndexBuilder;
  19 import com.hughes.android.dictionary.parser.WikiTokenizer;
  20 import com.hughes.android.dictionary.parser.wiktionary.AbstractWiktionaryParser.AppendAndIndexWikiCallback;
  21 import com.hughes.android.dictionary.parser.wiktionary.AbstractWiktionaryParser.NameAndArgs;
  22 import com.hughes.util.ListUtil;
  23 import com.hughes.util.MapUtil;
  24 import com.hughes.util.StringUtil;
  25
  26 import java.util.ArrayList;
  27 import java.util.Arrays;
  28 import java.util.LinkedHashMap;
  29 import java.util.LinkedHashSet;
  30 import java.util.List;
  31 import java.util.Map;
  32 import java.util.Set;
  33 import java.util.concurrent.atomic.AtomicInteger;
  34
  35 class EnFunctionCallbacks {
  36
  37   static final Map<String,FunctionCallback<EnParser>> DEFAULT = new LinkedHashMap<String, FunctionCallback<EnParser>>();
  38
  39   static <T extends AbstractWiktionaryParser> void addGenericCallbacks(Map<String, FunctionCallback<T>> callbacks) {
  40       FunctionCallback<T> callback = new Gender<T>();
  41       callbacks.put("m", callback);
  42       callbacks.put("f", callback);
  43       callbacks.put("n", callback);
  44       callbacks.put("p", callback);
  45       callbacks.put("g", callback);
  46
  47       callbacks.put("etyl", new etyl<T>());
  48       callbacks.put("term", new term<T>());
  49
  50       callback = new EncodingCallback<T>();
  51       Set<String> encodings = new LinkedHashSet<String>(Arrays.asList(
  52           "IPA", "IPAchar",  // Not really encodings, but it works.
  53           "zh-ts", "zh-tsp",
  54           "sd-Arab", "ku-Arab", "Arab", "unicode", "Laoo", "ur-Arab", "Thai",
  55           "fa-Arab", "Khmr", "Cyrl", "ug-Arab", "ko-inline",
  56           "Jpan", "Kore", "Hebr", "rfscript", "Beng", "Mong", "Knda", "Cyrs",
  57           "yue-tsj", "Mlym", "Tfng", "Grek", "yue-yue-j"));
  58       for (final String encoding : encodings) {
  59           callbacks.put(encoding, callback);
  60       }
  61
  62       callback = new Ignore<T>();
  63       callbacks.put("trreq", callback);
  64       callbacks.put("t-image", callback);
  65       callbacks.put("defn", callback);
  66       callbacks.put("rfdef", callback);
  67       callbacks.put("rfdate", callback);
  68       callbacks.put("rfex", callback);
  69       callbacks.put("rfquote", callback);
  70       callbacks.put("attention", callback);
  71       callbacks.put("zh-attention", callback);
  72       callbacks.put("top2", callback);
  73       callbacks.put("mid2", callback);
  74       callbacks.put("top3", callback);
  75       callbacks.put("mid3", callback);
  76       callbacks.put("bottom", callback);
  77       callbacks.put("rel-mid", callback);
  78       callbacks.put("rel-mid3", callback);
  79       callbacks.put("rel-mid4", callback);
  80       callbacks.put("rel-bottom", callback);
  81       callbacks.put("der-top", callback);
  82       callbacks.put("der-mid", callback);
  83       callbacks.put("der-mid3", callback);
  84       callbacks.put("der-bottom", callback);
  85
  86       callback = new AppendName<T>();
  87       callbacks.put("...", callback);
  88
  89       callbacks.put("qualifier", new QualifierCallback<T>());
  90       callbacks.put("italbrac", new italbrac<T>());
  91       callbacks.put("gloss", new gloss<T>());
  92       callbacks.put("not used", new not_used<T>());
  93       callbacks.put("wikipedia", new wikipedia<T>());
  94
  95       final it_conj<T> it_conj_cb = new it_conj<T>();
  96       callbacks.put("it-conj", it_conj_cb);
  97       callbacks.put("it-conj-are", new it_conj_are<T>(it_conj_cb));
  98       callbacks.put("it-conj-arsi", new it_conj_are<T>(it_conj_cb));
  99       callbacks.put("it-conj-care", new it_conj_are<T>(it_conj_cb));
 100       callbacks.put("it-conj-carsi", new it_conj_are<T>(it_conj_cb));
 101       callbacks.put("it-conj-ciare", new it_conj_are<T>(it_conj_cb));
 102       callbacks.put("it-conj-ciarsi", new it_conj_are<T>(it_conj_cb));
 103       callbacks.put("it-conj-iare", new it_conj_are<T>(it_conj_cb));
 104       callbacks.put("it-conj-iarsi", new it_conj_are<T>(it_conj_cb));
 105       callbacks.put("it-conj-iare-b", new it_conj_are<T>(it_conj_cb));
 106       callbacks.put("it-conj-iarsi-b", new it_conj_are<T>(it_conj_cb));
 107       callbacks.put("it-conj-ire", new it_conj_ire<T>(it_conj_cb));
 108       callbacks.put("it-conj-irsi", new it_conj_ire<T>(it_conj_cb));
 109       callbacks.put("it-conj-ire-b", new it_conj_ire<T>(it_conj_cb));
 110       callbacks.put("it-conj-irsi-b", new it_conj_ire<T>(it_conj_cb));
 111       callbacks.put("it-conj-cire", new it_conj_ire<T>(it_conj_cb));
 112       callbacks.put("it-conj-cirsi", new it_conj_ire<T>(it_conj_cb));
 113       callbacks.put("it-conj-ire", new it_conj_ire<T>(it_conj_cb));
 114       callbacks.put("it-conj-ere", new it_conj_ere<T>(it_conj_cb));
 115       callbacks.put("it-conj-ersi", new it_conj_ere<T>(it_conj_cb));
 116       callbacks.put("it-conj-urre", new it_conj_urre<T>(it_conj_cb));
 117       callbacks.put("it-conj-ursi", new it_conj_urre<T>(it_conj_cb));
 118       callbacks.put("it-conj-fare", new it_conj_fare<T>(it_conj_cb));
 119
 120
 121       //"{{it-conj-fare|putre|avere}}\n" +
 122
 123
 124   }
 125
 126   static {
 127     addGenericCallbacks(DEFAULT);
 128
 129     FunctionCallback<EnParser> callback = new TranslationCallback<EnParser>();
 130     DEFAULT.put("t", callback);
 131     DEFAULT.put("t+", callback);
 132     DEFAULT.put("t-", callback);
 133     DEFAULT.put("tø", callback);
 134     DEFAULT.put("apdx-t", callback);
 135
 136     callback = new l_term();
 137     DEFAULT.put("l", callback);
 138     DEFAULT.put("term", callback);
 139
 140     //callback = new AppendArg0();
 141
 142     callback = new FormOf();
 143     DEFAULT.put("form of", callback);
 144     DEFAULT.put("conjugation of", callback);
 145     DEFAULT.put("participle of", callback);
 146     DEFAULT.put("present participle of", callback);
 147     DEFAULT.put("past participle of", callback);
 148     DEFAULT.put("feminine past participle of", callback);
 149     DEFAULT.put("gerund of", callback);
 150     DEFAULT.put("feminine of", callback);
 151     DEFAULT.put("plural of", callback);
 152     DEFAULT.put("feminine plural of", callback);
 153     DEFAULT.put("inflected form of", callback);
 154     DEFAULT.put("alternative form of", callback);
 155     DEFAULT.put("dated form of", callback);
 156     DEFAULT.put("apocopic form of", callback);
 157
 158     callback = new InflOrHead();
 159     DEFAULT.put("infl", callback);
 160     DEFAULT.put("head", callback);
 161   }
 162
 163   static final NameAndArgs<EnParser> NAME_AND_ARGS = new NameAndArgs<EnParser>();
 164
 165   // ------------------------------------------------------------------
 166
 167   static final class TranslationCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 168     @Override
 169     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 170         final Map<String, String> namedArgs, final T parser,
 171         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 172
 173       final String transliteration = namedArgs.remove("tr");
 174       final String alt = namedArgs.remove("alt");
 175       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 176       if (args.size() < 2) {
 177         if (!name.equals("ttbc")) {
 178           EnParser.LOG.warning("{{t...}} with wrong args: title=" + parser.title + ", " + wikiTokenizer.token());
 179         }
 180         return false;
 181       }
 182       final String langCode = ListUtil.get(args, 0);
 183       if (!appendAndIndexWikiCallback.langCodeToTCount.containsKey(langCode)) {
 184         appendAndIndexWikiCallback.langCodeToTCount.put(langCode, new AtomicInteger());
 185       }
 186       appendAndIndexWikiCallback.langCodeToTCount.get(langCode).incrementAndGet();
 187       final String word = ListUtil.get(args, 1);
 188       appendAndIndexWikiCallback.dispatch(alt != null ? alt : word, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 189
 190       // Genders...
 191       if (args.size() > 2) {
 192         appendAndIndexWikiCallback.builder.append(" {");
 193         for (int i = 2; i < args.size(); ++i) {
 194           if (i > 2) {
 195             appendAndIndexWikiCallback.builder.append("|");
 196           }
 197           appendAndIndexWikiCallback.builder.append(args.get(i));
 198         }
 199         appendAndIndexWikiCallback.builder.append("}");
 200       }
 201
 202       if (transliteration != null) {
 203         appendAndIndexWikiCallback.builder.append(" (");
 204         appendAndIndexWikiCallback.dispatch(transliteration, EntryTypeName.WIKTIONARY_TRANSLITERATION);
 205         appendAndIndexWikiCallback.builder.append(")");
 206       }
 207
 208       if (alt != null) {
 209         // If alt wasn't null, we appended alt instead of the actual word
 210         // we're filing under..
 211         appendAndIndexWikiCallback.builder.append(" (");
 212         appendAndIndexWikiCallback.dispatch(word, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 213         appendAndIndexWikiCallback.builder.append(")");
 214       }
 215
 216       // Catch-all for anything else...
 217       if (!namedArgs.isEmpty()) {
 218         appendAndIndexWikiCallback.builder.append(" {");
 219         EnParser.appendNamedArgs(namedArgs, appendAndIndexWikiCallback);
 220         appendAndIndexWikiCallback.builder.append("}");
 221       }
 222
 223       return true;
 224     }
 225   }
 226
 227   // ------------------------------------------------------------------
 228
 229   static final class QualifierCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 230     @Override
 231     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 232         final Map<String, String> namedArgs,
 233         final T parser,
 234         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 235       namedArgs.remove("lang");
 236       if (!namedArgs.isEmpty()) {
 237         EnParser.LOG.warning("weird qualifier: " + wikiTokenizer.token());
 238         return false;
 239       }
 240       appendAndIndexWikiCallback.builder.append("(");
 241       for (int i = 0; i < args.size(); ++i) {
 242           appendAndIndexWikiCallback.dispatch(args.get(i), null);
 243           if (i > 0) {
 244               appendAndIndexWikiCallback.builder.append(", ");
 245           }
 246       }
 247       appendAndIndexWikiCallback.builder.append(")");
 248       return true;
 249     }
 250   }
 251
 252   // ------------------------------------------------------------------
 253
 254   static final class EncodingCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 255     @Override
 256     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 257         final Map<String, String> namedArgs,
 258         final T parser,
 259         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 260       namedArgs.remove("lang");
 261       if (!namedArgs.isEmpty()) {
 262         EnParser.LOG.warning("weird encoding: " + wikiTokenizer.token());
 263         return false;
 264       }
 265       if (args.size() == 0) {
 266         // Things like "{{Jpan}}" exist.
 267         return true;
 268       }
 269
 270       if (name.equals("IPA")) {
 271           appendAndIndexWikiCallback.dispatch("IPA: ", null);
 272       }
 273
 274       for (int i = 0; i < args.size(); ++i) {
 275         if (i > 0) {
 276           appendAndIndexWikiCallback.builder.append(", ");
 277         }
 278         final String arg = args.get(i);
 279 //        if (arg.equals(parser.title)) {
 280 //          parser.titleAppended = true;
 281 //        }
 282         appendAndIndexWikiCallback.dispatch(arg, appendAndIndexWikiCallback.entryTypeName);
 283       }
 284
 285       return true;
 286     }
 287   }
 288
 289   // ------------------------------------------------------------------
 290
 291   static final class Gender<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 292     @Override
 293     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 294         final Map<String, String> namedArgs,
 295         final T parser,
 296         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 297       if (!namedArgs.isEmpty()) {
 298         return false;
 299       }
 300       appendAndIndexWikiCallback.builder.append("{");
 301       appendAndIndexWikiCallback.builder.append(name);
 302       for (int i = 0; i < args.size(); ++i) {
 303         appendAndIndexWikiCallback.builder.append("|").append(args.get(i));
 304       }
 305       appendAndIndexWikiCallback.builder.append("}");
 306       return true;
 307     }
 308   }
 309
 310   // ------------------------------------------------------------------
 311
 312   static final class l_term implements FunctionCallback<EnParser> {
 313     @Override
 314     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 315         final Map<String, String> namedArgs,
 316         final EnParser parser,
 317         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 318
 319       // for {{l}}, lang is arg 0, but not for {{term}}
 320       if (name.equals("term")) {
 321         args.add(0, "");
 322       }
 323
 324       final EntryTypeName entryTypeName;
 325       switch (parser.state) {
 326       case TRANSLATION_LINE: entryTypeName = EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT; break;
 327       case ENGLISH_DEF_OF_FOREIGN: entryTypeName = EntryTypeName.WIKTIONARY_ENGLISH_DEF_WIKI_LINK; break;
 328       default: throw new IllegalStateException("Invalid enum value: " + parser.state);
 329       }
 330
 331       final String langCode = args.get(0);
 332       final IndexBuilder indexBuilder;
 333       if ("".equals(langCode)) {
 334         indexBuilder = parser.foreignIndexBuilder;
 335       } else if ("en".equals(langCode)) {
 336         indexBuilder = parser.enIndexBuilder;
 337       } else {
 338         indexBuilder = parser.foreignIndexBuilder;
 339       }
 340
 341       String displayText = ListUtil.get(args, 2, "");
 342       if (displayText.equals("")) {
 343         displayText = ListUtil.get(args, 1, null);
 344       }
 345
 346       if (displayText != null) {
 347         appendAndIndexWikiCallback.dispatch(displayText, indexBuilder, entryTypeName);
 348       } else {
 349         EnParser.LOG.warning("no display text: " + wikiTokenizer.token());
 350       }
 351
 352       final String tr = namedArgs.remove("tr");
 353       if (tr != null) {
 354         appendAndIndexWikiCallback.builder.append(" (");
 355         appendAndIndexWikiCallback.dispatch(tr, indexBuilder, EntryTypeName.WIKTIONARY_TRANSLITERATION);
 356         appendAndIndexWikiCallback.builder.append(")");
 357       }
 358
 359       final String gloss = ListUtil.get(args, 3, "");
 360       if (!gloss.equals("")) {
 361         appendAndIndexWikiCallback.builder.append(" (");
 362         appendAndIndexWikiCallback.dispatch(gloss, parser.enIndexBuilder, EntryTypeName.WIKTIONARY_ENGLISH_DEF);
 363         appendAndIndexWikiCallback.builder.append(")");
 364       }
 365
 366       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 367       if (!namedArgs.isEmpty()) {
 368         appendAndIndexWikiCallback.builder.append(" {").append(name);
 369         EnParser.appendNamedArgs(namedArgs, appendAndIndexWikiCallback);
 370         appendAndIndexWikiCallback.builder.append("}");
 371       }
 372
 373       return true;
 374     }
 375   }
 376
 377   // ------------------------------------------------------------------
 378
 379   static final class AppendArg0<T extends AbstractWiktionaryParser> implements FunctionCallback<EnParser> {
 380     @Override
 381     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 382         final Map<String, String> namedArgs,
 383         final EnParser parser,
 384         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 385       if (args.size() != 1 || !namedArgs.isEmpty()) {
 386         return false;
 387       }
 388       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 389
 390       final String tr = namedArgs.remove("tr");
 391       if (tr != null) {
 392         appendAndIndexWikiCallback.builder.append(" (");
 393         appendAndIndexWikiCallback.dispatch(tr, EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 394         appendAndIndexWikiCallback.builder.append(")");
 395         parser.wordForms.add(tr);
 396       }
 397
 398       return true;
 399     }
 400   }
 401
 402   // ------------------------------------------------------------------
 403
 404   static final class italbrac<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 405     @Override
 406     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 407         final Map<String, String> namedArgs,
 408         final T parser,
 409         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 410       if (args.size() != 1 || !namedArgs.isEmpty()) {
 411         return false;
 412       }
 413       appendAndIndexWikiCallback.builder.append("(");
 414       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 415       appendAndIndexWikiCallback.builder.append(")");
 416       return true;
 417     }
 418   }
 419
 420   // ------------------------------------------------------------------
 421
 422   static final class gloss<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 423     @Override
 424     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 425         final Map<String, String> namedArgs,
 426         final T parser,
 427         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 428       if (args.size() != 1 || !namedArgs.isEmpty()) {
 429         return false;
 430       }
 431       appendAndIndexWikiCallback.builder.append("(");
 432       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 433       appendAndIndexWikiCallback.builder.append(")");
 434       return true;
 435     }
 436   }
 437
 438   // ------------------------------------------------------------------
 439
 440   static final class Ignore<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 441     @Override
 442     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 443         final Map<String, String> namedArgs,
 444         final T parser,
 445         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 446       return true;
 447     }
 448   }
 449
 450   // ------------------------------------------------------------------
 451
 452   static final class not_used<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 453     @Override
 454     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 455         final Map<String, String> namedArgs,
 456         final T parser,
 457         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 458       appendAndIndexWikiCallback.builder.append("(not used)");
 459       return true;
 460     }
 461   }
 462
 463
 464   // ------------------------------------------------------------------
 465
 466   static final class AppendName<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 467     @Override
 468     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 469         final Map<String, String> namedArgs,
 470         final T parser,
 471         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 472       if (!args.isEmpty() || !namedArgs.isEmpty()) {
 473         return false;
 474       }
 475       appendAndIndexWikiCallback.builder.append(name);
 476       return true;
 477     }
 478   }
 479
 480   // --------------------------------------------------------------------
 481   // --------------------------------------------------------------------
 482
 483
 484   static final class FormOf implements FunctionCallback<EnParser> {
 485     @Override
 486     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 487         final Map<String, String> namedArgs,
 488         final EnParser parser,
 489         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 490       parser.entryIsFormOfSomething = true;
 491       String formName = name;
 492       if (name.equals("form of")) {
 493         formName = ListUtil.remove(args, 0, null);
 494       }
 495       if (formName == null) {
 496         EnParser.LOG.warning("Missing form name: " + parser.title);
 497         formName = "form of";
 498       }
 499       String baseForm = ListUtil.get(args, 1, "");
 500       if ("".equals(baseForm)) {
 501         baseForm = ListUtil.get(args, 0, null);
 502         ListUtil.remove(args, 1, "");
 503       } else {
 504         ListUtil.remove(args, 0, null);
 505       }
 506       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 507
 508       appendAndIndexWikiCallback.builder.append("{");
 509       NAME_AND_ARGS.onWikiFunction(wikiTokenizer, formName, args, namedArgs, parser, appendAndIndexWikiCallback);
 510       appendAndIndexWikiCallback.builder.append("}");
 511       if (baseForm != null && appendAndIndexWikiCallback.indexedEntry != null) {
 512         parser.foreignIndexBuilder.addEntryWithString(appendAndIndexWikiCallback.indexedEntry, baseForm, EntryTypeName.WIKTIONARY_BASE_FORM_MULTI);
 513       } else {
 514         // null baseForm happens in Danish.
 515         EnParser.LOG.warning("Null baseform: " + parser.title);
 516       }
 517       return true;
 518     }
 519   }
 520
 521   static final EnFunctionCallbacks.FormOf FORM_OF = new FormOf();
 522
 523
 524   // --------------------------------------------------------------------
 525   // --------------------------------------------------------------------
 526
 527   static final class wikipedia<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 528     @Override
 529     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 530         final Map<String, String> namedArgs,
 531         final T parser,
 532         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 533       namedArgs.remove("lang");
 534       if (args.size() > 1 || !namedArgs.isEmpty()) {
 535         // Unindexed!
 536         return false;
 537       } else if (args.size() == 1) {
 538         return false;
 539       } else {
 540         return true;
 541       }
 542     }
 543   }
 544
 545   static final class InflOrHead implements FunctionCallback<EnParser> {
 546     @Override
 547     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 548         final Map<String, String> namedArgs,
 549         final EnParser parser,
 550         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 551       // See: http://en.wiktionary.org/wiki/Template:infl
 552       // TODO: Actually these functions should start a new WordPOS:
 553       // See: http://en.wiktionary.org/wiki/quattro
 554       final String langCode = ListUtil.get(args, 0);
 555       String head = namedArgs.remove("head");
 556       if (head == null) {
 557         head = namedArgs.remove("title"); // Bug
 558       }
 559       if (head == null) {
 560         head = parser.title;
 561       }
 562
 563       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 564
 565       final String tr = namedArgs.remove("tr");
 566       String g = namedArgs.remove("g");
 567       if (g == null) {
 568         g = namedArgs.remove("gender");
 569       }
 570       final String g2 = namedArgs.remove("g2");
 571       final String g3 = namedArgs.remove("g3");
 572
 573       // We might have already taken care of this in a generic way...
 574       if (!parser.titleAppended) {
 575         appendAndIndexWikiCallback.dispatch(head, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 576         parser.titleAppended = true;
 577       }
 578
 579       if (g != null) {
 580         appendAndIndexWikiCallback.builder.append(" {").append(g);
 581         if (g2 != null) {
 582           appendAndIndexWikiCallback.builder.append("|").append(g2);
 583         }
 584         if (g3 != null) {
 585           appendAndIndexWikiCallback.builder.append("|").append(g3);
 586         }
 587         appendAndIndexWikiCallback.builder.append("}");
 588       }
 589
 590       if (tr != null) {
 591         appendAndIndexWikiCallback.builder.append(" (");
 592         appendAndIndexWikiCallback.dispatch(tr, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 593         appendAndIndexWikiCallback.builder.append(")");
 594         parser.wordForms.add(tr);
 595       }
 596
 597       final String pos = ListUtil.get(args, 1);
 598       if (pos != null) {
 599         appendAndIndexWikiCallback.builder.append(" (").append(pos).append(")");
 600       }
 601       for (int i = 2; i < args.size(); i += 2) {
 602         final String inflName = ListUtil.get(args, i);
 603         final String inflValue = ListUtil.get(args, i + 1);
 604         appendAndIndexWikiCallback.builder.append(", ");
 605         appendAndIndexWikiCallback.dispatch(inflName, null, null);
 606         if (inflValue != null && inflValue.length() > 0) {
 607           appendAndIndexWikiCallback.builder.append(": ");
 608           appendAndIndexWikiCallback.dispatch(inflValue, null, null);
 609           parser.wordForms.add(inflValue);
 610         }
 611       }
 612       for (final String key : namedArgs.keySet()) {
 613         final String value = WikiTokenizer.toPlainText(namedArgs.get(key));
 614         appendAndIndexWikiCallback.builder.append(" ");
 615         appendAndIndexWikiCallback.dispatch(key, null, null);
 616         appendAndIndexWikiCallback.builder.append("=");
 617         appendAndIndexWikiCallback.dispatch(value, null, null);
 618         parser.wordForms.add(value);
 619       }
 620       return true;
 621     }
 622   }
 623
 624   static final class etyl<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 625       @Override
 626       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 627           final Map<String, String> namedArgs,
 628           final T parser,
 629           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 630         final String langCode = ListUtil.get(args, 0);
 631         if (langCode == null) {
 632             return false;
 633         }
 634         String langName = WiktionaryLangs.getEnglishName(langCode);
 635         if (langName != null) {
 636             appendAndIndexWikiCallback.dispatch(langName, null);
 637         } else {
 638             appendAndIndexWikiCallback.dispatch("lang:" + langCode, null);
 639         }
 640         return true;
 641       }
 642   }
 643
 644   static final class term<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 645       @Override
 646       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 647           final Map<String, String> namedArgs,
 648           final T parser,
 649           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 650         namedArgs.remove("sc");
 651
 652         // Main text.
 653         final String lang = namedArgs.remove("lang");
 654         String head = ListUtil.get(args, 0);
 655         String display = ListUtil.get(args, 1);
 656         if (StringUtil.isNullOrEmpty(head) && StringUtil.isNullOrEmpty(display)) {
 657             head = display = parser.title;
 658         }
 659         if (StringUtil.isNullOrEmpty(head)) {
 660             // Dispatches formatted wiki text.
 661             appendAndIndexWikiCallback.dispatch(display, null);
 662         } else {
 663             if (StringUtil.isNullOrEmpty(display)) {
 664                 display = head;
 665             }
 666             appendAndIndexWikiCallback.dispatch(String.format("[[%s|%s]]", display, head), null);
 667         }
 668
 669         // Stuff in ()s.
 670         final String tr = namedArgs.remove("tr");
 671         final String pos = namedArgs.remove("pos");
 672         String gloss = ListUtil.get(args, 2);
 673         String literally = namedArgs.remove("lit");
 674         if (!StringUtil.isNullOrEmpty(gloss)) {
 675             gloss = String.format("\"%s\"", gloss);
 676         }
 677         if (!StringUtil.isNullOrEmpty(literally)) {
 678             literally = String.format("literally %s", literally);
 679         }
 680         final List<String> inParens = new ArrayList<String>(Arrays.asList(tr, pos, gloss, literally));
 681         cleanList(inParens);
 682         appendCommaSeparatedList(appendAndIndexWikiCallback, inParens);
 683
 684         if (tr != null) {
 685             parser.addLinkToCurrentEntry(tr, lang, EntryTypeName.WIKTIONARY_MENTIONED);
 686         }
 687         return namedArgs.isEmpty();
 688       }
 689
 690     private void appendCommaSeparatedList(
 691             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
 692             final List<String> inParens) {
 693         if (!inParens.isEmpty()) {
 694             appendAndIndexWikiCallback.dispatch(" (", null);
 695             for (int i = 0; i < inParens.size(); ++i) {
 696                 if (i > 0) {
 697                     appendAndIndexWikiCallback.dispatch(", ", null);
 698                 }
 699                 appendAndIndexWikiCallback.dispatch(inParens.get(i), null);
 700             }
 701             appendAndIndexWikiCallback.dispatch(")", null);
 702         }
 703     }
 704
 705   }
 706
 707   private static void cleanList(List<String> asList) {
 708       int pos;
 709       while ((pos = asList.indexOf("")) != -1) {
 710           asList.remove(pos);
 711       }
 712       while ((pos = asList.indexOf(null)) != -1) {
 713           asList.remove(pos);
 714       }
 715   }
 716
 717
 718   static {
 719     DEFAULT.put("it-noun", new it_noun());
 720   }
 721   static final class it_noun implements FunctionCallback<EnParser> {
 722     @Override
 723     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 724         final Map<String, String> namedArgs,
 725         final EnParser parser,
 726         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 727       parser.titleAppended = true;
 728       final String gender = ListUtil.get(args, 0);
 729       final String singular = parser.title;
 730       final String plural = ListUtil.get(args, 1, null);
 731       appendAndIndexWikiCallback.builder.append(" ");
 732       appendAndIndexWikiCallback.dispatch(singular, null, null);
 733       appendAndIndexWikiCallback.builder.append(" {").append(gender).append("}, ");
 734       if (plural != null) {
 735         appendAndIndexWikiCallback.dispatch(plural, null, null);
 736         appendAndIndexWikiCallback.builder.append(" {pl}");
 737         parser.wordForms.add(plural);
 738       }
 739       final String f = namedArgs.remove("f");
 740       if (f != null) {
 741           appendAndIndexWikiCallback.builder.append(", ");
 742           appendAndIndexWikiCallback.dispatch(f, null, null);
 743           appendAndIndexWikiCallback.builder.append(" {f}");
 744       }
 745       final String m = namedArgs.remove("m");
 746       if (m != null) {
 747           appendAndIndexWikiCallback.builder.append(", ");
 748           appendAndIndexWikiCallback.dispatch(m, null, null);
 749           appendAndIndexWikiCallback.builder.append(" {m}");
 750       }
 751       parser.wordForms.add(singular);
 752       if (!namedArgs.isEmpty() || args.size() > 4) {
 753         EnParser.LOG.warning("Invalid it-noun: " + wikiTokenizer.token());
 754       }
 755       return true;
 756     }
 757   }
 758
 759   static {
 760     DEFAULT.put("it-proper noun", new it_proper_noun<EnParser>());
 761   }
 762   static final class it_proper_noun<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 763     @Override
 764     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 765         final Map<String, String> namedArgs,
 766         final T parser,
 767         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 768       return false;
 769     }
 770   }
 771
 772   // -----------------------------------------------------------------------
 773   // Italian stuff
 774   // -----------------------------------------------------------------------
 775
 776 static final class it_conj_are<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 777     final it_conj<T> dest;
 778     it_conj_are(it_conj<T> dest) {
 779       this.dest = dest;
 780     }
 781     @Override
 782       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 783           final Map<String, String> namedArgs,
 784           final T parser,
 785           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 786         final String h = name.equals("it-conj-care") || name.equals("it-conj-carsi") ? "h" : "";
 787         final String i = name.equals("it-conj-ciare") || name.equals("it-conj-ciarsi") ? "i" : "";
 788         final String i2 = name.equals("it-conj-iare") || name.equals("it-conj-iarsi") ? "" : "i";
 789         final boolean si = name.equals("it-conj-arsi") || name.equals("it-conj-iarsi") || name.equals("it-conj-iarsi-b") || name.equals("it-conj-carsi") || name.equals("it-conj-ciarsi");
 790         final String root = args.get(0);
 791         passThroughOrFillIn(namedArgs, "inf", root + i + (si ? "arsi" : "are"), false);
 792         namedArgs.put("aux", ListUtil.get(args, 1, ""));
 793         passThroughOrFillIn(namedArgs, "ger", root + i + "ando" + (si ? "si" : ""), true);
 794         passThroughOrFillIn(namedArgs, "presp", root + i + "ante"+ (si ? "si" : ""), true);
 795         passThroughOrFillIn(namedArgs, "pastp", root + i + "ato", true);
 796         if (si) {
 797             passThroughOrFillIn(namedArgs, "pastp2", root + i + "atosi", true);
 798         }
 799         final String i2b = (name.equals("it-conj-iare-b") || name.equals("it-conj-iarsi-b")) ? "" : i2;
 800
 801         it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList(i + "o", h + i2, i + "a", h + i2 + "amo", i + "ate", i + "ano"));
 802         it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList(i + "avo", i + "avi", i + "ava", i + "avamo", i + "avate", i + "avano"));
 803         it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList(i + "ai", i + "asti", i + "ò", i + "ammo", i + "aste", i + "arono"));
 804         it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList(h + "erò", h + "erai", h + "erà", h + "eremo", h + "erete", h + "eranno"));
 805         it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList(h + "erei", h + "eresti", h + "erebbe", h + "eremmo", h + "ereste", h + "erebbero"));
 806
 807         passThroughOrFillIn(namedArgs, "sub123s", root + h + i2, false);
 808         passThroughOrFillIn(namedArgs, "sub1p", root + h + i2b + "amo", false);
 809         passThroughOrFillIn(namedArgs, "sub2p", root + h + i2b + "ate", false);
 810         passThroughOrFillIn(namedArgs, "sub3p", root + h + i2 + "no", false);
 811
 812         passThroughOrFillIn(namedArgs, "impsub12s", root + i + "assi", false);
 813         passThroughOrFillIn(namedArgs, "impsub3s", root + i + "asse", false);
 814         passThroughOrFillIn(namedArgs, "impsub1p", root + i + "assimo", false);
 815         passThroughOrFillIn(namedArgs, "impsub2p", root + i + "aste", false);
 816         passThroughOrFillIn(namedArgs, "impsub3p", root + i + "assero", false);
 817
 818         passThroughOrFillIn(namedArgs, "imp2s", root + i + "a" + (si ? "ti" : ""), true);
 819         passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + h + i2, true);
 820         passThroughOrFillIn(namedArgs, "imp1p", root + h + i2b + "amo" + (si ? "ci" : ""), true);
 821         passThroughOrFillIn(namedArgs, "imp2p", root + i + "ate" + (si ? "vi" : ""), true);
 822         passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + h + i2 + "no", true);
 823
 824         return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 825       }
 826     }
 827
 828   static final class it_conj_ire<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 829     final it_conj<T> dest;
 830     it_conj_ire(it_conj<T> dest) {
 831       this.dest = dest;
 832     }
 833     @Override
 834       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 835           final Map<String, String> namedArgs,
 836           final T parser,
 837           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 838         final String root = args.get(0);
 839         final String i = name.equals("it-conj-cire") || name.equals("it-conj-cirsi") ? "i" : "";
 840         final boolean si = name.equals("it-conj-irsi") || name.equals("it-conj-irsi-b") || name.equals("it-conj-cirsi");
 841
 842         passThroughOrFillIn(namedArgs, "inf", root + (si ? "irsi" : "ire"), false);
 843         namedArgs.put("aux", ListUtil.get(args, 1, ""));
 844         passThroughOrFillIn(namedArgs, "ger", root + "endo" + (si ? "si" : ""), true);
 845         passThroughOrFillIn(namedArgs, "presp", root + "ente" + (si ? "si" : ""), true);
 846         passThroughOrFillIn(namedArgs, "pastp", root + "ito", true);
 847         if (si) {
 848             passThroughOrFillIn(namedArgs, "pastp2", root + "itosi", true);
 849         }
 850         if (!name.endsWith("-b")) {
 851             it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList(i + "o", "i", "e", "iamo", "ite", i + "ono"));
 852         } else {
 853             it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("isco", "isci", "isce", "iamo", "ite", "iscono"));
 854         }
 855         it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("ivo", "ivi", "iva", "ivamo", "ivate", "ivano"));
 856         it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ii", "isti", "ì", "immo", "iste", "irono"));
 857         // Regular past historic synonyms:
 858         passThroughOrFillIn(namedArgs, "prem3s2", root + "é", true);
 859         passThroughOrFillIn(namedArgs, "prem3p2", root + "erono", true);
 860         it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("irò", "irai", "irà", "iremo", "irete", "iranno"));
 861         it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("irei", "iresti", "irebbe", "iremmo", "ireste", "irebbero"));
 862
 863         if (!name.endsWith("-b")) {
 864             passThroughOrFillIn(namedArgs, "sub123s", root + i + "a", false);
 865             passThroughOrFillIn(namedArgs, "sub3p", root + i + "ano", false);
 866         } else {
 867             passThroughOrFillIn(namedArgs, "sub123s", root + "isca", false);
 868             passThroughOrFillIn(namedArgs, "sub3p", root + "iscano", false);
 869         }
 870         passThroughOrFillIn(namedArgs, "sub1p", root + "iamo", false);
 871         passThroughOrFillIn(namedArgs, "sub2p", root + "iate", false);
 872
 873         passThroughOrFillIn(namedArgs, "impsub12s", root + "issi", false);
 874         passThroughOrFillIn(namedArgs, "impsub3s", root + "isse", false);
 875         passThroughOrFillIn(namedArgs, "impsub1p", root + "issimo", false);
 876         passThroughOrFillIn(namedArgs, "impsub2p", root + "iste", false);
 877         passThroughOrFillIn(namedArgs, "impsub3p", root + "issero", false);
 878
 879         if (!name.endsWith("-b")) {
 880             passThroughOrFillIn(namedArgs, "imp2s", root + "i" + (si ? "ti" : ""), true);
 881             passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + i + "a", true);
 882             passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + i + "ano", true);
 883         } else {
 884             passThroughOrFillIn(namedArgs, "imp2s", root + "isci" + (si ? "ti" : ""), true);
 885             passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + "isca", true);
 886             passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + "iscano", true);
 887         }
 888         passThroughOrFillIn(namedArgs, "imp1p", root + "iamo" + (si ? "ci" : ""), true);
 889         passThroughOrFillIn(namedArgs, "imp2p", root + "ite" + (si ? "vi" : ""), true);
 890
 891         return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 892       }
 893     }
 894
 895
 896   static final class it_conj_ere<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 897       final it_conj<T> dest;
 898       it_conj_ere(it_conj<T> dest) {
 899         this.dest = dest;
 900       }
 901       @Override
 902         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 903             final Map<String, String> namedArgs,
 904             final T parser,
 905             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 906           final String root = args.get(0);
 907           final boolean si = name.equals("it-conj-ersi");
 908
 909           passThroughOrFillIn(namedArgs, "inf", root + (si ? "ersi" : "ere"), false);
 910           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 911           passThroughOrFillIn(namedArgs, "ger", root + "endo" + (si ? "si" : ""), true);
 912           passThroughOrFillIn(namedArgs, "presp", root + "ente" + (si ? "si" : ""), true);
 913           passThroughOrFillIn(namedArgs, "pastp", root + "uto", true);
 914           if (si) {
 915               passThroughOrFillIn(namedArgs, "pastp2", root + "utosi", true);
 916           }
 917           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("o", "i", "e", "iamo", "ete", "ono"));
 918           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("evo", "evi", "eva", "evamo", "evate", "evano"));
 919           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ei", "esti", "ette", "emmo", "este", "ettero"));
 920           // Regular past historic synonyms:
 921           passThroughOrFillIn(namedArgs, "prem3s2", root + "é", true);
 922           passThroughOrFillIn(namedArgs, "prem3p2", root + "erono", true);
 923           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("erò", "erai", "erà", "eremo", "erete", "eranno"));
 924           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("erei", "eresti", "erebbe", "eremmo", "ereste", "erebbero"));
 925
 926           passThroughOrFillIn(namedArgs, "sub123s", root + "a", false);
 927           passThroughOrFillIn(namedArgs, "sub1p", root + "iamo", false);
 928           passThroughOrFillIn(namedArgs, "sub2p", root + "iate", false);
 929           passThroughOrFillIn(namedArgs, "sub3p", root + "ano", false);
 930
 931           passThroughOrFillIn(namedArgs, "impsub12s", root + "essi", false);
 932           passThroughOrFillIn(namedArgs, "impsub3s", root + "esse", false);
 933           passThroughOrFillIn(namedArgs, "impsub1p", root + "essimo", false);
 934           passThroughOrFillIn(namedArgs, "impsub2p", root + "este", false);
 935           passThroughOrFillIn(namedArgs, "impsub3p", root + "essero", false);
 936
 937           passThroughOrFillIn(namedArgs, "imp2s", root + "i" + (si ? "ti" : ""), true);
 938           passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + "a", true);
 939           passThroughOrFillIn(namedArgs, "imp1p", root + "iamo" + (si ? "ci" : ""), true);
 940           passThroughOrFillIn(namedArgs, "imp2p", root + "ete" + (si ? "vi" : ""), true);
 941           passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + "ano", true);
 942
 943           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 944         }
 945       }
 946
 947   static final class it_conj_urre<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 948       final it_conj<T> dest;
 949       it_conj_urre(it_conj<T> dest) {
 950         this.dest = dest;
 951       }
 952       @Override
 953         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 954             final Map<String, String> namedArgs,
 955             final T parser,
 956             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 957           final String root = args.get(0);
 958           final boolean si = name.equals("it-conj-ursi");
 959
 960           passThroughOrFillIn(namedArgs, "inf", root + (si ? "ursi" : "urre"), false);
 961           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 962           passThroughOrFillIn(namedArgs, "ger", root + "ucendo" + (si ? "si" : ""), true);
 963           passThroughOrFillIn(namedArgs, "presp", root + "ucente" + (si ? "si" : ""), true);
 964           passThroughOrFillIn(namedArgs, "pastp", root + "otto", true);
 965           if (si) {
 966               passThroughOrFillIn(namedArgs, "pastp2", root + "ottosi", true);
 967           }
 968           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("uco", "uci", "uce", "uciamo", "ucete", "ucono"));
 969           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("ucevo", "ucevi", "uceva", "ucevamo", "ucevate", "ucevano"));
 970           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ussi", "ucesti", "usse", "ucemmo", "uceste", "ussero"));
 971           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("urrò", "urrai", "urrà", "urremo", "urrete", "urranno"));
 972           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("urrei", "urresti", "urrebbe", "urremmo", "urreste", "urrebbero"));
 973
 974           passThroughOrFillIn(namedArgs, "sub123s", root + "uca", false);
 975           passThroughOrFillIn(namedArgs, "sub1p", root + "uciamo", false);
 976           passThroughOrFillIn(namedArgs, "sub2p", root + "uciate", false);
 977           passThroughOrFillIn(namedArgs, "sub3p", root + "ucano", false);
 978
 979           passThroughOrFillIn(namedArgs, "impsub12s", root + "ucessi", false);
 980           passThroughOrFillIn(namedArgs, "impsub3s", root + "ucesse", false);
 981           passThroughOrFillIn(namedArgs, "impsub1p", root + "ucessimo", false);
 982           passThroughOrFillIn(namedArgs, "impsub2p", root + "uceste", false);
 983           passThroughOrFillIn(namedArgs, "impsub3p", root + "ucessero", false);
 984
 985           passThroughOrFillIn(namedArgs, "imp2s", root + "uci" + (si ? "ti" : ""), true);
 986           passThroughOrFillIn(namedArgs, "imp3s", (si ? "si" : "") + root + "uca", true);
 987           passThroughOrFillIn(namedArgs, "imp1p", root + "uciamo" + (si ? "ci" : ""), true);
 988           passThroughOrFillIn(namedArgs, "imp2p", root + "ucete" + (si ? "vi" : ""), true);
 989           passThroughOrFillIn(namedArgs, "imp3p", (si ? "si" : "") + root + "ucano", true);
 990
 991           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 992         }
 993       }
 994
 995   static final class it_conj_fare<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 996       final it_conj<T> dest;
 997       it_conj_fare(it_conj<T> dest) {
 998         this.dest = dest;
 999       }
1000       @Override
1001         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
1002             final Map<String, String> namedArgs,
1003             final T parser,
1004             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
1005           final String root = args.get(0);
1006           passThroughOrFillIn(namedArgs, "inf", root + "fare", false);
1007           namedArgs.put("aux", ListUtil.get(args, 1, ""));
1008           passThroughOrFillIn(namedArgs, "ger", root + "facendo", true);
1009           passThroughOrFillIn(namedArgs, "presp", root + "facente", true);
1010           passThroughOrFillIn(namedArgs, "pastp", root + "fatto", true);
1011           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("faccio", "fai", "fà", "facciamo", "fate", "fanno"));
1012           passThroughOrFillIn(namedArgs, "pres1s2", root + "fò", true);
1013           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("facevo", "facevi", "faceva", "facevamo", "facevate", "facevano"));
1014           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("feci", "facesti", "fece", "facemmo", "faceste", "fecero"));
1015           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("farò", "farai", "farà", "faremo", "farete", "faranno"));
1016           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("farei", "faresti", "farebbe", "faremmo", "fareste", "farebbero"));
1017
1018           passThroughOrFillIn(namedArgs, "sub123s", root + "faccia", false);
1019           passThroughOrFillIn(namedArgs, "sub1p", root + "facciamo", false);
1020           passThroughOrFillIn(namedArgs, "sub2p", root + "facciate", false);
1021           passThroughOrFillIn(namedArgs, "sub3p", root + "facciano", false);
1022
1023           passThroughOrFillIn(namedArgs, "impsub12s", root + "facessi", false);
1024           passThroughOrFillIn(namedArgs, "impsub3s", root + "facesse", false);
1025           passThroughOrFillIn(namedArgs, "impsub1p", root + "facessimo", false);
1026           passThroughOrFillIn(namedArgs, "impsub2p", root + "faceste", false);
1027           passThroughOrFillIn(namedArgs, "impsub3p", root + "facessero", false);
1028
1029           passThroughOrFillIn(namedArgs, "imp2s", root + "fa", true);
1030           passThroughOrFillIn(namedArgs, "imp3s", root + "faccia", true);
1031           passThroughOrFillIn(namedArgs, "imp1p", root + "facciamo", true);
1032           passThroughOrFillIn(namedArgs, "imp2p", root + "fate", true);
1033           passThroughOrFillIn(namedArgs, "imp3p", root + "facciano", true);
1034
1035           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
1036         }
1037       }
1038
1039   static final Map<String,String> it_indicativePronouns = new LinkedHashMap<String, String>();
1040   static {
1041       it_indicativePronouns.put("1s", "io");
1042       it_indicativePronouns.put("2s", "tu");
1043       it_indicativePronouns.put("3s", "lui/lei");
1044       it_indicativePronouns.put("1p", "noi");
1045       it_indicativePronouns.put("2p", "voi");
1046       it_indicativePronouns.put("3p", "essi/esse");
1047   }
1048
1049   static final Map<String,String> it_subjunctivePronouns = new LinkedHashMap<String, String>();
1050   static {
1051       it_subjunctivePronouns.put("1s", "che io");
1052       it_subjunctivePronouns.put("2s", "che tu");
1053       it_subjunctivePronouns.put("3s", "che lui/lei");
1054       it_subjunctivePronouns.put("1p", "che noi");
1055       it_subjunctivePronouns.put("2p", "che voi");
1056       it_subjunctivePronouns.put("3p", "che essi/esse");
1057   }
1058
1059   static final Map<String,String> it_imperativePronouns = new LinkedHashMap<String, String>();
1060   static {
1061       it_imperativePronouns.put("1s", "-");
1062       it_imperativePronouns.put("2s", "tu");
1063       it_imperativePronouns.put("3s", "lui/lei");
1064       it_imperativePronouns.put("1p", "noi");
1065       it_imperativePronouns.put("2p", "voi");
1066       it_imperativePronouns.put("3p", "essi/esse");
1067   }
1068
1069
1070   static final class it_conj<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
1071       @Override
1072       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
1073           final Map<String, String> namedArgs,
1074           final T parser,
1075           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
1076
1077         final StringBuilder builder = appendAndIndexWikiCallback.builder;
1078
1079         final String inf = namedArgs.get("inf");
1080
1081         // TODO: center everything horizontally.
1082         builder.append("<table style=\"background:#F0F0F0\">");
1083
1084         builder.append("<tr>");
1085         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">infinito</th>");
1086         builder.append("<td colspan=\"1\">");
1087         appendAndIndexWikiCallback.dispatch(MapUtil.safeRemove(namedArgs, "inf", "-"), null);
1088         builder.append("</td>");
1089         builder.append("</tr>\n");
1090
1091         builder.append("<tr>");
1092         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">verbo ausiliare</th>");
1093         builder.append("<td colspan=\"1\">");
1094         appendAndIndexWikiCallback.dispatch(MapUtil.safeRemove(namedArgs, "aux", "-"), null);
1095         builder.append("</td>");
1096         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">gerundio</th>");
1097         builder.append("<td colspan=\"1\">");
1098         outputKeyVariations(appendAndIndexWikiCallback, builder, "ger", namedArgs, true);
1099         builder.append("</td>");
1100         builder.append("</tr>\n");
1101
1102         builder.append("<tr>");
1103         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">participio presente</th>");
1104         builder.append("<td colspan=\"1\">");
1105         outputKeyVariations(appendAndIndexWikiCallback, builder, "presp", namedArgs, true);
1106         builder.append("</td>");
1107         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">participio passato</th>");
1108         builder.append("<td colspan=\"1\">");
1109         outputKeyVariations(appendAndIndexWikiCallback, builder, "pastp", namedArgs, true);
1110         builder.append("</td>");
1111         builder.append("</tr>\n");
1112
1113         final List<String> prefixes = (inf != null && inf.endsWith("si")) ? it_reflexive_pronouns : it_empty;
1114
1115         String style = " style=\"background:#c0cfe4\"";
1116         outputDataRow(appendAndIndexWikiCallback, style, "indicativo", style, "th", "", new LinkedHashMap<String, String>(it_indicativePronouns), it_empty, false);
1117         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "pres", namedArgs, prefixes, true);
1118         outputDataRow(appendAndIndexWikiCallback, style, "imperfetto", "", "td", "imperf", namedArgs, prefixes, true);
1119         outputDataRow(appendAndIndexWikiCallback, style, "passato remoto", "", "td", "prem", namedArgs, prefixes, true);
1120         outputDataRow(appendAndIndexWikiCallback, style, "futuro", "", "td", "fut", namedArgs, prefixes, true);
1121
1122         style = " style=\"background:#c0d8e4\"";
1123         outputDataRow(appendAndIndexWikiCallback, style, "condizionale", style, "th", "", new LinkedHashMap<String, String>(it_indicativePronouns), it_empty, false);
1124         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "cond", namedArgs, prefixes, true);
1125
1126         style = " style=\"background:#c0e4c0\"";
1127         outputDataRow(appendAndIndexWikiCallback, style, "congiuntivo", style, "th", "", new LinkedHashMap<String, String>(it_subjunctivePronouns), it_empty, false);
1128         namedArgs.put("sub3s2", namedArgs.remove("sub3s"));
1129         namedArgs.put("sub1s", namedArgs.get("sub123s"));
1130         namedArgs.put("sub2s", namedArgs.get("sub123s"));
1131         namedArgs.put("sub3s", namedArgs.remove("sub123s"));
1132         namedArgs.put("sub1s2", namedArgs.get("sub123s2"));
1133         namedArgs.put("sub2s2", namedArgs.get("sub123s2"));
1134         namedArgs.put("sub3s2", namedArgs.remove("sub123s2"));
1135         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "sub", namedArgs, prefixes, true);
1136         namedArgs.put("impsub1s", namedArgs.get("impsub12s"));
1137         namedArgs.put("impsub2s", namedArgs.remove("impsub12s"));
1138         namedArgs.put("impsub1s2", namedArgs.get("impsub12s2"));
1139         namedArgs.put("impsub2s2", namedArgs.remove("impsub12s2"));
1140         outputDataRow(appendAndIndexWikiCallback, style, "imperfetto", "", "td", "impsub", namedArgs, prefixes, true);
1141
1142         style = " style=\"background:#e4d4c0\"";
1143         outputDataRow(appendAndIndexWikiCallback, style, "imperativo", style, "th", "", new LinkedHashMap<String, String>(it_imperativePronouns), it_empty, false);
1144         outputDataRow(appendAndIndexWikiCallback, style, "", "", "td", "imp", namedArgs, it_empty, false);  // these are attached to the stem.
1145
1146         builder.append("</table>\n");
1147
1148         if (!namedArgs.isEmpty()) {
1149             System.err.println("NON-EMPTY namedArgs: " + namedArgs);
1150             if ("muovesse".equals(namedArgs.get("impsib3s2"))) {
1151                 return false;
1152             }
1153             if ("percuotesse".equals(namedArgs.get("impsib3s2"))) {
1154                 return false;
1155             }
1156             // Too many to deal with:
1157             //assert false;
1158             return false;
1159         }
1160
1161         return true;
1162       }
1163
1164         private void outputDataRow(AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
1165                 String col1Style, String headerName,
1166                 String col2Style, final String type2,
1167                 String moodName, Map<String, String> namedArgs, final List<String> prefixes, final boolean isForm) {
1168             final StringBuilder builder = appendAndIndexWikiCallback.builder;
1169             builder.append("<tr>");
1170             builder.append("<th colspan=\"1\"").append(col1Style).append(">").append(headerName).append("</th>");
1171             int i = 0;
1172             for (final String number : it_number_s_p) {
1173                 for (final String person : it_person_1_2_3) {
1174                     // Output <td> or <th>
1175                     builder.append("<").append(type2).append("").append(col2Style).append(">");
1176                     final String keyBase = String.format("%s%s%s", moodName, person, number);
1177                     appendAndIndexWikiCallback.dispatch(prefixes.get(i++), null);
1178                     outputKeyVariations(appendAndIndexWikiCallback, builder, keyBase, namedArgs, isForm);
1179                     // Output <td> or <th>
1180                     builder.append("</").append(type2).append(">");
1181                 }
1182             }
1183             builder.append("</tr>\n");
1184         }
1185     }
1186
1187   static void passThroughOrFillIn(final Map<String,String> namedArgs, final String key, final String fillIn, final boolean quoteToEmpty) {
1188       final String value = namedArgs.get(key);
1189       if (quoteToEmpty && "''".equals(value)) {
1190           namedArgs.put(key, "");
1191           return;
1192       }
1193       if (value == null || value.equals("")) {
1194           namedArgs.put(key, fillIn);
1195       }
1196   }
1197
1198   static final List<String> it_number_s_p = Arrays.asList("s", "p");
1199   static final List<String> it_person_1_2_3 = Arrays.asList("1", "2", "3");
1200   static final List<String> it_reflexive_pronouns = Arrays.asList("mi ", "ti ", "si ", "ci ", "vi ", "si ");
1201   static final List<String> it_empty = Arrays.asList("", "", "", "", "", "");
1202   static void it_conj_passMood(final Map<String,String> namedArgs, final String moodName, final boolean quoteToEmpty, final String root, final List<String> suffixes) {
1203       assert suffixes.size() == 6;
1204       int i = 0;
1205       for (final String number : it_number_s_p) {
1206           for (final String person : it_person_1_2_3) {
1207               passThroughOrFillIn(namedArgs, String.format("%s%s%s", moodName, person, number), root + suffixes.get(i), quoteToEmpty);
1208               ++i;
1209           }
1210       }
1211   }
1212
1213   private static <T extends AbstractWiktionaryParser> void outputKeyVariations(AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
1214         final StringBuilder builder, final String keyBase, Map<String, String> namedArgs, boolean isForm) {
1215     for (int suffix = 0; suffix <= 4; ++suffix) {
1216         final String key = suffix == 0 ? keyBase : keyBase + suffix;
1217         final String val = namedArgs.remove(key);
1218         if (val != null && !val.trim().equals("")) {
1219             if (suffix > 0) {
1220                 builder.append(", ");
1221             }
1222             appendAndIndexWikiCallback.dispatch(val, null);
1223             if (isForm) {
1224                 appendAndIndexWikiCallback.parser.addLinkToCurrentEntry(val, null, EntryTypeName.WIKTIONARY_INFLECTED_FORM_MULTI);
1225             }
1226         }
1227     }
1228   }
1229
1230
1231 }