src/com/hughes/android/dictionary/parser/wiktionary/EnFunctionCallbacks.java

   1 // Copyright 2012 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.parser.wiktionary;
  16
  17 import com.hughes.android.dictionary.engine.EntryTypeName;
  18 import com.hughes.android.dictionary.engine.IndexBuilder;
  19 import com.hughes.android.dictionary.parser.WikiTokenizer;
  20 import com.hughes.android.dictionary.parser.wiktionary.AbstractWiktionaryParser.AppendAndIndexWikiCallback;
  21 import com.hughes.android.dictionary.parser.wiktionary.AbstractWiktionaryParser.NameAndArgs;
  22 import com.hughes.util.ListUtil;
  23 import com.hughes.util.MapUtil;
  24 import com.hughes.util.StringUtil;
  25
  26 import java.util.ArrayList;
  27 import java.util.Arrays;
  28 import java.util.LinkedHashMap;
  29 import java.util.LinkedHashSet;
  30 import java.util.List;
  31 import java.util.Map;
  32 import java.util.Set;
  33 import java.util.concurrent.atomic.AtomicInteger;
  34
  35 class EnFunctionCallbacks {
  36
  37   static final Map<String,FunctionCallback<EnParser>> DEFAULT = new LinkedHashMap<String, FunctionCallback<EnParser>>();
  38
  39   static <T extends AbstractWiktionaryParser> void addGenericCallbacks(Map<String, FunctionCallback<T>> callbacks) {
  40       FunctionCallback<T> callback = new Gender<T>();
  41       callbacks.put("m", callback);
  42       callbacks.put("f", callback);
  43       callbacks.put("n", callback);
  44       callbacks.put("p", callback);
  45       callbacks.put("g", callback);
  46
  47       callbacks.put("etyl", new etyl<T>());
  48       callbacks.put("term", new term<T>());
  49
  50       callback = new EncodingCallback<T>();
  51       Set<String> encodings = new LinkedHashSet<String>(Arrays.asList(
  52           "IPA", "IPAchar",  // Not really encodings, but it works.
  53           "zh-ts", "zh-tsp",
  54           "sd-Arab", "ku-Arab", "Arab", "unicode", "Laoo", "ur-Arab", "Thai",
  55           "fa-Arab", "Khmr", "Cyrl", "ug-Arab", "ko-inline",
  56           "Jpan", "Kore", "Hebr", "rfscript", "Beng", "Mong", "Knda", "Cyrs",
  57           "yue-tsj", "Mlym", "Tfng", "Grek", "yue-yue-j"));
  58       for (final String encoding : encodings) {
  59           callbacks.put(encoding, callback);
  60       }
  61
  62       callback = new Ignore<T>();
  63       callbacks.put("trreq", callback);
  64       callbacks.put("t-image", callback);
  65       callbacks.put("defn", callback);
  66       callbacks.put("rfdef", callback);
  67       callbacks.put("rfdate", callback);
  68       callbacks.put("rfex", callback);
  69       callbacks.put("rfquote", callback);
  70       callbacks.put("attention", callback);
  71       callbacks.put("zh-attention", callback);
  72       callbacks.put("top2", callback);
  73       callbacks.put("mid2", callback);
  74       callbacks.put("top3", callback);
  75       callbacks.put("mid3", callback);
  76       callbacks.put("bottom", callback);
  77       callbacks.put("rel-mid", callback);
  78       callbacks.put("rel-mid3", callback);
  79       callbacks.put("rel-mid4", callback);
  80       callbacks.put("rel-bottom", callback);
  81       callbacks.put("der-top", callback);
  82       callbacks.put("der-mid", callback);
  83       callbacks.put("der-mid3", callback);
  84       callbacks.put("der-bottom", callback);
  85
  86       callback = new AppendName<T>();
  87       callbacks.put("...", callback);
  88
  89       callbacks.put("qualifier", new QualifierCallback<T>());
  90       callbacks.put("italbrac", new italbrac<T>());
  91       callbacks.put("gloss", new gloss<T>());
  92       callbacks.put("not used", new not_used<T>());
  93       callbacks.put("wikipedia", new wikipedia<T>());
  94
  95       final it_conj<T> it_conj_cb = new it_conj<T>();
  96       callbacks.put("it-conj", it_conj_cb);
  97       callbacks.put("it-conj-are", new it_conj_are<T>(it_conj_cb));
  98       callbacks.put("it-conj-arsi", new it_conj_are<T>(it_conj_cb));
  99       callbacks.put("it-conj-care", new it_conj_are<T>(it_conj_cb));
 100       callbacks.put("it-conj-carsi", new it_conj_are<T>(it_conj_cb));
 101       callbacks.put("it-conj-ciare", new it_conj_are<T>(it_conj_cb));
 102       callbacks.put("it-conj-ciarsi", new it_conj_are<T>(it_conj_cb));
 103       callbacks.put("it-conj-iare", new it_conj_are<T>(it_conj_cb));
 104       callbacks.put("it-conj-iarsi", new it_conj_are<T>(it_conj_cb));
 105       callbacks.put("it-conj-iare-b", new it_conj_are<T>(it_conj_cb));
 106       callbacks.put("it-conj-iarsi-b", new it_conj_are<T>(it_conj_cb));
 107       callbacks.put("it-conj-ire", new it_conj_ire<T>(it_conj_cb));
 108       callbacks.put("it-conj-irsi", new it_conj_ire<T>(it_conj_cb));
 109       callbacks.put("it-conj-ire-b", new it_conj_ire<T>(it_conj_cb));
 110       callbacks.put("it-conj-irsi-b", new it_conj_ire<T>(it_conj_cb));
 111       callbacks.put("it-conj-cire", new it_conj_ire<T>(it_conj_cb));
 112       callbacks.put("it-conj-cirsi", new it_conj_ire<T>(it_conj_cb));
 113       callbacks.put("it-conj-ire", new it_conj_ire<T>(it_conj_cb));
 114       callbacks.put("it-conj-ere", new it_conj_ere<T>(it_conj_cb));
 115       callbacks.put("it-conj-ersi", new it_conj_ere<T>(it_conj_cb));
 116       callbacks.put("it-conj-urre", new it_conj_urre<T>(it_conj_cb));
 117       callbacks.put("it-conj-ursi", new it_conj_urre<T>(it_conj_cb));
 118       callbacks.put("it-conj-fare", new it_conj_fare<T>(it_conj_cb));
 119
 120
 121       //"{{it-conj-fare|putre|avere}}\n" +
 122
 123
 124   }
 125
 126   static {
 127     addGenericCallbacks(DEFAULT);
 128
 129     FunctionCallback<EnParser> callback = new TranslationCallback<EnParser>();
 130     DEFAULT.put("t", callback);
 131     DEFAULT.put("t+", callback);
 132     DEFAULT.put("t-", callback);
 133     DEFAULT.put("tø", callback);
 134     DEFAULT.put("apdx-t", callback);
 135
 136     callback = new l_term();
 137     DEFAULT.put("l", callback);
 138     DEFAULT.put("term", callback);
 139
 140     //callback = new AppendArg0();
 141
 142     callback = new FormOf();
 143     DEFAULT.put("form of", callback);
 144     DEFAULT.put("conjugation of", callback);
 145     DEFAULT.put("participle of", callback);
 146     DEFAULT.put("present participle of", callback);
 147     DEFAULT.put("past participle of", callback);
 148     DEFAULT.put("feminine past participle of", callback);
 149     DEFAULT.put("gerund of", callback);
 150     DEFAULT.put("feminine of", callback);
 151     DEFAULT.put("plural of", callback);
 152     DEFAULT.put("feminine plural of", callback);
 153     DEFAULT.put("inflected form of", callback);
 154     DEFAULT.put("alternative form of", callback);
 155     DEFAULT.put("dated form of", callback);
 156     DEFAULT.put("apocopic form of", callback);
 157
 158     callback = new InflOrHead();
 159     DEFAULT.put("infl", callback);
 160     DEFAULT.put("head", callback);
 161   }
 162
 163   static final NameAndArgs<EnParser> NAME_AND_ARGS = new NameAndArgs<EnParser>();
 164
 165   // ------------------------------------------------------------------
 166
 167   static final class TranslationCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 168     @Override
 169     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 170         final Map<String, String> namedArgs, final T parser,
 171         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 172
 173       final String transliteration = namedArgs.remove("tr");
 174       final String alt = namedArgs.remove("alt");
 175       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 176       if (args.size() < 2) {
 177         if (!name.equals("ttbc")) {
 178           EnParser.LOG.warning("{{t...}} with wrong args: title=" + parser.title + ", " + wikiTokenizer.token());
 179         }
 180         return false;
 181       }
 182       final String langCode = ListUtil.get(args, 0);
 183       if (!appendAndIndexWikiCallback.langCodeToTCount.containsKey(langCode)) {
 184         appendAndIndexWikiCallback.langCodeToTCount.put(langCode, new AtomicInteger());
 185       }
 186       appendAndIndexWikiCallback.langCodeToTCount.get(langCode).incrementAndGet();
 187       final String word = ListUtil.get(args, 1);
 188       appendAndIndexWikiCallback.dispatch(alt != null ? alt : word, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 189
 190       // Genders...
 191       if (args.size() > 2) {
 192         appendAndIndexWikiCallback.builder.append(" {");
 193         for (int i = 2; i < args.size(); ++i) {
 194           if (i > 2) {
 195             appendAndIndexWikiCallback.builder.append("|");
 196           }
 197           appendAndIndexWikiCallback.builder.append(args.get(i));
 198         }
 199         appendAndIndexWikiCallback.builder.append("}");
 200       }
 201
 202       if (transliteration != null) {
 203         appendAndIndexWikiCallback.builder.append(" (");
 204         appendAndIndexWikiCallback.dispatch(transliteration, EntryTypeName.WIKTIONARY_TRANSLITERATION);
 205         appendAndIndexWikiCallback.builder.append(")");
 206       }
 207
 208       if (alt != null) {
 209         // If alt wasn't null, we appended alt instead of the actual word
 210         // we're filing under..
 211         appendAndIndexWikiCallback.builder.append(" (");
 212         appendAndIndexWikiCallback.dispatch(word, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 213         appendAndIndexWikiCallback.builder.append(")");
 214       }
 215
 216       // Catch-all for anything else...
 217       if (!namedArgs.isEmpty()) {
 218         appendAndIndexWikiCallback.builder.append(" {");
 219         EnParser.appendNamedArgs(namedArgs, appendAndIndexWikiCallback);
 220         appendAndIndexWikiCallback.builder.append("}");
 221       }
 222
 223       return true;
 224     }
 225   }
 226
 227   // ------------------------------------------------------------------
 228
 229   static final class QualifierCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 230     @Override
 231     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 232         final Map<String, String> namedArgs,
 233         final T parser,
 234         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 235       if (args.size() != 1 || !namedArgs.isEmpty()) {
 236         EnParser.LOG.warning("weird qualifier: ");
 237         return false;
 238       }
 239       String qualifier = args.get(0);
 240       appendAndIndexWikiCallback.builder.append("(");
 241       appendAndIndexWikiCallback.dispatch(qualifier, null);
 242       appendAndIndexWikiCallback.builder.append(")");
 243       return true;
 244     }
 245   }
 246
 247   // ------------------------------------------------------------------
 248
 249   static final class EncodingCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 250     @Override
 251     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 252         final Map<String, String> namedArgs,
 253         final T parser,
 254         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 255       //namedArgs.remove("lang");
 256       if (!namedArgs.isEmpty()) {
 257         EnParser.LOG.warning("weird encoding: " + wikiTokenizer.token());
 258         return false;
 259       }
 260       if (args.size() == 0) {
 261         // Things like "{{Jpan}}" exist.
 262         return true;
 263       }
 264
 265       if (name.equals("IPA")) {
 266           appendAndIndexWikiCallback.dispatch("IPA: ", null);
 267       }
 268
 269       for (int i = 0; i < args.size(); ++i) {
 270         if (i > 0) {
 271           appendAndIndexWikiCallback.builder.append(", ");
 272         }
 273         final String arg = args.get(i);
 274 //        if (arg.equals(parser.title)) {
 275 //          parser.titleAppended = true;
 276 //        }
 277         appendAndIndexWikiCallback.dispatch(arg, appendAndIndexWikiCallback.entryTypeName);
 278       }
 279
 280       return true;
 281     }
 282   }
 283
 284   // ------------------------------------------------------------------
 285
 286   static final class Gender<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 287     @Override
 288     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 289         final Map<String, String> namedArgs,
 290         final T parser,
 291         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 292       if (!namedArgs.isEmpty()) {
 293         return false;
 294       }
 295       appendAndIndexWikiCallback.builder.append("{");
 296       appendAndIndexWikiCallback.builder.append(name);
 297       for (int i = 0; i < args.size(); ++i) {
 298         appendAndIndexWikiCallback.builder.append("|").append(args.get(i));
 299       }
 300       appendAndIndexWikiCallback.builder.append("}");
 301       return true;
 302     }
 303   }
 304
 305   // ------------------------------------------------------------------
 306
 307   static final class l_term implements FunctionCallback<EnParser> {
 308     @Override
 309     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 310         final Map<String, String> namedArgs,
 311         final EnParser parser,
 312         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 313
 314       // for {{l}}, lang is arg 0, but not for {{term}}
 315       if (name.equals("term")) {
 316         args.add(0, "");
 317       }
 318
 319       final EntryTypeName entryTypeName;
 320       switch (parser.state) {
 321       case TRANSLATION_LINE: entryTypeName = EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT; break;
 322       case ENGLISH_DEF_OF_FOREIGN: entryTypeName = EntryTypeName.WIKTIONARY_ENGLISH_DEF_WIKI_LINK; break;
 323       default: throw new IllegalStateException("Invalid enum value: " + parser.state);
 324       }
 325
 326       final String langCode = args.get(0);
 327       final IndexBuilder indexBuilder;
 328       if ("".equals(langCode)) {
 329         indexBuilder = parser.foreignIndexBuilder;
 330       } else if ("en".equals(langCode)) {
 331         indexBuilder = parser.enIndexBuilder;
 332       } else {
 333         indexBuilder = parser.foreignIndexBuilder;
 334       }
 335
 336       String displayText = ListUtil.get(args, 2, "");
 337       if (displayText.equals("")) {
 338         displayText = ListUtil.get(args, 1, null);
 339       }
 340
 341       if (displayText != null) {
 342         appendAndIndexWikiCallback.dispatch(displayText, indexBuilder, entryTypeName);
 343       } else {
 344         EnParser.LOG.warning("no display text: " + wikiTokenizer.token());
 345       }
 346
 347       final String tr = namedArgs.remove("tr");
 348       if (tr != null) {
 349         appendAndIndexWikiCallback.builder.append(" (");
 350         appendAndIndexWikiCallback.dispatch(tr, indexBuilder, EntryTypeName.WIKTIONARY_TRANSLITERATION);
 351         appendAndIndexWikiCallback.builder.append(")");
 352       }
 353
 354       final String gloss = ListUtil.get(args, 3, "");
 355       if (!gloss.equals("")) {
 356         appendAndIndexWikiCallback.builder.append(" (");
 357         appendAndIndexWikiCallback.dispatch(gloss, parser.enIndexBuilder, EntryTypeName.WIKTIONARY_ENGLISH_DEF);
 358         appendAndIndexWikiCallback.builder.append(")");
 359       }
 360
 361       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 362       if (!namedArgs.isEmpty()) {
 363         appendAndIndexWikiCallback.builder.append(" {").append(name);
 364         EnParser.appendNamedArgs(namedArgs, appendAndIndexWikiCallback);
 365         appendAndIndexWikiCallback.builder.append("}");
 366       }
 367
 368       return true;
 369     }
 370   }
 371
 372   // ------------------------------------------------------------------
 373
 374   static final class AppendArg0<T extends AbstractWiktionaryParser> implements FunctionCallback<EnParser> {
 375     @Override
 376     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 377         final Map<String, String> namedArgs,
 378         final EnParser parser,
 379         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 380       if (args.size() != 1 || !namedArgs.isEmpty()) {
 381         return false;
 382       }
 383       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 384
 385       final String tr = namedArgs.remove("tr");
 386       if (tr != null) {
 387         appendAndIndexWikiCallback.builder.append(" (");
 388         appendAndIndexWikiCallback.dispatch(tr, EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 389         appendAndIndexWikiCallback.builder.append(")");
 390         parser.wordForms.add(tr);
 391       }
 392
 393       return true;
 394     }
 395   }
 396
 397   // ------------------------------------------------------------------
 398
 399   static final class italbrac<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 400     @Override
 401     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 402         final Map<String, String> namedArgs,
 403         final T parser,
 404         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 405       if (args.size() != 1 || !namedArgs.isEmpty()) {
 406         return false;
 407       }
 408       appendAndIndexWikiCallback.builder.append("(");
 409       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 410       appendAndIndexWikiCallback.builder.append(")");
 411       return true;
 412     }
 413   }
 414
 415   // ------------------------------------------------------------------
 416
 417   static final class gloss<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 418     @Override
 419     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 420         final Map<String, String> namedArgs,
 421         final T parser,
 422         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 423       if (args.size() != 1 || !namedArgs.isEmpty()) {
 424         return false;
 425       }
 426       appendAndIndexWikiCallback.builder.append("(");
 427       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 428       appendAndIndexWikiCallback.builder.append(")");
 429       return true;
 430     }
 431   }
 432
 433   // ------------------------------------------------------------------
 434
 435   static final class Ignore<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 436     @Override
 437     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 438         final Map<String, String> namedArgs,
 439         final T parser,
 440         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 441       return true;
 442     }
 443   }
 444
 445   // ------------------------------------------------------------------
 446
 447   static final class not_used<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 448     @Override
 449     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 450         final Map<String, String> namedArgs,
 451         final T parser,
 452         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 453       appendAndIndexWikiCallback.builder.append("(not used)");
 454       return true;
 455     }
 456   }
 457
 458
 459   // ------------------------------------------------------------------
 460
 461   static final class AppendName<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 462     @Override
 463     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 464         final Map<String, String> namedArgs,
 465         final T parser,
 466         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 467       if (!args.isEmpty() || !namedArgs.isEmpty()) {
 468         return false;
 469       }
 470       appendAndIndexWikiCallback.builder.append(name);
 471       return true;
 472     }
 473   }
 474
 475   // --------------------------------------------------------------------
 476   // --------------------------------------------------------------------
 477
 478
 479   static final class FormOf implements FunctionCallback<EnParser> {
 480     @Override
 481     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 482         final Map<String, String> namedArgs,
 483         final EnParser parser,
 484         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 485       parser.entryIsFormOfSomething = true;
 486       String formName = name;
 487       if (name.equals("form of")) {
 488         formName = ListUtil.remove(args, 0, null);
 489       }
 490       if (formName == null) {
 491         EnParser.LOG.warning("Missing form name: " + parser.title);
 492         formName = "form of";
 493       }
 494       String baseForm = ListUtil.get(args, 1, "");
 495       if ("".equals(baseForm)) {
 496         baseForm = ListUtil.get(args, 0, null);
 497         ListUtil.remove(args, 1, "");
 498       } else {
 499         ListUtil.remove(args, 0, null);
 500       }
 501       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 502
 503       appendAndIndexWikiCallback.builder.append("{");
 504       NAME_AND_ARGS.onWikiFunction(wikiTokenizer, formName, args, namedArgs, parser, appendAndIndexWikiCallback);
 505       appendAndIndexWikiCallback.builder.append("}");
 506       if (baseForm != null && appendAndIndexWikiCallback.indexedEntry != null) {
 507         parser.foreignIndexBuilder.addEntryWithString(appendAndIndexWikiCallback.indexedEntry, baseForm, EntryTypeName.WIKTIONARY_BASE_FORM_MULTI);
 508       } else {
 509         // null baseForm happens in Danish.
 510         EnParser.LOG.warning("Null baseform: " + parser.title);
 511       }
 512       return true;
 513     }
 514   }
 515
 516   static final EnFunctionCallbacks.FormOf FORM_OF = new FormOf();
 517
 518
 519   // --------------------------------------------------------------------
 520   // --------------------------------------------------------------------
 521
 522   static final class wikipedia<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 523     @Override
 524     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 525         final Map<String, String> namedArgs,
 526         final T parser,
 527         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 528       namedArgs.remove("lang");
 529       if (args.size() > 1 || !namedArgs.isEmpty()) {
 530         // Unindexed!
 531         return false;
 532       } else if (args.size() == 1) {
 533         return false;
 534       } else {
 535         return true;
 536       }
 537     }
 538   }
 539
 540   static final class InflOrHead implements FunctionCallback<EnParser> {
 541     @Override
 542     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 543         final Map<String, String> namedArgs,
 544         final EnParser parser,
 545         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 546       // See: http://en.wiktionary.org/wiki/Template:infl
 547       // TODO: Actually these functions should start a new WordPOS:
 548       // See: http://en.wiktionary.org/wiki/quattro
 549       final String langCode = ListUtil.get(args, 0);
 550       String head = namedArgs.remove("head");
 551       if (head == null) {
 552         head = namedArgs.remove("title"); // Bug
 553       }
 554       if (head == null) {
 555         head = parser.title;
 556       }
 557
 558       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 559
 560       final String tr = namedArgs.remove("tr");
 561       String g = namedArgs.remove("g");
 562       if (g == null) {
 563         g = namedArgs.remove("gender");
 564       }
 565       final String g2 = namedArgs.remove("g2");
 566       final String g3 = namedArgs.remove("g3");
 567
 568       // We might have already taken care of this in a generic way...
 569       if (!parser.titleAppended) {
 570         appendAndIndexWikiCallback.dispatch(head, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 571         parser.titleAppended = true;
 572       }
 573
 574       if (g != null) {
 575         appendAndIndexWikiCallback.builder.append(" {").append(g);
 576         if (g2 != null) {
 577           appendAndIndexWikiCallback.builder.append("|").append(g2);
 578         }
 579         if (g3 != null) {
 580           appendAndIndexWikiCallback.builder.append("|").append(g3);
 581         }
 582         appendAndIndexWikiCallback.builder.append("}");
 583       }
 584
 585       if (tr != null) {
 586         appendAndIndexWikiCallback.builder.append(" (");
 587         appendAndIndexWikiCallback.dispatch(tr, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 588         appendAndIndexWikiCallback.builder.append(")");
 589         parser.wordForms.add(tr);
 590       }
 591
 592       final String pos = ListUtil.get(args, 1);
 593       if (pos != null) {
 594         appendAndIndexWikiCallback.builder.append(" (").append(pos).append(")");
 595       }
 596       for (int i = 2; i < args.size(); i += 2) {
 597         final String inflName = ListUtil.get(args, i);
 598         final String inflValue = ListUtil.get(args, i + 1);
 599         appendAndIndexWikiCallback.builder.append(", ");
 600         appendAndIndexWikiCallback.dispatch(inflName, null, null);
 601         if (inflValue != null && inflValue.length() > 0) {
 602           appendAndIndexWikiCallback.builder.append(": ");
 603           appendAndIndexWikiCallback.dispatch(inflValue, null, null);
 604           parser.wordForms.add(inflValue);
 605         }
 606       }
 607       for (final String key : namedArgs.keySet()) {
 608         final String value = WikiTokenizer.toPlainText(namedArgs.get(key));
 609         appendAndIndexWikiCallback.builder.append(" ");
 610         appendAndIndexWikiCallback.dispatch(key, null, null);
 611         appendAndIndexWikiCallback.builder.append("=");
 612         appendAndIndexWikiCallback.dispatch(value, null, null);
 613         parser.wordForms.add(value);
 614       }
 615       return true;
 616     }
 617   }
 618
 619   static final class etyl<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 620       @Override
 621       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 622           final Map<String, String> namedArgs,
 623           final T parser,
 624           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 625         final String langCode = ListUtil.get(args, 0);
 626         if (langCode == null) {
 627             return false;
 628         }
 629         String langName = WiktionaryLangs.getEnglishName(langCode);
 630         if (langName != null) {
 631             appendAndIndexWikiCallback.dispatch(langName, null);
 632         } else {
 633             appendAndIndexWikiCallback.dispatch("lang:" + langCode, null);
 634         }
 635         return true;
 636       }
 637   }
 638
 639   static final class term<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 640       @Override
 641       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 642           final Map<String, String> namedArgs,
 643           final T parser,
 644           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 645         namedArgs.remove("sc");
 646
 647         // Main text.
 648         final String lang = namedArgs.remove("lang");
 649         String head = ListUtil.get(args, 0);
 650         String display = ListUtil.get(args, 1);
 651         if (StringUtil.isNullOrEmpty(head) && StringUtil.isNullOrEmpty(display)) {
 652             head = display = parser.title;
 653         }
 654         if (StringUtil.isNullOrEmpty(head)) {
 655             // Dispatches formatted wiki text.
 656             appendAndIndexWikiCallback.dispatch(display, null);
 657         } else {
 658             if (StringUtil.isNullOrEmpty(display)) {
 659                 display = head;
 660             }
 661             appendAndIndexWikiCallback.dispatch(String.format("[[%s|%s]]", display, head), null);
 662         }
 663
 664         // Stuff in ()s.
 665         final String tr = namedArgs.remove("tr");
 666         final String pos = namedArgs.remove("pos");
 667         String gloss = ListUtil.get(args, 2);
 668         String literally = namedArgs.remove("lit");
 669         if (!StringUtil.isNullOrEmpty(gloss)) {
 670             gloss = String.format("\"%s\"", gloss);
 671         }
 672         if (!StringUtil.isNullOrEmpty(literally)) {
 673             literally = String.format("literally %s", literally);
 674         }
 675         final List<String> inParens = new ArrayList<String>(Arrays.asList(tr, pos, gloss, literally));
 676         cleanList(inParens);
 677         appendCommaSeparatedList(appendAndIndexWikiCallback, inParens);
 678
 679         if (tr != null) {
 680             parser.addLinkToCurrentEntry(tr, lang, EntryTypeName.WIKTIONARY_MENTIONED);
 681         }
 682         return namedArgs.isEmpty();
 683       }
 684
 685     private void appendCommaSeparatedList(
 686             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
 687             final List<String> inParens) {
 688         if (!inParens.isEmpty()) {
 689             appendAndIndexWikiCallback.dispatch(" (", null);
 690             for (int i = 0; i < inParens.size(); ++i) {
 691                 if (i > 0) {
 692                     appendAndIndexWikiCallback.dispatch(", ", null);
 693                 }
 694                 appendAndIndexWikiCallback.dispatch(inParens.get(i), null);
 695             }
 696             appendAndIndexWikiCallback.dispatch(")", null);
 697         }
 698     }
 699
 700   }
 701
 702   private static void cleanList(List<String> asList) {
 703       int pos;
 704       while ((pos = asList.indexOf("")) != -1) {
 705           asList.remove(pos);
 706       }
 707       while ((pos = asList.indexOf(null)) != -1) {
 708           asList.remove(pos);
 709       }
 710   }
 711
 712
 713   static {
 714     DEFAULT.put("it-noun", new it_noun());
 715   }
 716   static final class it_noun implements FunctionCallback<EnParser> {
 717     @Override
 718     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 719         final Map<String, String> namedArgs,
 720         final EnParser parser,
 721         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 722       parser.titleAppended = true;
 723       final String base = ListUtil.get(args, 0);
 724       final String gender = ListUtil.get(args, 1);
 725       final String singular = base + ListUtil.get(args, 2, null);
 726       final String plural = base + ListUtil.get(args, 3, null);
 727       appendAndIndexWikiCallback.builder.append(" ");
 728       appendAndIndexWikiCallback.dispatch(singular, null, null);
 729       appendAndIndexWikiCallback.builder.append(" {").append(gender).append("}, ");
 730       appendAndIndexWikiCallback.dispatch(plural, null, null);
 731       appendAndIndexWikiCallback.builder.append(" {pl}");
 732       final String f = namedArgs.remove("f");
 733       if (f != null) {
 734           appendAndIndexWikiCallback.builder.append(", ");
 735           appendAndIndexWikiCallback.dispatch(f, null, null);
 736           appendAndIndexWikiCallback.builder.append(" {f}");
 737       }
 738       final String m = namedArgs.remove("f");
 739       if (m != null) {
 740           appendAndIndexWikiCallback.builder.append(", ");
 741           appendAndIndexWikiCallback.dispatch(m, null, null);
 742           appendAndIndexWikiCallback.builder.append(" {m}");
 743       }
 744       parser.wordForms.add(singular);
 745       parser.wordForms.add(plural);
 746       if (!namedArgs.isEmpty() || args.size() > 4) {
 747         EnParser.LOG.warning("Invalid it-noun: " + wikiTokenizer.token());
 748       }
 749       return true;
 750     }
 751   }
 752
 753   static {
 754     DEFAULT.put("it-proper noun", new it_proper_noun<EnParser>());
 755   }
 756   static final class it_proper_noun<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 757     @Override
 758     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 759         final Map<String, String> namedArgs,
 760         final T parser,
 761         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 762       return false;
 763     }
 764   }
 765
 766   // -----------------------------------------------------------------------
 767   // Italian stuff
 768   // -----------------------------------------------------------------------
 769
 770 static final class it_conj_are<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 771     final it_conj<T> dest;
 772     it_conj_are(it_conj<T> dest) {
 773       this.dest = dest;
 774     }
 775     @Override
 776       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 777           final Map<String, String> namedArgs,
 778           final T parser,
 779           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 780         final String h = name.equals("it-conj-care") || name.equals("it-conj-carsi") ? "h" : "";
 781         final String i = name.equals("it-conj-ciare") || name.equals("it-conj-ciarsi") ? "i" : "";
 782         final String i2 = name.equals("it-conj-iare") || name.equals("it-conj-iarsi") ? "" : "i";
 783         final boolean si = name.equals("it-conj-arsi") || name.equals("it-conj-iarsi") || name.equals("it-conj-iarsi-b") || name.equals("it-conj-carsi") || name.equals("it-conj-ciarsi");
 784         final String root = args.get(0);
 785         passThroughOrFillIn(namedArgs, "inf", root + i + (si ? "arsi" : "are"), false);
 786         namedArgs.put("aux", ListUtil.get(args, 1, ""));
 787         passThroughOrFillIn(namedArgs, "ger", root + i + "ando" + (si ? "si" : ""), true);
 788         passThroughOrFillIn(namedArgs, "presp", root + i + "ante"+ (si ? "si" : ""), true);
 789         passThroughOrFillIn(namedArgs, "pastp", root + i + "ato", true);
 790         if (si) {
 791             passThroughOrFillIn(namedArgs, "pastp2", root + i + "atosi", true);
 792         }
 793         final String i2b = (name.equals("it-conj-iare-b") || name.equals("it-conj-iarsi-b")) ? "" : i2;
 794
 795         it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList(i + "o", h + i2, i + "a", h + i2 + "amo", i + "ate", i + "ano"));
 796         it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList(i + "avo", i + "avi", i + "ava", i + "avamo", i + "avate", i + "avano"));
 797         it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList(i + "ai", i + "asti", i + "ò", i + "ammo", i + "aste", i + "arono"));
 798         it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList(h + "erò", h + "erai", h + "erà", h + "eremo", h + "erete", h + "eranno"));
 799         it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList(h + "erei", h + "eresti", h + "erebbe", h + "eremmo", h + "ereste", h + "erebbero"));
 800
 801         passThroughOrFillIn(namedArgs, "sub123s", root + h + i2, false);
 802         passThroughOrFillIn(namedArgs, "sub1p", root + h + i2b + "amo", false);
 803         passThroughOrFillIn(namedArgs, "sub2p", root + h + i2b + "ate", false);
 804         passThroughOrFillIn(namedArgs, "sub3p", root + h + i2 + "no", false);
 805
 806         passThroughOrFillIn(namedArgs, "impsub12s", root + i + "assi", false);
 807         passThroughOrFillIn(namedArgs, "impsub3s", root + i + "asse", false);
 808         passThroughOrFillIn(namedArgs, "impsub1p", root + i + "assimo", false);
 809         passThroughOrFillIn(namedArgs, "impsub2p", root + i + "aste", false);
 810         passThroughOrFillIn(namedArgs, "impsub3p", root + i + "assero", false);
 811
 812         passThroughOrFillIn(namedArgs, "imp2s", root + i + "a" + (si ? "ti" : ""), true);
 813         passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + h + i2, true);
 814         passThroughOrFillIn(namedArgs, "imp1p", root + h + i2b + "amo" + (si ? "ci" : ""), true);
 815         passThroughOrFillIn(namedArgs, "imp2p", root + i + "ate" + (si ? "vi" : ""), true);
 816         passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + h + i2 + "no", true);
 817
 818         return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 819       }
 820     }
 821
 822   static final class it_conj_ire<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 823     final it_conj<T> dest;
 824     it_conj_ire(it_conj<T> dest) {
 825       this.dest = dest;
 826     }
 827     @Override
 828       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 829           final Map<String, String> namedArgs,
 830           final T parser,
 831           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 832         final String root = args.get(0);
 833         final String i = name.equals("it-conj-cire") || name.equals("it-conj-cirsi") ? "i" : "";
 834         final boolean si = name.equals("it-conj-irsi") || name.equals("it-conj-irsi-b") || name.equals("it-conj-cirsi");
 835
 836         passThroughOrFillIn(namedArgs, "inf", root + (si ? "irsi" : "ire"), false);
 837         namedArgs.put("aux", ListUtil.get(args, 1, ""));
 838         passThroughOrFillIn(namedArgs, "ger", root + "endo" + (si ? "si" : ""), true);
 839         passThroughOrFillIn(namedArgs, "presp", root + "ente" + (si ? "si" : ""), true);
 840         passThroughOrFillIn(namedArgs, "pastp", root + "ito", true);
 841         if (si) {
 842             passThroughOrFillIn(namedArgs, "pastp2", root + "itosi", true);
 843         }
 844         if (!name.endsWith("-b")) {
 845             it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList(i + "o", "i", "e", "iamo", "ite", i + "ono"));
 846         } else {
 847             it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("isco", "isci", "isce", "iamo", "ite", "iscono"));
 848         }
 849         it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("ivo", "ivi", "iva", "ivamo", "ivate", "ivano"));
 850         it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ii", "isti", "ì", "immo", "iste", "irono"));
 851         // Regular past historic synonyms:
 852         passThroughOrFillIn(namedArgs, "prem3s2", root + "é", true);
 853         passThroughOrFillIn(namedArgs, "prem3p2", root + "erono", true);
 854         it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("irò", "irai", "irà", "iremo", "irete", "iranno"));
 855         it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("irei", "iresti", "irebbe", "iremmo", "ireste", "irebbero"));
 856
 857         if (!name.endsWith("-b")) {
 858             passThroughOrFillIn(namedArgs, "sub123s", root + i + "a", false);
 859             passThroughOrFillIn(namedArgs, "sub3p", root + i + "ano", false);
 860         } else {
 861             passThroughOrFillIn(namedArgs, "sub123s", root + "isca", false);
 862             passThroughOrFillIn(namedArgs, "sub3p", root + "iscano", false);
 863         }
 864         passThroughOrFillIn(namedArgs, "sub1p", root + "iamo", false);
 865         passThroughOrFillIn(namedArgs, "sub2p", root + "iate", false);
 866
 867         passThroughOrFillIn(namedArgs, "impsub12s", root + "issi", false);
 868         passThroughOrFillIn(namedArgs, "impsub3s", root + "isse", false);
 869         passThroughOrFillIn(namedArgs, "impsub1p", root + "issimo", false);
 870         passThroughOrFillIn(namedArgs, "impsub2p", root + "iste", false);
 871         passThroughOrFillIn(namedArgs, "impsub3p", root + "issero", false);
 872
 873         if (!name.endsWith("-b")) {
 874             passThroughOrFillIn(namedArgs, "imp2s", root + "i" + (si ? "ti" : ""), true);
 875             passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + i + "a", true);
 876             passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + i + "ano", true);
 877         } else {
 878             passThroughOrFillIn(namedArgs, "imp2s", root + "isci" + (si ? "ti" : ""), true);
 879             passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + "isca", true);
 880             passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + "iscano", true);
 881         }
 882         passThroughOrFillIn(namedArgs, "imp1p", root + "iamo" + (si ? "ci" : ""), true);
 883         passThroughOrFillIn(namedArgs, "imp2p", root + "ite" + (si ? "vi" : ""), true);
 884
 885         return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 886       }
 887     }
 888
 889
 890   static final class it_conj_ere<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 891       final it_conj<T> dest;
 892       it_conj_ere(it_conj<T> dest) {
 893         this.dest = dest;
 894       }
 895       @Override
 896         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 897             final Map<String, String> namedArgs,
 898             final T parser,
 899             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 900           final String root = args.get(0);
 901           final boolean si = name.equals("it-conj-ersi");
 902
 903           passThroughOrFillIn(namedArgs, "inf", root + (si ? "ersi" : "ere"), false);
 904           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 905           passThroughOrFillIn(namedArgs, "ger", root + "endo" + (si ? "si" : ""), true);
 906           passThroughOrFillIn(namedArgs, "presp", root + "ente" + (si ? "si" : ""), true);
 907           passThroughOrFillIn(namedArgs, "pastp", root + "uto", true);
 908           if (si) {
 909               passThroughOrFillIn(namedArgs, "pastp2", root + "utosi", true);
 910           }
 911           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("o", "i", "e", "iamo", "ete", "ono"));
 912           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("evo", "evi", "eva", "evamo", "evate", "evano"));
 913           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ei", "esti", "ette", "emmo", "este", "ettero"));
 914           // Regular past historic synonyms:
 915           passThroughOrFillIn(namedArgs, "prem3s2", root + "é", true);
 916           passThroughOrFillIn(namedArgs, "prem3p2", root + "erono", true);
 917           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("erò", "erai", "erà", "eremo", "erete", "eranno"));
 918           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("erei", "eresti", "erebbe", "eremmo", "ereste", "erebbero"));
 919
 920           passThroughOrFillIn(namedArgs, "sub123s", root + "a", false);
 921           passThroughOrFillIn(namedArgs, "sub1p", root + "iamo", false);
 922           passThroughOrFillIn(namedArgs, "sub2p", root + "iate", false);
 923           passThroughOrFillIn(namedArgs, "sub3p", root + "ano", false);
 924
 925           passThroughOrFillIn(namedArgs, "impsub12s", root + "essi", false);
 926           passThroughOrFillIn(namedArgs, "impsub3s", root + "esse", false);
 927           passThroughOrFillIn(namedArgs, "impsub1p", root + "essimo", false);
 928           passThroughOrFillIn(namedArgs, "impsub2p", root + "este", false);
 929           passThroughOrFillIn(namedArgs, "impsub3p", root + "essero", false);
 930
 931           passThroughOrFillIn(namedArgs, "imp2s", root + "i" + (si ? "ti" : ""), true);
 932           passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + "a", true);
 933           passThroughOrFillIn(namedArgs, "imp1p", root + "iamo" + (si ? "ci" : ""), true);
 934           passThroughOrFillIn(namedArgs, "imp2p", root + "ete" + (si ? "vi" : ""), true);
 935           passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + "ano", true);
 936
 937           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 938         }
 939       }
 940
 941   static final class it_conj_urre<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 942       final it_conj<T> dest;
 943       it_conj_urre(it_conj<T> dest) {
 944         this.dest = dest;
 945       }
 946       @Override
 947         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 948             final Map<String, String> namedArgs,
 949             final T parser,
 950             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 951           final String root = args.get(0);
 952           final boolean si = name.equals("it-conj-ursi");
 953
 954           passThroughOrFillIn(namedArgs, "inf", root + (si ? "ursi" : "urre"), false);
 955           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 956           passThroughOrFillIn(namedArgs, "ger", root + "ucendo" + (si ? "si" : ""), true);
 957           passThroughOrFillIn(namedArgs, "presp", root + "ucente" + (si ? "si" : ""), true);
 958           passThroughOrFillIn(namedArgs, "pastp", root + "otto", true);
 959           if (si) {
 960               passThroughOrFillIn(namedArgs, "pastp2", root + "ottosi", true);
 961           }
 962           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("uco", "uci", "uce", "uciamo", "ucete", "ucono"));
 963           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("ucevo", "ucevi", "uceva", "ucevamo", "ucevate", "ucevano"));
 964           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ussi", "ucesti", "usse", "ucemmo", "uceste", "ussero"));
 965           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("urrò", "urrai", "urrà", "urremo", "urrete", "urranno"));
 966           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("urrei", "urresti", "urrebbe", "urremmo", "urreste", "urrebbero"));
 967
 968           passThroughOrFillIn(namedArgs, "sub123s", root + "uca", false);
 969           passThroughOrFillIn(namedArgs, "sub1p", root + "uciamo", false);
 970           passThroughOrFillIn(namedArgs, "sub2p", root + "uciate", false);
 971           passThroughOrFillIn(namedArgs, "sub3p", root + "ucano", false);
 972
 973           passThroughOrFillIn(namedArgs, "impsub12s", root + "ucessi", false);
 974           passThroughOrFillIn(namedArgs, "impsub3s", root + "ucesse", false);
 975           passThroughOrFillIn(namedArgs, "impsub1p", root + "ucessimo", false);
 976           passThroughOrFillIn(namedArgs, "impsub2p", root + "uceste", false);
 977           passThroughOrFillIn(namedArgs, "impsub3p", root + "ucessero", false);
 978
 979           passThroughOrFillIn(namedArgs, "imp2s", root + "uci" + (si ? "ti" : ""), true);
 980           passThroughOrFillIn(namedArgs, "imp3s", (si ? "si" : "") + root + "uca", true);
 981           passThroughOrFillIn(namedArgs, "imp1p", root + "uciamo" + (si ? "ci" : ""), true);
 982           passThroughOrFillIn(namedArgs, "imp2p", root + "ucete" + (si ? "vi" : ""), true);
 983           passThroughOrFillIn(namedArgs, "imp3p", (si ? "si" : "") + root + "ucano", true);
 984
 985           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 986         }
 987       }
 988
 989   static final class it_conj_fare<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 990       final it_conj<T> dest;
 991       it_conj_fare(it_conj<T> dest) {
 992         this.dest = dest;
 993       }
 994       @Override
 995         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 996             final Map<String, String> namedArgs,
 997             final T parser,
 998             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 999           final String root = args.get(0);
1000           passThroughOrFillIn(namedArgs, "inf", root + "fare", false);
1001           namedArgs.put("aux", ListUtil.get(args, 1, ""));
1002           passThroughOrFillIn(namedArgs, "ger", root + "facendo", true);
1003           passThroughOrFillIn(namedArgs, "presp", root + "facente", true);
1004           passThroughOrFillIn(namedArgs, "pastp", root + "fatto", true);
1005           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("faccio", "fai", "fà", "facciamo", "fate", "fanno"));
1006           passThroughOrFillIn(namedArgs, "pres1s2", root + "fò", true);
1007           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("facevo", "facevi", "faceva", "facevamo", "facevate", "facevano"));
1008           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("feci", "facesti", "fece", "facemmo", "faceste", "fecero"));
1009           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("farò", "farai", "farà", "faremo", "farete", "faranno"));
1010           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("farei", "faresti", "farebbe", "faremmo", "fareste", "farebbero"));
1011
1012           passThroughOrFillIn(namedArgs, "sub123s", root + "faccia", false);
1013           passThroughOrFillIn(namedArgs, "sub1p", root + "facciamo", false);
1014           passThroughOrFillIn(namedArgs, "sub2p", root + "facciate", false);
1015           passThroughOrFillIn(namedArgs, "sub3p", root + "facciano", false);
1016
1017           passThroughOrFillIn(namedArgs, "impsub12s", root + "facessi", false);
1018           passThroughOrFillIn(namedArgs, "impsub3s", root + "facesse", false);
1019           passThroughOrFillIn(namedArgs, "impsub1p", root + "facessimo", false);
1020           passThroughOrFillIn(namedArgs, "impsub2p", root + "faceste", false);
1021           passThroughOrFillIn(namedArgs, "impsub3p", root + "facessero", false);
1022
1023           passThroughOrFillIn(namedArgs, "imp2s", root + "fa", true);
1024           passThroughOrFillIn(namedArgs, "imp3s", root + "faccia", true);
1025           passThroughOrFillIn(namedArgs, "imp1p", root + "facciamo", true);
1026           passThroughOrFillIn(namedArgs, "imp2p", root + "fate", true);
1027           passThroughOrFillIn(namedArgs, "imp3p", root + "facciano", true);
1028
1029           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
1030         }
1031       }
1032
1033   static final Map<String,String> it_indicativePronouns = new LinkedHashMap<String, String>();
1034   static {
1035       it_indicativePronouns.put("1s", "io");
1036       it_indicativePronouns.put("2s", "tu");
1037       it_indicativePronouns.put("3s", "lui/lei");
1038       it_indicativePronouns.put("1p", "noi");
1039       it_indicativePronouns.put("2p", "voi");
1040       it_indicativePronouns.put("3p", "essi/esse");
1041   }
1042
1043   static final Map<String,String> it_subjunctivePronouns = new LinkedHashMap<String, String>();
1044   static {
1045       it_subjunctivePronouns.put("1s", "che io");
1046       it_subjunctivePronouns.put("2s", "che tu");
1047       it_subjunctivePronouns.put("3s", "che lui/lei");
1048       it_subjunctivePronouns.put("1p", "che noi");
1049       it_subjunctivePronouns.put("2p", "che voi");
1050       it_subjunctivePronouns.put("3p", "che essi/esse");
1051   }
1052
1053   static final Map<String,String> it_imperativePronouns = new LinkedHashMap<String, String>();
1054   static {
1055       it_imperativePronouns.put("1s", "-");
1056       it_imperativePronouns.put("2s", "tu");
1057       it_imperativePronouns.put("3s", "lui/lei");
1058       it_imperativePronouns.put("1p", "noi");
1059       it_imperativePronouns.put("2p", "voi");
1060       it_imperativePronouns.put("3p", "essi/esse");
1061   }
1062
1063
1064   static final class it_conj<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
1065       @Override
1066       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
1067           final Map<String, String> namedArgs,
1068           final T parser,
1069           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
1070
1071         final StringBuilder builder = appendAndIndexWikiCallback.builder;
1072
1073         final String inf = namedArgs.get("inf");
1074
1075         // TODO: center everything horizontally.
1076         builder.append("<table style=\"background:#F0F0F0\">");
1077
1078         builder.append("<tr>");
1079         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">infinito</th>");
1080         builder.append("<td colspan=\"1\">");
1081         appendAndIndexWikiCallback.dispatch(MapUtil.safeRemove(namedArgs, "inf", "-"), null);
1082         builder.append("</td>");
1083         builder.append("</tr>\n");
1084
1085         builder.append("<tr>");
1086         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">verbo ausiliare</th>");
1087         builder.append("<td colspan=\"1\">");
1088         appendAndIndexWikiCallback.dispatch(MapUtil.safeRemove(namedArgs, "aux", "-"), null);
1089         builder.append("</td>");
1090         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">gerundio</th>");
1091         builder.append("<td colspan=\"1\">");
1092         outputKeyVariations(appendAndIndexWikiCallback, builder, "ger", namedArgs, true);
1093         builder.append("</td>");
1094         builder.append("</tr>\n");
1095
1096         builder.append("<tr>");
1097         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">participio presente</th>");
1098         builder.append("<td colspan=\"1\">");
1099         outputKeyVariations(appendAndIndexWikiCallback, builder, "presp", namedArgs, true);
1100         builder.append("</td>");
1101         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">participio passato</th>");
1102         builder.append("<td colspan=\"1\">");
1103         outputKeyVariations(appendAndIndexWikiCallback, builder, "pastp", namedArgs, true);
1104         builder.append("</td>");
1105         builder.append("</tr>\n");
1106
1107         final List<String> prefixes = (inf != null && inf.endsWith("si")) ? it_reflexive_pronouns : it_empty;
1108
1109         String style = " style=\"background:#c0cfe4\"";
1110         outputDataRow(appendAndIndexWikiCallback, style, "indicativo", style, "th", "", new LinkedHashMap<String, String>(it_indicativePronouns), it_empty, false);
1111         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "pres", namedArgs, prefixes, true);
1112         outputDataRow(appendAndIndexWikiCallback, style, "imperfetto", "", "td", "imperf", namedArgs, prefixes, true);
1113         outputDataRow(appendAndIndexWikiCallback, style, "passato remoto", "", "td", "prem", namedArgs, prefixes, true);
1114         outputDataRow(appendAndIndexWikiCallback, style, "futuro", "", "td", "fut", namedArgs, prefixes, true);
1115
1116         style = " style=\"background:#c0d8e4\"";
1117         outputDataRow(appendAndIndexWikiCallback, style, "condizionale", style, "th", "", new LinkedHashMap<String, String>(it_indicativePronouns), it_empty, false);
1118         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "cond", namedArgs, prefixes, true);
1119
1120         style = " style=\"background:#c0e4c0\"";
1121         outputDataRow(appendAndIndexWikiCallback, style, "congiuntivo", style, "th", "", new LinkedHashMap<String, String>(it_subjunctivePronouns), it_empty, false);
1122         namedArgs.put("sub3s2", namedArgs.remove("sub3s"));
1123         namedArgs.put("sub1s", namedArgs.get("sub123s"));
1124         namedArgs.put("sub2s", namedArgs.get("sub123s"));
1125         namedArgs.put("sub3s", namedArgs.remove("sub123s"));
1126         namedArgs.put("sub1s2", namedArgs.get("sub123s2"));
1127         namedArgs.put("sub2s2", namedArgs.get("sub123s2"));
1128         namedArgs.put("sub3s2", namedArgs.remove("sub123s2"));
1129         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "sub", namedArgs, prefixes, true);
1130         namedArgs.put("impsub1s", namedArgs.get("impsub12s"));
1131         namedArgs.put("impsub2s", namedArgs.remove("impsub12s"));
1132         namedArgs.put("impsub1s2", namedArgs.get("impsub12s2"));
1133         namedArgs.put("impsub2s2", namedArgs.remove("impsub12s2"));
1134         outputDataRow(appendAndIndexWikiCallback, style, "imperfetto", "", "td", "impsub", namedArgs, prefixes, true);
1135
1136         style = " style=\"background:#e4d4c0\"";
1137         outputDataRow(appendAndIndexWikiCallback, style, "imperativo", style, "th", "", new LinkedHashMap<String, String>(it_imperativePronouns), it_empty, false);
1138         outputDataRow(appendAndIndexWikiCallback, style, "", "", "td", "imp", namedArgs, it_empty, false);  // these are attached to the stem.
1139
1140         builder.append("</table>\n");
1141
1142         if (!namedArgs.isEmpty()) {
1143             System.err.println("NON-EMPTY namedArgs: " + namedArgs);
1144             if ("muovesse".equals(namedArgs.get("impsib3s2"))) {
1145                 return false;
1146             }
1147             if ("percuotesse".equals(namedArgs.get("impsib3s2"))) {
1148                 return false;
1149             }
1150             // Too many to deal with:
1151             //assert false;
1152             return false;
1153         }
1154
1155         return true;
1156       }
1157
1158         private void outputDataRow(AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
1159                 String col1Style, String headerName,
1160                 String col2Style, final String type2,
1161                 String moodName, Map<String, String> namedArgs, final List<String> prefixes, final boolean isForm) {
1162             final StringBuilder builder = appendAndIndexWikiCallback.builder;
1163             builder.append("<tr>");
1164             builder.append("<th colspan=\"1\"").append(col1Style).append(">").append(headerName).append("</th>");
1165             int i = 0;
1166             for (final String number : it_number_s_p) {
1167                 for (final String person : it_person_1_2_3) {
1168                     // Output <td> or <th>
1169                     builder.append("<").append(type2).append("").append(col2Style).append(">");
1170                     final String keyBase = String.format("%s%s%s", moodName, person, number);
1171                     appendAndIndexWikiCallback.dispatch(prefixes.get(i++), null);
1172                     outputKeyVariations(appendAndIndexWikiCallback, builder, keyBase, namedArgs, isForm);
1173                     // Output <td> or <th>
1174                     builder.append("</").append(type2).append(">");
1175                 }
1176             }
1177             builder.append("</tr>\n");
1178         }
1179     }
1180
1181   static void passThroughOrFillIn(final Map<String,String> namedArgs, final String key, final String fillIn, final boolean quoteToEmpty) {
1182       final String value = namedArgs.get(key);
1183       if (quoteToEmpty && "''".equals(value)) {
1184           namedArgs.put(key, "");
1185           return;
1186       }
1187       if (value == null || value.equals("")) {
1188           namedArgs.put(key, fillIn);
1189       }
1190   }
1191
1192   static final List<String> it_number_s_p = Arrays.asList("s", "p");
1193   static final List<String> it_person_1_2_3 = Arrays.asList("1", "2", "3");
1194   static final List<String> it_reflexive_pronouns = Arrays.asList("mi ", "ti ", "si ", "ci ", "vi ", "si ");
1195   static final List<String> it_empty = Arrays.asList("", "", "", "", "", "");
1196   static void it_conj_passMood(final Map<String,String> namedArgs, final String moodName, final boolean quoteToEmpty, final String root, final List<String> suffixes) {
1197       assert suffixes.size() == 6;
1198       int i = 0;
1199       for (final String number : it_number_s_p) {
1200           for (final String person : it_person_1_2_3) {
1201               passThroughOrFillIn(namedArgs, String.format("%s%s%s", moodName, person, number), root + suffixes.get(i), quoteToEmpty);
1202               ++i;
1203           }
1204       }
1205   }
1206
1207   private static <T extends AbstractWiktionaryParser> void outputKeyVariations(AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
1208         final StringBuilder builder, final String keyBase, Map<String, String> namedArgs, boolean isForm) {
1209     for (int suffix = 0; suffix <= 4; ++suffix) {
1210         final String key = suffix == 0 ? keyBase : keyBase + suffix;
1211         final String val = namedArgs.remove(key);
1212         if (val != null && !val.trim().equals("")) {
1213             if (suffix > 0) {
1214                 builder.append(", ");
1215             }
1216             appendAndIndexWikiCallback.dispatch(val, null);
1217             if (isForm) {
1218                 appendAndIndexWikiCallback.parser.addLinkToCurrentEntry(val, null, EntryTypeName.WIKTIONARY_INFLECTED_FORM_MULTI);
1219             }
1220         }
1221     }
1222   }
1223
1224
1225 }