src/com/hughes/android/dictionary/parser/wiktionary/EnFunctionCallbacks.java

   1 // Copyright 2012 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.parser.wiktionary;
  16
  17 import com.hughes.android.dictionary.engine.EntryTypeName;
  18 import com.hughes.android.dictionary.engine.IndexBuilder;
  19 import com.hughes.android.dictionary.parser.WikiTokenizer;
  20 import com.hughes.android.dictionary.parser.wiktionary.AbstractWiktionaryParser.AppendAndIndexWikiCallback;
  21 import com.hughes.android.dictionary.parser.wiktionary.AbstractWiktionaryParser.NameAndArgs;
  22 import com.hughes.util.ListUtil;
  23 import com.hughes.util.MapUtil;
  24 import com.hughes.util.StringUtil;
  25
  26 import java.util.ArrayList;
  27 import java.util.Arrays;
  28 import java.util.LinkedHashMap;
  29 import java.util.LinkedHashSet;
  30 import java.util.List;
  31 import java.util.Map;
  32 import java.util.Set;
  33 import java.util.concurrent.atomic.AtomicInteger;
  34
  35 class EnFunctionCallbacks {
  36
  37   static final Map<String,FunctionCallback<EnParser>> DEFAULT = new LinkedHashMap<String, FunctionCallback<EnParser>>();
  38
  39   static <T extends AbstractWiktionaryParser> void addGenericCallbacks(Map<String, FunctionCallback<T>> callbacks) {
  40       FunctionCallback<T> callback = new Gender<T>();
  41       callbacks.put("m", callback);
  42       callbacks.put("f", callback);
  43       callbacks.put("n", callback);
  44       callbacks.put("p", callback);
  45       callbacks.put("g", callback);
  46
  47       callbacks.put("etyl", new etyl<T>());
  48       callbacks.put("term", new term<T>());
  49
  50       callback = new EncodingCallback<T>();
  51       Set<String> encodings = new LinkedHashSet<String>(Arrays.asList(
  52           "IPA", "IPAchar",  // Not really encodings, but it works.
  53           "zh-ts", "zh-tsp",
  54           "sd-Arab", "ku-Arab", "Arab", "unicode", "Laoo", "ur-Arab", "Thai",
  55           "fa-Arab", "Khmr", "Cyrl", "ug-Arab", "ko-inline",
  56           "Jpan", "Kore", "Hebr", "rfscript", "Beng", "Mong", "Knda", "Cyrs",
  57           "yue-tsj", "Mlym", "Tfng", "Grek", "yue-yue-j"));
  58       for (final String encoding : encodings) {
  59           callbacks.put(encoding, callback);
  60       }
  61
  62       callback = new Ignore<T>();
  63       callbacks.put("trreq", callback);
  64       callbacks.put("t-image", callback);
  65       callbacks.put("defn", callback);
  66       callbacks.put("rfdef", callback);
  67       callbacks.put("rfdate", callback);
  68       callbacks.put("rfex", callback);
  69       callbacks.put("rfquote", callback);
  70       callbacks.put("attention", callback);
  71       callbacks.put("zh-attention", callback);
  72       callbacks.put("top2", callback);
  73       callbacks.put("mid2", callback);
  74       callbacks.put("top3", callback);
  75       callbacks.put("mid3", callback);
  76       callbacks.put("bottom", callback);
  77       callbacks.put("rel-mid", callback);
  78       callbacks.put("rel-mid3", callback);
  79       callbacks.put("rel-mid4", callback);
  80       callbacks.put("rel-bottom", callback);
  81
  82       callback = new AppendName<T>();
  83       callbacks.put("...", callback);
  84
  85       callbacks.put("qualifier", new QualifierCallback<T>());
  86       callbacks.put("italbrac", new italbrac<T>());
  87       callbacks.put("gloss", new gloss<T>());
  88       callbacks.put("not used", new not_used<T>());
  89       callbacks.put("wikipedia", new wikipedia<T>());
  90
  91       final it_conj<T> it_conj_cb = new it_conj<T>();
  92       callbacks.put("it-conj", it_conj_cb);
  93       callbacks.put("it-conj-are", new it_conj_are<T>(it_conj_cb));
  94       callbacks.put("it-conj-arsi", new it_conj_are<T>(it_conj_cb));
  95       callbacks.put("it-conj-care", new it_conj_are<T>(it_conj_cb));
  96       callbacks.put("it-conj-carsi", new it_conj_are<T>(it_conj_cb));
  97       callbacks.put("it-conj-ciare", new it_conj_are<T>(it_conj_cb));
  98       callbacks.put("it-conj-ciarsi", new it_conj_are<T>(it_conj_cb));
  99       callbacks.put("it-conj-iare", new it_conj_are<T>(it_conj_cb));
 100       callbacks.put("it-conj-iarsi", new it_conj_are<T>(it_conj_cb));
 101       callbacks.put("it-conj-iare-b", new it_conj_are<T>(it_conj_cb));
 102       callbacks.put("it-conj-iarsi-b", new it_conj_are<T>(it_conj_cb));
 103       callbacks.put("it-conj-ire", new it_conj_ire<T>(it_conj_cb));
 104       callbacks.put("it-conj-irsi", new it_conj_ire<T>(it_conj_cb));
 105       callbacks.put("it-conj-ire-b", new it_conj_ire<T>(it_conj_cb));
 106       callbacks.put("it-conj-irsi-b", new it_conj_ire<T>(it_conj_cb));
 107       callbacks.put("it-conj-cire", new it_conj_ire<T>(it_conj_cb));
 108       callbacks.put("it-conj-cirsi", new it_conj_ire<T>(it_conj_cb));
 109       callbacks.put("it-conj-ire", new it_conj_ire<T>(it_conj_cb));
 110       callbacks.put("it-conj-ere", new it_conj_ere<T>(it_conj_cb));
 111       callbacks.put("it-conj-ersi", new it_conj_ere<T>(it_conj_cb));
 112       callbacks.put("it-conj-urre", new it_conj_urre<T>(it_conj_cb));
 113       callbacks.put("it-conj-ursi", new it_conj_urre<T>(it_conj_cb));
 114       callbacks.put("it-conj-fare", new it_conj_fare<T>(it_conj_cb));
 115
 116
 117       //"{{it-conj-fare|putre|avere}}\n" +
 118
 119
 120   }
 121
 122   static {
 123     addGenericCallbacks(DEFAULT);
 124
 125     FunctionCallback<EnParser> callback = new TranslationCallback<EnParser>();
 126     DEFAULT.put("t", callback);
 127     DEFAULT.put("t+", callback);
 128     DEFAULT.put("t-", callback);
 129     DEFAULT.put("tø", callback);
 130     DEFAULT.put("apdx-t", callback);
 131
 132     callback = new l_term();
 133     DEFAULT.put("l", callback);
 134     DEFAULT.put("term", callback);
 135
 136     //callback = new AppendArg0();
 137
 138     callback = new FormOf();
 139     DEFAULT.put("form of", callback);
 140     DEFAULT.put("conjugation of", callback);
 141     DEFAULT.put("participle of", callback);
 142     DEFAULT.put("present participle of", callback);
 143     DEFAULT.put("past participle of", callback);
 144     DEFAULT.put("feminine past participle of", callback);
 145     DEFAULT.put("gerund of", callback);
 146     DEFAULT.put("feminine of", callback);
 147     DEFAULT.put("plural of", callback);
 148     DEFAULT.put("feminine plural of", callback);
 149     DEFAULT.put("inflected form of", callback);
 150     DEFAULT.put("alternative form of", callback);
 151     DEFAULT.put("dated form of", callback);
 152     DEFAULT.put("apocopic form of", callback);
 153
 154     callback = new InflOrHead();
 155     DEFAULT.put("infl", callback);
 156     DEFAULT.put("head", callback);
 157   }
 158
 159   static final NameAndArgs<EnParser> NAME_AND_ARGS = new NameAndArgs<EnParser>();
 160
 161   // ------------------------------------------------------------------
 162
 163   static final class TranslationCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 164     @Override
 165     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 166         final Map<String, String> namedArgs, final T parser,
 167         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 168
 169       final String transliteration = namedArgs.remove("tr");
 170       final String alt = namedArgs.remove("alt");
 171       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 172       if (args.size() < 2) {
 173         if (!name.equals("ttbc")) {
 174           EnParser.LOG.warning("{{t...}} with wrong args: title=" + parser.title + ", " + wikiTokenizer.token());
 175         }
 176         return false;
 177       }
 178       final String langCode = ListUtil.get(args, 0);
 179       if (!appendAndIndexWikiCallback.langCodeToTCount.containsKey(langCode)) {
 180         appendAndIndexWikiCallback.langCodeToTCount.put(langCode, new AtomicInteger());
 181       }
 182       appendAndIndexWikiCallback.langCodeToTCount.get(langCode).incrementAndGet();
 183       final String word = ListUtil.get(args, 1);
 184       appendAndIndexWikiCallback.dispatch(alt != null ? alt : word, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 185
 186       // Genders...
 187       if (args.size() > 2) {
 188         appendAndIndexWikiCallback.builder.append(" {");
 189         for (int i = 2; i < args.size(); ++i) {
 190           if (i > 2) {
 191             appendAndIndexWikiCallback.builder.append("|");
 192           }
 193           appendAndIndexWikiCallback.builder.append(args.get(i));
 194         }
 195         appendAndIndexWikiCallback.builder.append("}");
 196       }
 197
 198       if (transliteration != null) {
 199         appendAndIndexWikiCallback.builder.append(" (");
 200         appendAndIndexWikiCallback.dispatch(transliteration, EntryTypeName.WIKTIONARY_TRANSLITERATION);
 201         appendAndIndexWikiCallback.builder.append(")");
 202       }
 203
 204       if (alt != null) {
 205         // If alt wasn't null, we appended alt instead of the actual word
 206         // we're filing under..
 207         appendAndIndexWikiCallback.builder.append(" (");
 208         appendAndIndexWikiCallback.dispatch(word, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 209         appendAndIndexWikiCallback.builder.append(")");
 210       }
 211
 212       // Catch-all for anything else...
 213       if (!namedArgs.isEmpty()) {
 214         appendAndIndexWikiCallback.builder.append(" {");
 215         EnParser.appendNamedArgs(namedArgs, appendAndIndexWikiCallback);
 216         appendAndIndexWikiCallback.builder.append("}");
 217       }
 218
 219       return true;
 220     }
 221   }
 222
 223   // ------------------------------------------------------------------
 224
 225   static final class QualifierCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 226     @Override
 227     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 228         final Map<String, String> namedArgs,
 229         final T parser,
 230         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 231       if (args.size() != 1 || !namedArgs.isEmpty()) {
 232         EnParser.LOG.warning("weird qualifier: ");
 233         return false;
 234       }
 235       String qualifier = args.get(0);
 236       appendAndIndexWikiCallback.builder.append("(");
 237       appendAndIndexWikiCallback.dispatch(qualifier, null);
 238       appendAndIndexWikiCallback.builder.append(")");
 239       return true;
 240     }
 241   }
 242
 243   // ------------------------------------------------------------------
 244
 245   static final class EncodingCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 246     @Override
 247     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 248         final Map<String, String> namedArgs,
 249         final T parser,
 250         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 251       //namedArgs.remove("lang");
 252       if (!namedArgs.isEmpty()) {
 253         EnParser.LOG.warning("weird encoding: " + wikiTokenizer.token());
 254         return false;
 255       }
 256       if (args.size() == 0) {
 257         // Things like "{{Jpan}}" exist.
 258         return true;
 259       }
 260
 261       if (name.equals("IPA")) {
 262           appendAndIndexWikiCallback.dispatch("IPA: ", null);
 263       }
 264
 265       for (int i = 0; i < args.size(); ++i) {
 266         if (i > 0) {
 267           appendAndIndexWikiCallback.builder.append(", ");
 268         }
 269         final String arg = args.get(i);
 270 //        if (arg.equals(parser.title)) {
 271 //          parser.titleAppended = true;
 272 //        }
 273         appendAndIndexWikiCallback.dispatch(arg, appendAndIndexWikiCallback.entryTypeName);
 274       }
 275
 276       return true;
 277     }
 278   }
 279
 280   // ------------------------------------------------------------------
 281
 282   static final class Gender<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 283     @Override
 284     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 285         final Map<String, String> namedArgs,
 286         final T parser,
 287         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 288       if (!namedArgs.isEmpty()) {
 289         return false;
 290       }
 291       appendAndIndexWikiCallback.builder.append("{");
 292       appendAndIndexWikiCallback.builder.append(name);
 293       for (int i = 0; i < args.size(); ++i) {
 294         appendAndIndexWikiCallback.builder.append("|").append(args.get(i));
 295       }
 296       appendAndIndexWikiCallback.builder.append("}");
 297       return true;
 298     }
 299   }
 300
 301   // ------------------------------------------------------------------
 302
 303   static final class l_term implements FunctionCallback<EnParser> {
 304     @Override
 305     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 306         final Map<String, String> namedArgs,
 307         final EnParser parser,
 308         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 309
 310       // for {{l}}, lang is arg 0, but not for {{term}}
 311       if (name.equals("term")) {
 312         args.add(0, "");
 313       }
 314
 315       final EntryTypeName entryTypeName;
 316       switch (parser.state) {
 317       case TRANSLATION_LINE: entryTypeName = EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT; break;
 318       case ENGLISH_DEF_OF_FOREIGN: entryTypeName = EntryTypeName.WIKTIONARY_ENGLISH_DEF_WIKI_LINK; break;
 319       default: throw new IllegalStateException("Invalid enum value: " + parser.state);
 320       }
 321
 322       final String langCode = args.get(0);
 323       final IndexBuilder indexBuilder;
 324       if ("".equals(langCode)) {
 325         indexBuilder = parser.foreignIndexBuilder;
 326       } else if ("en".equals(langCode)) {
 327         indexBuilder = parser.enIndexBuilder;
 328       } else {
 329         indexBuilder = parser.foreignIndexBuilder;
 330       }
 331
 332       String displayText = ListUtil.get(args, 2, "");
 333       if (displayText.equals("")) {
 334         displayText = ListUtil.get(args, 1, null);
 335       }
 336
 337       if (displayText != null) {
 338         appendAndIndexWikiCallback.dispatch(displayText, indexBuilder, entryTypeName);
 339       } else {
 340         EnParser.LOG.warning("no display text: " + wikiTokenizer.token());
 341       }
 342
 343       final String tr = namedArgs.remove("tr");
 344       if (tr != null) {
 345         appendAndIndexWikiCallback.builder.append(" (");
 346         appendAndIndexWikiCallback.dispatch(tr, indexBuilder, EntryTypeName.WIKTIONARY_TRANSLITERATION);
 347         appendAndIndexWikiCallback.builder.append(")");
 348       }
 349
 350       final String gloss = ListUtil.get(args, 3, "");
 351       if (!gloss.equals("")) {
 352         appendAndIndexWikiCallback.builder.append(" (");
 353         appendAndIndexWikiCallback.dispatch(gloss, parser.enIndexBuilder, EntryTypeName.WIKTIONARY_ENGLISH_DEF);
 354         appendAndIndexWikiCallback.builder.append(")");
 355       }
 356
 357       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 358       if (!namedArgs.isEmpty()) {
 359         appendAndIndexWikiCallback.builder.append(" {").append(name);
 360         EnParser.appendNamedArgs(namedArgs, appendAndIndexWikiCallback);
 361         appendAndIndexWikiCallback.builder.append("}");
 362       }
 363
 364       return true;
 365     }
 366   }
 367
 368   // ------------------------------------------------------------------
 369
 370   static final class AppendArg0<T extends AbstractWiktionaryParser> implements FunctionCallback<EnParser> {
 371     @Override
 372     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 373         final Map<String, String> namedArgs,
 374         final EnParser parser,
 375         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 376       if (args.size() != 1 || !namedArgs.isEmpty()) {
 377         return false;
 378       }
 379       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 380
 381       final String tr = namedArgs.remove("tr");
 382       if (tr != null) {
 383         appendAndIndexWikiCallback.builder.append(" (");
 384         appendAndIndexWikiCallback.dispatch(tr, EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 385         appendAndIndexWikiCallback.builder.append(")");
 386         parser.wordForms.add(tr);
 387       }
 388
 389       return true;
 390     }
 391   }
 392
 393   // ------------------------------------------------------------------
 394
 395   static final class italbrac<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 396     @Override
 397     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 398         final Map<String, String> namedArgs,
 399         final T parser,
 400         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 401       if (args.size() != 1 || !namedArgs.isEmpty()) {
 402         return false;
 403       }
 404       appendAndIndexWikiCallback.builder.append("(");
 405       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 406       appendAndIndexWikiCallback.builder.append(")");
 407       return true;
 408     }
 409   }
 410
 411   // ------------------------------------------------------------------
 412
 413   static final class gloss<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 414     @Override
 415     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 416         final Map<String, String> namedArgs,
 417         final T parser,
 418         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 419       if (args.size() != 1 || !namedArgs.isEmpty()) {
 420         return false;
 421       }
 422       appendAndIndexWikiCallback.builder.append("(");
 423       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 424       appendAndIndexWikiCallback.builder.append(")");
 425       return true;
 426     }
 427   }
 428
 429   // ------------------------------------------------------------------
 430
 431   static final class Ignore<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 432     @Override
 433     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 434         final Map<String, String> namedArgs,
 435         final T parser,
 436         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 437       return true;
 438     }
 439   }
 440
 441   // ------------------------------------------------------------------
 442
 443   static final class not_used<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 444     @Override
 445     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 446         final Map<String, String> namedArgs,
 447         final T parser,
 448         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 449       appendAndIndexWikiCallback.builder.append("(not used)");
 450       return true;
 451     }
 452   }
 453
 454
 455   // ------------------------------------------------------------------
 456
 457   static final class AppendName<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 458     @Override
 459     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 460         final Map<String, String> namedArgs,
 461         final T parser,
 462         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 463       if (!args.isEmpty() || !namedArgs.isEmpty()) {
 464         return false;
 465       }
 466       appendAndIndexWikiCallback.builder.append(name);
 467       return true;
 468     }
 469   }
 470
 471   // --------------------------------------------------------------------
 472   // --------------------------------------------------------------------
 473
 474
 475   static final class FormOf implements FunctionCallback<EnParser> {
 476     @Override
 477     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 478         final Map<String, String> namedArgs,
 479         final EnParser parser,
 480         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 481       parser.entryIsFormOfSomething = true;
 482       String formName = name;
 483       if (name.equals("form of")) {
 484         formName = ListUtil.remove(args, 0, null);
 485       }
 486       if (formName == null) {
 487         EnParser.LOG.warning("Missing form name: " + parser.title);
 488         formName = "form of";
 489       }
 490       String baseForm = ListUtil.get(args, 1, "");
 491       if ("".equals(baseForm)) {
 492         baseForm = ListUtil.get(args, 0, null);
 493         ListUtil.remove(args, 1, "");
 494       } else {
 495         ListUtil.remove(args, 0, null);
 496       }
 497       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 498
 499       appendAndIndexWikiCallback.builder.append("{");
 500       NAME_AND_ARGS.onWikiFunction(wikiTokenizer, formName, args, namedArgs, parser, appendAndIndexWikiCallback);
 501       appendAndIndexWikiCallback.builder.append("}");
 502       if (baseForm != null && appendAndIndexWikiCallback.indexedEntry != null) {
 503         parser.foreignIndexBuilder.addEntryWithString(appendAndIndexWikiCallback.indexedEntry, baseForm, EntryTypeName.WIKTIONARY_BASE_FORM_MULTI);
 504       } else {
 505         // null baseForm happens in Danish.
 506         EnParser.LOG.warning("Null baseform: " + parser.title);
 507       }
 508       return true;
 509     }
 510   }
 511
 512   static final EnFunctionCallbacks.FormOf FORM_OF = new FormOf();
 513
 514
 515   // --------------------------------------------------------------------
 516   // --------------------------------------------------------------------
 517
 518   static final class wikipedia<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 519     @Override
 520     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 521         final Map<String, String> namedArgs,
 522         final T parser,
 523         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 524       namedArgs.remove("lang");
 525       if (args.size() > 1 || !namedArgs.isEmpty()) {
 526         // Unindexed!
 527         return false;
 528       } else if (args.size() == 1) {
 529         return false;
 530       } else {
 531         return true;
 532       }
 533     }
 534   }
 535
 536   static final class InflOrHead implements FunctionCallback<EnParser> {
 537     @Override
 538     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 539         final Map<String, String> namedArgs,
 540         final EnParser parser,
 541         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 542       // See: http://en.wiktionary.org/wiki/Template:infl
 543       // TODO: Actually these functions should start a new WordPOS:
 544       // See: http://en.wiktionary.org/wiki/quattro
 545       final String langCode = ListUtil.get(args, 0);
 546       String head = namedArgs.remove("head");
 547       if (head == null) {
 548         head = namedArgs.remove("title"); // Bug
 549       }
 550       if (head == null) {
 551         head = parser.title;
 552       }
 553
 554       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 555
 556       final String tr = namedArgs.remove("tr");
 557       String g = namedArgs.remove("g");
 558       if (g == null) {
 559         g = namedArgs.remove("gender");
 560       }
 561       final String g2 = namedArgs.remove("g2");
 562       final String g3 = namedArgs.remove("g3");
 563
 564       // We might have already taken care of this in a generic way...
 565       if (!parser.titleAppended) {
 566         appendAndIndexWikiCallback.dispatch(head, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 567         parser.titleAppended = true;
 568       }
 569
 570       if (g != null) {
 571         appendAndIndexWikiCallback.builder.append(" {").append(g);
 572         if (g2 != null) {
 573           appendAndIndexWikiCallback.builder.append("|").append(g2);
 574         }
 575         if (g3 != null) {
 576           appendAndIndexWikiCallback.builder.append("|").append(g3);
 577         }
 578         appendAndIndexWikiCallback.builder.append("}");
 579       }
 580
 581       if (tr != null) {
 582         appendAndIndexWikiCallback.builder.append(" (");
 583         appendAndIndexWikiCallback.dispatch(tr, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 584         appendAndIndexWikiCallback.builder.append(")");
 585         parser.wordForms.add(tr);
 586       }
 587
 588       final String pos = ListUtil.get(args, 1);
 589       if (pos != null) {
 590         appendAndIndexWikiCallback.builder.append(" (").append(pos).append(")");
 591       }
 592       for (int i = 2; i < args.size(); i += 2) {
 593         final String inflName = ListUtil.get(args, i);
 594         final String inflValue = ListUtil.get(args, i + 1);
 595         appendAndIndexWikiCallback.builder.append(", ");
 596         appendAndIndexWikiCallback.dispatch(inflName, null, null);
 597         if (inflValue != null && inflValue.length() > 0) {
 598           appendAndIndexWikiCallback.builder.append(": ");
 599           appendAndIndexWikiCallback.dispatch(inflValue, null, null);
 600           parser.wordForms.add(inflValue);
 601         }
 602       }
 603       for (final String key : namedArgs.keySet()) {
 604         final String value = WikiTokenizer.toPlainText(namedArgs.get(key));
 605         appendAndIndexWikiCallback.builder.append(" ");
 606         appendAndIndexWikiCallback.dispatch(key, null, null);
 607         appendAndIndexWikiCallback.builder.append("=");
 608         appendAndIndexWikiCallback.dispatch(value, null, null);
 609         parser.wordForms.add(value);
 610       }
 611       return true;
 612     }
 613   }
 614
 615   static final class etyl<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 616       @Override
 617       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 618           final Map<String, String> namedArgs,
 619           final T parser,
 620           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 621         final String langCode = ListUtil.get(args, 0);
 622         if (langCode == null) {
 623             return false;
 624         }
 625         String langName = WiktionaryLangs.getEnglishName(langCode);
 626         if (langName != null) {
 627             appendAndIndexWikiCallback.dispatch(langName, null);
 628         } else {
 629             appendAndIndexWikiCallback.dispatch("lang:" + langCode, null);
 630         }
 631         return true;
 632       }
 633   }
 634
 635   static final class term<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 636       @Override
 637       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 638           final Map<String, String> namedArgs,
 639           final T parser,
 640           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 641         namedArgs.remove("sc");
 642
 643         // Main text.
 644         final String lang = namedArgs.remove("lang");
 645         String head = ListUtil.get(args, 0);
 646         String display = ListUtil.get(args, 1);
 647         if (StringUtil.isNullOrEmpty(head) && StringUtil.isNullOrEmpty(display)) {
 648             head = display = parser.title;
 649         }
 650         if (StringUtil.isNullOrEmpty(head)) {
 651             // Dispatches formatted wiki text.
 652             appendAndIndexWikiCallback.dispatch(display, null);
 653         } else {
 654             if (StringUtil.isNullOrEmpty(display)) {
 655                 display = head;
 656             }
 657             appendAndIndexWikiCallback.dispatch(String.format("[[%s|%s]]", display, head), null);
 658         }
 659
 660         // Stuff in ()s.
 661         final String tr = namedArgs.remove("tr");
 662         final String pos = namedArgs.remove("pos");
 663         String gloss = ListUtil.get(args, 2);
 664         String literally = namedArgs.remove("lit");
 665         if (!StringUtil.isNullOrEmpty(gloss)) {
 666             gloss = String.format("\"%s\"", gloss);
 667         }
 668         if (!StringUtil.isNullOrEmpty(literally)) {
 669             literally = String.format("literally %s", literally);
 670         }
 671         final List<String> inParens = new ArrayList<String>(Arrays.asList(tr, pos, gloss, literally));
 672         cleanList(inParens);
 673         appendCommaSeparatedList(appendAndIndexWikiCallback, inParens);
 674
 675         if (tr != null) {
 676             parser.addLinkToCurrentEntry(tr, lang, EntryTypeName.WIKTIONARY_MENTIONED);
 677         }
 678         return namedArgs.isEmpty();
 679       }
 680
 681     private void appendCommaSeparatedList(
 682             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
 683             final List<String> inParens) {
 684         if (!inParens.isEmpty()) {
 685             appendAndIndexWikiCallback.dispatch(" (", null);
 686             for (int i = 0; i < inParens.size(); ++i) {
 687                 if (i > 0) {
 688                     appendAndIndexWikiCallback.dispatch(", ", null);
 689                 }
 690                 appendAndIndexWikiCallback.dispatch(inParens.get(i), null);
 691             }
 692             appendAndIndexWikiCallback.dispatch(")", null);
 693         }
 694     }
 695
 696   }
 697
 698   private static void cleanList(List<String> asList) {
 699       int pos;
 700       while ((pos = asList.indexOf("")) != -1) {
 701           asList.remove(pos);
 702       }
 703       while ((pos = asList.indexOf(null)) != -1) {
 704           asList.remove(pos);
 705       }
 706   }
 707
 708
 709   static {
 710     DEFAULT.put("it-noun", new it_noun());
 711   }
 712   static final class it_noun implements FunctionCallback<EnParser> {
 713     @Override
 714     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 715         final Map<String, String> namedArgs,
 716         final EnParser parser,
 717         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 718       parser.titleAppended = true;
 719       final String base = ListUtil.get(args, 0);
 720       final String gender = ListUtil.get(args, 1);
 721       final String singular = base + ListUtil.get(args, 2, null);
 722       final String plural = base + ListUtil.get(args, 3, null);
 723       appendAndIndexWikiCallback.builder.append(" ");
 724       appendAndIndexWikiCallback.dispatch(singular, null, null);
 725       appendAndIndexWikiCallback.builder.append(" {").append(gender).append("}, ");
 726       appendAndIndexWikiCallback.dispatch(plural, null, null);
 727       appendAndIndexWikiCallback.builder.append(" {pl}");
 728       final String f = namedArgs.remove("f");
 729       if (f != null) {
 730           appendAndIndexWikiCallback.builder.append(", ");
 731           appendAndIndexWikiCallback.dispatch(f, null, null);
 732           appendAndIndexWikiCallback.builder.append(" {f}");
 733       }
 734       final String m = namedArgs.remove("f");
 735       if (m != null) {
 736           appendAndIndexWikiCallback.builder.append(", ");
 737           appendAndIndexWikiCallback.dispatch(m, null, null);
 738           appendAndIndexWikiCallback.builder.append(" {m}");
 739       }
 740       parser.wordForms.add(singular);
 741       parser.wordForms.add(plural);
 742       if (!namedArgs.isEmpty() || args.size() > 4) {
 743         EnParser.LOG.warning("Invalid it-noun: " + wikiTokenizer.token());
 744       }
 745       return true;
 746     }
 747   }
 748
 749   static {
 750     DEFAULT.put("it-proper noun", new it_proper_noun<EnParser>());
 751   }
 752   static final class it_proper_noun<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 753     @Override
 754     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 755         final Map<String, String> namedArgs,
 756         final T parser,
 757         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 758       return false;
 759     }
 760   }
 761
 762   // -----------------------------------------------------------------------
 763   // Italian stuff
 764   // -----------------------------------------------------------------------
 765
 766 static final class it_conj_are<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 767     final it_conj<T> dest;
 768     it_conj_are(it_conj<T> dest) {
 769       this.dest = dest;
 770     }
 771     @Override
 772       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 773           final Map<String, String> namedArgs,
 774           final T parser,
 775           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 776         final String h = name.equals("it-conj-care") || name.equals("it-conj-carsi") ? "h" : "";
 777         final String i = name.equals("it-conj-ciare") || name.equals("it-conj-ciarsi") ? "i" : "";
 778         final String i2 = name.equals("it-conj-iare") || name.equals("it-conj-iarsi") ? "" : "i";
 779         final boolean si = name.equals("it-conj-arsi") || name.equals("it-conj-iarsi") || name.equals("it-conj-iarsi-b") || name.equals("it-conj-carsi") || name.equals("it-conj-ciarsi");
 780         final String root = args.get(0);
 781         passThroughOrFillIn(namedArgs, "inf", root + i + (si ? "arsi" : "are"), false);
 782         namedArgs.put("aux", ListUtil.get(args, 1, ""));
 783         passThroughOrFillIn(namedArgs, "ger", root + i + "ando" + (si ? "si" : ""), true);
 784         passThroughOrFillIn(namedArgs, "presp", root + i + "ante"+ (si ? "si" : ""), true);
 785         passThroughOrFillIn(namedArgs, "pastp", root + i + "ato", true);
 786         if (si) {
 787             passThroughOrFillIn(namedArgs, "pastp2", root + i + "atosi", true);
 788         }
 789         final String i2b = (name.equals("it-conj-iare-b") || name.equals("it-conj-iarsi-b")) ? "" : i2;
 790
 791         it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList(i + "o", h + i2, i + "a", h + i2 + "amo", i + "ate", i + "ano"));
 792         it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList(i + "avo", i + "avi", i + "ava", i + "avamo", i + "avate", i + "avano"));
 793         it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList(i + "ai", i + "asti", i + "ò", i + "ammo", i + "aste", i + "arono"));
 794         it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList(h + "erò", h + "erai", h + "erà", h + "eremo", h + "erete", h + "eranno"));
 795         it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList(h + "erei", h + "eresti", h + "erebbe", h + "eremmo", h + "ereste", h + "erebbero"));
 796
 797         passThroughOrFillIn(namedArgs, "sub123s", root + h + i2, false);
 798         passThroughOrFillIn(namedArgs, "sub1p", root + h + i2b + "amo", false);
 799         passThroughOrFillIn(namedArgs, "sub2p", root + h + i2b + "ate", false);
 800         passThroughOrFillIn(namedArgs, "sub3p", root + h + i2 + "no", false);
 801
 802         passThroughOrFillIn(namedArgs, "impsub12s", root + i + "assi", false);
 803         passThroughOrFillIn(namedArgs, "impsub3s", root + i + "asse", false);
 804         passThroughOrFillIn(namedArgs, "impsub1p", root + i + "assimo", false);
 805         passThroughOrFillIn(namedArgs, "impsub2p", root + i + "aste", false);
 806         passThroughOrFillIn(namedArgs, "impsub3p", root + i + "assero", false);
 807
 808         passThroughOrFillIn(namedArgs, "imp2s", root + i + "a" + (si ? "ti" : ""), true);
 809         passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + h + i2, true);
 810         passThroughOrFillIn(namedArgs, "imp1p", root + h + i2b + "amo" + (si ? "ci" : ""), true);
 811         passThroughOrFillIn(namedArgs, "imp2p", root + i + "ate" + (si ? "vi" : ""), true);
 812         passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + h + i2 + "no", true);
 813
 814         return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 815       }
 816     }
 817
 818   static final class it_conj_ire<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 819     final it_conj<T> dest;
 820     it_conj_ire(it_conj<T> dest) {
 821       this.dest = dest;
 822     }
 823     @Override
 824       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 825           final Map<String, String> namedArgs,
 826           final T parser,
 827           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 828         final String root = args.get(0);
 829         final String i = name.equals("it-conj-cire") || name.equals("it-conj-cirsi") ? "i" : "";
 830         final boolean si = name.equals("it-conj-irsi") || name.equals("it-conj-irsi-b") || name.equals("it-conj-cirsi");
 831
 832         passThroughOrFillIn(namedArgs, "inf", root + (si ? "irsi" : "ire"), false);
 833         namedArgs.put("aux", ListUtil.get(args, 1, ""));
 834         passThroughOrFillIn(namedArgs, "ger", root + "endo" + (si ? "si" : ""), true);
 835         passThroughOrFillIn(namedArgs, "presp", root + "ente" + (si ? "si" : ""), true);
 836         passThroughOrFillIn(namedArgs, "pastp", root + "ito", true);
 837         if (si) {
 838             passThroughOrFillIn(namedArgs, "pastp2", root + "itosi", true);
 839         }
 840         if (!name.endsWith("-b")) {
 841             it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList(i + "o", "i", "e", "iamo", "ite", i + "ono"));
 842         } else {
 843             it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("isco", "isci", "isce", "iamo", "ite", "iscono"));
 844         }
 845         it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("ivo", "ivi", "iva", "ivamo", "ivate", "ivano"));
 846         it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ii", "isti", "ì", "immo", "iste", "irono"));
 847         // Regular past historic synonyms:
 848         passThroughOrFillIn(namedArgs, "prem3s2", root + "é", true);
 849         passThroughOrFillIn(namedArgs, "prem3p2", root + "erono", true);
 850         it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("irò", "irai", "irà", "iremo", "irete", "iranno"));
 851         it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("irei", "iresti", "irebbe", "iremmo", "ireste", "irebbero"));
 852
 853         if (!name.endsWith("-b")) {
 854             passThroughOrFillIn(namedArgs, "sub123s", root + i + "a", false);
 855             passThroughOrFillIn(namedArgs, "sub3p", root + i + "ano", false);
 856         } else {
 857             passThroughOrFillIn(namedArgs, "sub123s", root + "isca", false);
 858             passThroughOrFillIn(namedArgs, "sub3p", root + "iscano", false);
 859         }
 860         passThroughOrFillIn(namedArgs, "sub1p", root + "iamo", false);
 861         passThroughOrFillIn(namedArgs, "sub2p", root + "iate", false);
 862
 863         passThroughOrFillIn(namedArgs, "impsub12s", root + "issi", false);
 864         passThroughOrFillIn(namedArgs, "impsub3s", root + "isse", false);
 865         passThroughOrFillIn(namedArgs, "impsub1p", root + "issimo", false);
 866         passThroughOrFillIn(namedArgs, "impsub2p", root + "iste", false);
 867         passThroughOrFillIn(namedArgs, "impsub3p", root + "issero", false);
 868
 869         if (!name.endsWith("-b")) {
 870             passThroughOrFillIn(namedArgs, "imp2s", root + "i" + (si ? "ti" : ""), true);
 871             passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + i + "a", true);
 872             passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + i + "ano", true);
 873         } else {
 874             passThroughOrFillIn(namedArgs, "imp2s", root + "isci" + (si ? "ti" : ""), true);
 875             passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + "isca", true);
 876             passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + "iscano", true);
 877         }
 878         passThroughOrFillIn(namedArgs, "imp1p", root + "iamo" + (si ? "ci" : ""), true);
 879         passThroughOrFillIn(namedArgs, "imp2p", root + "ite" + (si ? "vi" : ""), true);
 880
 881         return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 882       }
 883     }
 884
 885
 886   static final class it_conj_ere<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 887       final it_conj<T> dest;
 888       it_conj_ere(it_conj<T> dest) {
 889         this.dest = dest;
 890       }
 891       @Override
 892         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 893             final Map<String, String> namedArgs,
 894             final T parser,
 895             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 896           final String root = args.get(0);
 897           final boolean si = name.equals("it-conj-ersi");
 898
 899           passThroughOrFillIn(namedArgs, "inf", root + (si ? "ersi" : "ere"), false);
 900           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 901           passThroughOrFillIn(namedArgs, "ger", root + "endo" + (si ? "si" : ""), true);
 902           passThroughOrFillIn(namedArgs, "presp", root + "ente" + (si ? "si" : ""), true);
 903           passThroughOrFillIn(namedArgs, "pastp", root + "uto", true);
 904           if (si) {
 905               passThroughOrFillIn(namedArgs, "pastp2", root + "utosi", true);
 906           }
 907           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("o", "i", "e", "iamo", "ete", "ono"));
 908           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("evo", "evi", "eva", "evamo", "evate", "evano"));
 909           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ei", "esti", "ette", "emmo", "este", "ettero"));
 910           // Regular past historic synonyms:
 911           passThroughOrFillIn(namedArgs, "prem3s2", root + "é", true);
 912           passThroughOrFillIn(namedArgs, "prem3p2", root + "erono", true);
 913           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("erò", "erai", "erà", "eremo", "erete", "eranno"));
 914           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("erei", "eresti", "erebbe", "eremmo", "ereste", "erebbero"));
 915
 916           passThroughOrFillIn(namedArgs, "sub123s", root + "a", false);
 917           passThroughOrFillIn(namedArgs, "sub1p", root + "iamo", false);
 918           passThroughOrFillIn(namedArgs, "sub2p", root + "iate", false);
 919           passThroughOrFillIn(namedArgs, "sub3p", root + "ano", false);
 920
 921           passThroughOrFillIn(namedArgs, "impsub12s", root + "essi", false);
 922           passThroughOrFillIn(namedArgs, "impsub3s", root + "esse", false);
 923           passThroughOrFillIn(namedArgs, "impsub1p", root + "essimo", false);
 924           passThroughOrFillIn(namedArgs, "impsub2p", root + "este", false);
 925           passThroughOrFillIn(namedArgs, "impsub3p", root + "essero", false);
 926
 927           passThroughOrFillIn(namedArgs, "imp2s", root + "i" + (si ? "ti" : ""), true);
 928           passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + "a", true);
 929           passThroughOrFillIn(namedArgs, "imp1p", root + "iamo" + (si ? "ci" : ""), true);
 930           passThroughOrFillIn(namedArgs, "imp2p", root + "ete" + (si ? "vi" : ""), true);
 931           passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + "ano", true);
 932
 933           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 934         }
 935       }
 936
 937   static final class it_conj_urre<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 938       final it_conj<T> dest;
 939       it_conj_urre(it_conj<T> dest) {
 940         this.dest = dest;
 941       }
 942       @Override
 943         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 944             final Map<String, String> namedArgs,
 945             final T parser,
 946             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 947           final String root = args.get(0);
 948           final boolean si = name.equals("it-conj-ursi");
 949
 950           passThroughOrFillIn(namedArgs, "inf", root + (si ? "ursi" : "urre"), false);
 951           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 952           passThroughOrFillIn(namedArgs, "ger", root + "ucendo" + (si ? "si" : ""), true);
 953           passThroughOrFillIn(namedArgs, "presp", root + "ucente" + (si ? "si" : ""), true);
 954           passThroughOrFillIn(namedArgs, "pastp", root + "otto", true);
 955           if (si) {
 956               passThroughOrFillIn(namedArgs, "pastp2", root + "ottosi", true);
 957           }
 958           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("uco", "uci", "uce", "uciamo", "ucete", "ucono"));
 959           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("ucevo", "ucevi", "uceva", "ucevamo", "ucevate", "ucevano"));
 960           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ussi", "ucesti", "usse", "ucemmo", "uceste", "ussero"));
 961           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("urrò", "urrai", "urrà", "urremo", "urrete", "urranno"));
 962           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("urrei", "urresti", "urrebbe", "urremmo", "urreste", "urrebbero"));
 963
 964           passThroughOrFillIn(namedArgs, "sub123s", root + "uca", false);
 965           passThroughOrFillIn(namedArgs, "sub1p", root + "uciamo", false);
 966           passThroughOrFillIn(namedArgs, "sub2p", root + "uciate", false);
 967           passThroughOrFillIn(namedArgs, "sub3p", root + "ucano", false);
 968
 969           passThroughOrFillIn(namedArgs, "impsub12s", root + "ucessi", false);
 970           passThroughOrFillIn(namedArgs, "impsub3s", root + "ucesse", false);
 971           passThroughOrFillIn(namedArgs, "impsub1p", root + "ucessimo", false);
 972           passThroughOrFillIn(namedArgs, "impsub2p", root + "uceste", false);
 973           passThroughOrFillIn(namedArgs, "impsub3p", root + "ucessero", false);
 974
 975           passThroughOrFillIn(namedArgs, "imp2s", root + "uci" + (si ? "ti" : ""), true);
 976           passThroughOrFillIn(namedArgs, "imp3s", (si ? "si" : "") + root + "uca", true);
 977           passThroughOrFillIn(namedArgs, "imp1p", root + "uciamo" + (si ? "ci" : ""), true);
 978           passThroughOrFillIn(namedArgs, "imp2p", root + "ucete" + (si ? "vi" : ""), true);
 979           passThroughOrFillIn(namedArgs, "imp3p", (si ? "si" : "") + root + "ucano", true);
 980
 981           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 982         }
 983       }
 984
 985   static final class it_conj_fare<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 986       final it_conj<T> dest;
 987       it_conj_fare(it_conj<T> dest) {
 988         this.dest = dest;
 989       }
 990       @Override
 991         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 992             final Map<String, String> namedArgs,
 993             final T parser,
 994             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 995           final String root = args.get(0);
 996           passThroughOrFillIn(namedArgs, "inf", root + "fare", false);
 997           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 998           passThroughOrFillIn(namedArgs, "ger", root + "facendo", true);
 999           passThroughOrFillIn(namedArgs, "presp", root + "facente", true);
1000           passThroughOrFillIn(namedArgs, "pastp", root + "fatto", true);
1001           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("faccio", "fai", "fà", "facciamo", "fate", "fanno"));
1002           passThroughOrFillIn(namedArgs, "pres1s2", root + "fò", true);
1003           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("facevo", "facevi", "faceva", "facevamo", "facevate", "facevano"));
1004           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("feci", "facesti", "fece", "facemmo", "faceste", "fecero"));
1005           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("farò", "farai", "farà", "faremo", "farete", "faranno"));
1006           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("farei", "faresti", "farebbe", "faremmo", "fareste", "farebbero"));
1007
1008           passThroughOrFillIn(namedArgs, "sub123s", root + "faccia", false);
1009           passThroughOrFillIn(namedArgs, "sub1p", root + "facciamo", false);
1010           passThroughOrFillIn(namedArgs, "sub2p", root + "facciate", false);
1011           passThroughOrFillIn(namedArgs, "sub3p", root + "facciano", false);
1012
1013           passThroughOrFillIn(namedArgs, "impsub12s", root + "facessi", false);
1014           passThroughOrFillIn(namedArgs, "impsub3s", root + "facesse", false);
1015           passThroughOrFillIn(namedArgs, "impsub1p", root + "facessimo", false);
1016           passThroughOrFillIn(namedArgs, "impsub2p", root + "faceste", false);
1017           passThroughOrFillIn(namedArgs, "impsub3p", root + "facessero", false);
1018
1019           passThroughOrFillIn(namedArgs, "imp2s", root + "fa", true);
1020           passThroughOrFillIn(namedArgs, "imp3s", root + "faccia", true);
1021           passThroughOrFillIn(namedArgs, "imp1p", root + "facciamo", true);
1022           passThroughOrFillIn(namedArgs, "imp2p", root + "fate", true);
1023           passThroughOrFillIn(namedArgs, "imp3p", root + "facciano", true);
1024
1025           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
1026         }
1027       }
1028
1029   static final Map<String,String> it_indicativePronouns = new LinkedHashMap<String, String>();
1030   static {
1031       it_indicativePronouns.put("1s", "io");
1032       it_indicativePronouns.put("2s", "tu");
1033       it_indicativePronouns.put("3s", "lui/lei");
1034       it_indicativePronouns.put("1p", "noi");
1035       it_indicativePronouns.put("2p", "voi");
1036       it_indicativePronouns.put("3p", "essi/esse");
1037   }
1038
1039   static final Map<String,String> it_subjunctivePronouns = new LinkedHashMap<String, String>();
1040   static {
1041       it_subjunctivePronouns.put("1s", "che io");
1042       it_subjunctivePronouns.put("2s", "che tu");
1043       it_subjunctivePronouns.put("3s", "che lui/lei");
1044       it_subjunctivePronouns.put("1p", "che noi");
1045       it_subjunctivePronouns.put("2p", "che voi");
1046       it_subjunctivePronouns.put("3p", "che essi/esse");
1047   }
1048
1049   static final Map<String,String> it_imperativePronouns = new LinkedHashMap<String, String>();
1050   static {
1051       it_imperativePronouns.put("1s", "-");
1052       it_imperativePronouns.put("2s", "tu");
1053       it_imperativePronouns.put("3s", "lui/lei");
1054       it_imperativePronouns.put("1p", "noi");
1055       it_imperativePronouns.put("2p", "voi");
1056       it_imperativePronouns.put("3p", "essi/esse");
1057   }
1058
1059
1060   static final class it_conj<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
1061       @Override
1062       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
1063           final Map<String, String> namedArgs,
1064           final T parser,
1065           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
1066
1067         final StringBuilder builder = appendAndIndexWikiCallback.builder;
1068
1069         final String inf = namedArgs.get("inf");
1070
1071         // TODO: center everything horizontally.
1072         builder.append("<table style=\"background:#F0F0F0\">");
1073
1074         builder.append("<tr>");
1075         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">infinito</th>");
1076         builder.append("<td colspan=\"1\">");
1077         appendAndIndexWikiCallback.dispatch(MapUtil.safeRemove(namedArgs, "inf", "-"), null);
1078         builder.append("</td>");
1079         builder.append("</tr>\n");
1080
1081         builder.append("<tr>");
1082         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">verbo ausiliare</th>");
1083         builder.append("<td colspan=\"1\">");
1084         appendAndIndexWikiCallback.dispatch(MapUtil.safeRemove(namedArgs, "aux", "-"), null);
1085         builder.append("</td>");
1086         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">gerundio</th>");
1087         builder.append("<td colspan=\"1\">");
1088         outputKeyVariations(appendAndIndexWikiCallback, builder, "ger", namedArgs, true);
1089         builder.append("</td>");
1090         builder.append("</tr>\n");
1091
1092         builder.append("<tr>");
1093         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">participio presente</th>");
1094         builder.append("<td colspan=\"1\">");
1095         outputKeyVariations(appendAndIndexWikiCallback, builder, "presp", namedArgs, true);
1096         builder.append("</td>");
1097         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">participio passato</th>");
1098         builder.append("<td colspan=\"1\">");
1099         outputKeyVariations(appendAndIndexWikiCallback, builder, "pastp", namedArgs, true);
1100         builder.append("</td>");
1101         builder.append("</tr>\n");
1102
1103         final List<String> prefixes = (inf != null && inf.endsWith("si")) ? it_reflexive_pronouns : it_empty;
1104
1105         String style = " style=\"background:#c0cfe4\"";
1106         outputDataRow(appendAndIndexWikiCallback, style, "indicativo", style, "th", "", new LinkedHashMap<String, String>(it_indicativePronouns), it_empty, false);
1107         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "pres", namedArgs, prefixes, true);
1108         outputDataRow(appendAndIndexWikiCallback, style, "imperfetto", "", "td", "imperf", namedArgs, prefixes, true);
1109         outputDataRow(appendAndIndexWikiCallback, style, "passato remoto", "", "td", "prem", namedArgs, prefixes, true);
1110         outputDataRow(appendAndIndexWikiCallback, style, "futuro", "", "td", "fut", namedArgs, prefixes, true);
1111
1112         style = " style=\"background:#c0d8e4\"";
1113         outputDataRow(appendAndIndexWikiCallback, style, "condizionale", style, "th", "", new LinkedHashMap<String, String>(it_indicativePronouns), it_empty, false);
1114         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "cond", namedArgs, prefixes, true);
1115
1116         style = " style=\"background:#c0e4c0\"";
1117         outputDataRow(appendAndIndexWikiCallback, style, "congiuntivo", style, "th", "", new LinkedHashMap<String, String>(it_subjunctivePronouns), it_empty, false);
1118         namedArgs.put("sub3s2", namedArgs.remove("sub3s"));
1119         namedArgs.put("sub1s", namedArgs.get("sub123s"));
1120         namedArgs.put("sub2s", namedArgs.get("sub123s"));
1121         namedArgs.put("sub3s", namedArgs.remove("sub123s"));
1122         namedArgs.put("sub1s2", namedArgs.get("sub123s2"));
1123         namedArgs.put("sub2s2", namedArgs.get("sub123s2"));
1124         namedArgs.put("sub3s2", namedArgs.remove("sub123s2"));
1125         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "sub", namedArgs, prefixes, true);
1126         namedArgs.put("impsub1s", namedArgs.get("impsub12s"));
1127         namedArgs.put("impsub2s", namedArgs.remove("impsub12s"));
1128         namedArgs.put("impsub1s2", namedArgs.get("impsub12s2"));
1129         namedArgs.put("impsub2s2", namedArgs.remove("impsub12s2"));
1130         outputDataRow(appendAndIndexWikiCallback, style, "imperfetto", "", "td", "impsub", namedArgs, prefixes, true);
1131
1132         style = " style=\"background:#e4d4c0\"";
1133         outputDataRow(appendAndIndexWikiCallback, style, "imperativo", style, "th", "", new LinkedHashMap<String, String>(it_imperativePronouns), it_empty, false);
1134         outputDataRow(appendAndIndexWikiCallback, style, "", "", "td", "imp", namedArgs, it_empty, false);  // these are attached to the stem.
1135
1136         builder.append("</table>\n");
1137
1138         if (!namedArgs.isEmpty()) {
1139             System.err.println("NON-EMPTY namedArgs: " + namedArgs);
1140             if ("muovesse".equals(namedArgs.get("impsib3s2"))) {
1141                 return false;
1142             }
1143             if ("percuotesse".equals(namedArgs.get("impsib3s2"))) {
1144                 return false;
1145             }
1146             // Too many to deal with:
1147             //assert false;
1148             return false;
1149         }
1150
1151         return true;
1152       }
1153
1154         private void outputDataRow(AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
1155                 String col1Style, String headerName,
1156                 String col2Style, final String type2,
1157                 String moodName, Map<String, String> namedArgs, final List<String> prefixes, final boolean isForm) {
1158             final StringBuilder builder = appendAndIndexWikiCallback.builder;
1159             builder.append("<tr>");
1160             builder.append("<th colspan=\"1\"").append(col1Style).append(">").append(headerName).append("</th>");
1161             int i = 0;
1162             for (final String number : it_number_s_p) {
1163                 for (final String person : it_person_1_2_3) {
1164                     // Output <td> or <th>
1165                     builder.append("<").append(type2).append("").append(col2Style).append(">");
1166                     final String keyBase = String.format("%s%s%s", moodName, person, number);
1167                     appendAndIndexWikiCallback.dispatch(prefixes.get(i++), null);
1168                     outputKeyVariations(appendAndIndexWikiCallback, builder, keyBase, namedArgs, isForm);
1169                     // Output <td> or <th>
1170                     builder.append("</").append(type2).append(">");
1171                 }
1172             }
1173             builder.append("</tr>\n");
1174         }
1175     }
1176
1177   static void passThroughOrFillIn(final Map<String,String> namedArgs, final String key, final String fillIn, final boolean quoteToEmpty) {
1178       final String value = namedArgs.get(key);
1179       if (quoteToEmpty && "''".equals(value)) {
1180           namedArgs.put(key, "");
1181           return;
1182       }
1183       if (value == null || value.equals("")) {
1184           namedArgs.put(key, fillIn);
1185       }
1186   }
1187
1188   static final List<String> it_number_s_p = Arrays.asList("s", "p");
1189   static final List<String> it_person_1_2_3 = Arrays.asList("1", "2", "3");
1190   static final List<String> it_reflexive_pronouns = Arrays.asList("mi ", "ti ", "si ", "ci ", "vi ", "si ");
1191   static final List<String> it_empty = Arrays.asList("", "", "", "", "", "");
1192   static void it_conj_passMood(final Map<String,String> namedArgs, final String moodName, final boolean quoteToEmpty, final String root, final List<String> suffixes) {
1193       assert suffixes.size() == 6;
1194       int i = 0;
1195       for (final String number : it_number_s_p) {
1196           for (final String person : it_person_1_2_3) {
1197               passThroughOrFillIn(namedArgs, String.format("%s%s%s", moodName, person, number), root + suffixes.get(i), quoteToEmpty);
1198               ++i;
1199           }
1200       }
1201   }
1202
1203   private static <T extends AbstractWiktionaryParser> void outputKeyVariations(AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
1204         final StringBuilder builder, final String keyBase, Map<String, String> namedArgs, boolean isForm) {
1205     for (int suffix = 0; suffix <= 4; ++suffix) {
1206         final String key = suffix == 0 ? keyBase : keyBase + suffix;
1207         final String val = namedArgs.remove(key);
1208         if (val != null && !val.trim().equals("")) {
1209             if (suffix > 0) {
1210                 builder.append(", ");
1211             }
1212             appendAndIndexWikiCallback.dispatch(val, null);
1213             if (isForm) {
1214                 appendAndIndexWikiCallback.parser.addLinkToCurrentEntry(val, null, EntryTypeName.WIKTIONARY_INFLECTED_FORM_MULTI);
1215             }
1216         }
1217     }
1218   }
1219
1220
1221 }