src/com/hughes/android/dictionary/parser/wiktionary/EnFunctionCallbacks.java

   1 // Copyright 2012 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.parser.wiktionary;
  16
  17 import com.hughes.android.dictionary.engine.EntryTypeName;
  18 import com.hughes.android.dictionary.engine.IndexBuilder;
  19 import com.hughes.android.dictionary.parser.WikiTokenizer;
  20 import com.hughes.android.dictionary.parser.wiktionary.AbstractWiktionaryParser.AppendAndIndexWikiCallback;
  21 import com.hughes.android.dictionary.parser.wiktionary.AbstractWiktionaryParser.NameAndArgs;
  22 import com.hughes.util.ListUtil;
  23 import com.hughes.util.MapUtil;
  24 import com.hughes.util.StringUtil;
  25
  26 import java.util.ArrayList;
  27 import java.util.Arrays;
  28 import java.util.LinkedHashMap;
  29 import java.util.LinkedHashSet;
  30 import java.util.List;
  31 import java.util.Map;
  32 import java.util.Set;
  33 import java.util.concurrent.atomic.AtomicInteger;
  34
  35 class EnFunctionCallbacks {
  36
  37   static final Map<String,FunctionCallback<EnParser>> DEFAULT = new LinkedHashMap<String, FunctionCallback<EnParser>>();
  38
  39   static <T extends AbstractWiktionaryParser> void addGenericCallbacks(Map<String, FunctionCallback<T>> callbacks) {
  40       FunctionCallback<T> callback = new Gender<T>();
  41       callbacks.put("m", callback);
  42       callbacks.put("f", callback);
  43       callbacks.put("n", callback);
  44       callbacks.put("p", callback);
  45       callbacks.put("g", callback);
  46
  47       callbacks.put("etyl", new etyl<T>());
  48       callbacks.put("term", new term<T>());
  49
  50       callback = new EncodingCallback<T>();
  51       Set<String> encodings = new LinkedHashSet<String>(Arrays.asList(
  52           "IPA", "IPAchar",  // Not really encodings, but it works.
  53           "zh-ts", "zh-tsp",
  54           "sd-Arab", "ku-Arab", "Arab", "unicode", "Laoo", "ur-Arab", "Thai",
  55           "fa-Arab", "Khmr", "Cyrl", "ug-Arab", "ko-inline",
  56           "Jpan", "Kore", "Hebr", "rfscript", "Beng", "Mong", "Knda", "Cyrs",
  57           "yue-tsj", "Mlym", "Tfng", "Grek", "yue-yue-j"));
  58       for (final String encoding : encodings) {
  59           callbacks.put(encoding, callback);
  60       }
  61
  62       callback = new Ignore<T>();
  63       callbacks.put("trreq", callback);
  64       callbacks.put("t-image", callback);
  65       callbacks.put("defn", callback);
  66       callbacks.put("rfdef", callback);
  67       callbacks.put("rfdate", callback);
  68       callbacks.put("rfex", callback);
  69       callbacks.put("rfquote", callback);
  70       callbacks.put("attention", callback);
  71       callbacks.put("zh-attention", callback);
  72       callbacks.put("top2", callback);
  73       callbacks.put("mid2", callback);
  74       callbacks.put("top3", callback);
  75       callbacks.put("mid3", callback);
  76       callbacks.put("bottom", callback);
  77       callbacks.put("rel-mid", callback);
  78       callbacks.put("rel-mid3", callback);
  79       callbacks.put("rel-mid4", callback);
  80       callbacks.put("rel-bottom", callback);
  81       callbacks.put("der-top", callback);
  82       callbacks.put("der-mid", callback);
  83       callbacks.put("der-mid3", callback);
  84       callbacks.put("der-bottom", callback);
  85
  86       callback = new AppendName<T>();
  87       callbacks.put("...", callback);
  88
  89       callbacks.put("qualifier", new QualifierCallback<T>());
  90       callbacks.put("italbrac", new italbrac<T>());
  91       callbacks.put("gloss", new gloss<T>());
  92       callbacks.put("not used", new not_used<T>());
  93       callbacks.put("wikipedia", new wikipedia<T>());
  94
  95       final it_conj<T> it_conj_cb = new it_conj<T>();
  96       callbacks.put("it-conj", it_conj_cb);
  97       callbacks.put("it-conj-are", new it_conj_are<T>(it_conj_cb));
  98       callbacks.put("it-conj-arsi", new it_conj_are<T>(it_conj_cb));
  99       callbacks.put("it-conj-care", new it_conj_are<T>(it_conj_cb));
 100       callbacks.put("it-conj-carsi", new it_conj_are<T>(it_conj_cb));
 101       callbacks.put("it-conj-ciare", new it_conj_are<T>(it_conj_cb));
 102       callbacks.put("it-conj-ciarsi", new it_conj_are<T>(it_conj_cb));
 103       callbacks.put("it-conj-iare", new it_conj_are<T>(it_conj_cb));
 104       callbacks.put("it-conj-iarsi", new it_conj_are<T>(it_conj_cb));
 105       callbacks.put("it-conj-iare-b", new it_conj_are<T>(it_conj_cb));
 106       callbacks.put("it-conj-iarsi-b", new it_conj_are<T>(it_conj_cb));
 107       callbacks.put("it-conj-ire", new it_conj_ire<T>(it_conj_cb));
 108       callbacks.put("it-conj-irsi", new it_conj_ire<T>(it_conj_cb));
 109       callbacks.put("it-conj-ire-b", new it_conj_ire<T>(it_conj_cb));
 110       callbacks.put("it-conj-irsi-b", new it_conj_ire<T>(it_conj_cb));
 111       callbacks.put("it-conj-cire", new it_conj_ire<T>(it_conj_cb));
 112       callbacks.put("it-conj-cirsi", new it_conj_ire<T>(it_conj_cb));
 113       callbacks.put("it-conj-ire", new it_conj_ire<T>(it_conj_cb));
 114       callbacks.put("it-conj-ere", new it_conj_ere<T>(it_conj_cb));
 115       callbacks.put("it-conj-ersi", new it_conj_ere<T>(it_conj_cb));
 116       callbacks.put("it-conj-urre", new it_conj_urre<T>(it_conj_cb));
 117       callbacks.put("it-conj-ursi", new it_conj_urre<T>(it_conj_cb));
 118       callbacks.put("it-conj-fare", new it_conj_fare<T>(it_conj_cb));
 119
 120
 121       //"{{it-conj-fare|putre|avere}}\n" +
 122
 123
 124   }
 125
 126   static {
 127     addGenericCallbacks(DEFAULT);
 128
 129     FunctionCallback<EnParser> callback = new TranslationCallback<EnParser>();
 130     DEFAULT.put("t", callback);
 131     DEFAULT.put("t+", callback);
 132     DEFAULT.put("t-", callback);
 133     DEFAULT.put("tø", callback);
 134     DEFAULT.put("apdx-t", callback);
 135
 136     callback = new l_term();
 137     DEFAULT.put("l", callback);
 138     DEFAULT.put("term", callback);
 139
 140     //callback = new AppendArg0();
 141
 142     callback = new FormOf();
 143     DEFAULT.put("form of", callback);
 144     DEFAULT.put("conjugation of", callback);
 145     DEFAULT.put("participle of", callback);
 146     DEFAULT.put("present participle of", callback);
 147     DEFAULT.put("past participle of", callback);
 148     DEFAULT.put("feminine past participle of", callback);
 149     DEFAULT.put("gerund of", callback);
 150     DEFAULT.put("feminine of", callback);
 151     DEFAULT.put("plural of", callback);
 152     DEFAULT.put("feminine plural of", callback);
 153     DEFAULT.put("inflected form of", callback);
 154     DEFAULT.put("alternative form of", callback);
 155     DEFAULT.put("dated form of", callback);
 156     DEFAULT.put("apocopic form of", callback);
 157
 158     callback = new InflOrHead();
 159     DEFAULT.put("infl", callback);
 160     DEFAULT.put("head", callback);
 161   }
 162
 163   static final NameAndArgs<EnParser> NAME_AND_ARGS = new NameAndArgs<EnParser>();
 164
 165   // ------------------------------------------------------------------
 166
 167   static final class TranslationCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 168     @Override
 169     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 170         final Map<String, String> namedArgs, final T parser,
 171         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 172
 173       final String transliteration = namedArgs.remove("tr");
 174       final String alt = namedArgs.remove("alt");
 175       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 176       if (args.size() < 2) {
 177         if (!name.equals("ttbc")) {
 178           EnParser.LOG.warning("{{t...}} with wrong args: title=" + parser.title + ", " + wikiTokenizer.token());
 179         }
 180         return false;
 181       }
 182       final String langCode = ListUtil.get(args, 0);
 183       if (!appendAndIndexWikiCallback.langCodeToTCount.containsKey(langCode)) {
 184         appendAndIndexWikiCallback.langCodeToTCount.put(langCode, new AtomicInteger());
 185       }
 186       appendAndIndexWikiCallback.langCodeToTCount.get(langCode).incrementAndGet();
 187       final String word = ListUtil.get(args, 1);
 188       appendAndIndexWikiCallback.dispatch(alt != null ? alt : word, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 189
 190       // Genders...
 191       if (args.size() > 2) {
 192         appendAndIndexWikiCallback.builder.append(" {");
 193         for (int i = 2; i < args.size(); ++i) {
 194           if (i > 2) {
 195             appendAndIndexWikiCallback.builder.append("|");
 196           }
 197           appendAndIndexWikiCallback.builder.append(args.get(i));
 198         }
 199         appendAndIndexWikiCallback.builder.append("}");
 200       }
 201
 202       if (transliteration != null) {
 203         appendAndIndexWikiCallback.builder.append(" (");
 204         appendAndIndexWikiCallback.dispatch(transliteration, EntryTypeName.WIKTIONARY_TRANSLITERATION);
 205         appendAndIndexWikiCallback.builder.append(")");
 206       }
 207
 208       if (alt != null) {
 209         // If alt wasn't null, we appended alt instead of the actual word
 210         // we're filing under..
 211         appendAndIndexWikiCallback.builder.append(" (");
 212         appendAndIndexWikiCallback.dispatch(word, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 213         appendAndIndexWikiCallback.builder.append(")");
 214       }
 215
 216       // Catch-all for anything else...
 217       if (!namedArgs.isEmpty()) {
 218         appendAndIndexWikiCallback.builder.append(" {");
 219         EnParser.appendNamedArgs(namedArgs, appendAndIndexWikiCallback);
 220         appendAndIndexWikiCallback.builder.append("}");
 221       }
 222
 223       return true;
 224     }
 225   }
 226
 227   // ------------------------------------------------------------------
 228
 229   static final class QualifierCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 230     @Override
 231     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 232         final Map<String, String> namedArgs,
 233         final T parser,
 234         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 235       if (!namedArgs.isEmpty()) {
 236         EnParser.LOG.warning("weird qualifier: " + wikiTokenizer.token());
 237         return false;
 238       }
 239       appendAndIndexWikiCallback.builder.append("(");
 240       for (int i = 0; i < args.size(); ++i) {
 241           appendAndIndexWikiCallback.dispatch(args.get(i), null);
 242           if (i > 0) {
 243               appendAndIndexWikiCallback.builder.append(", ");
 244           }
 245       }
 246       appendAndIndexWikiCallback.builder.append(")");
 247       return true;
 248     }
 249   }
 250
 251   // ------------------------------------------------------------------
 252
 253   static final class EncodingCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 254     @Override
 255     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 256         final Map<String, String> namedArgs,
 257         final T parser,
 258         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 259       namedArgs.remove("lang");
 260       if (!namedArgs.isEmpty()) {
 261         EnParser.LOG.warning("weird encoding: " + wikiTokenizer.token());
 262         return false;
 263       }
 264       if (args.size() == 0) {
 265         // Things like "{{Jpan}}" exist.
 266         return true;
 267       }
 268
 269       if (name.equals("IPA")) {
 270           appendAndIndexWikiCallback.dispatch("IPA: ", null);
 271       }
 272
 273       for (int i = 0; i < args.size(); ++i) {
 274         if (i > 0) {
 275           appendAndIndexWikiCallback.builder.append(", ");
 276         }
 277         final String arg = args.get(i);
 278 //        if (arg.equals(parser.title)) {
 279 //          parser.titleAppended = true;
 280 //        }
 281         appendAndIndexWikiCallback.dispatch(arg, appendAndIndexWikiCallback.entryTypeName);
 282       }
 283
 284       return true;
 285     }
 286   }
 287
 288   // ------------------------------------------------------------------
 289
 290   static final class Gender<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 291     @Override
 292     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 293         final Map<String, String> namedArgs,
 294         final T parser,
 295         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 296       if (!namedArgs.isEmpty()) {
 297         return false;
 298       }
 299       appendAndIndexWikiCallback.builder.append("{");
 300       appendAndIndexWikiCallback.builder.append(name);
 301       for (int i = 0; i < args.size(); ++i) {
 302         appendAndIndexWikiCallback.builder.append("|").append(args.get(i));
 303       }
 304       appendAndIndexWikiCallback.builder.append("}");
 305       return true;
 306     }
 307   }
 308
 309   // ------------------------------------------------------------------
 310
 311   static final class l_term implements FunctionCallback<EnParser> {
 312     @Override
 313     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 314         final Map<String, String> namedArgs,
 315         final EnParser parser,
 316         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 317
 318       // for {{l}}, lang is arg 0, but not for {{term}}
 319       if (name.equals("term")) {
 320         args.add(0, "");
 321       }
 322
 323       final EntryTypeName entryTypeName;
 324       switch (parser.state) {
 325       case TRANSLATION_LINE: entryTypeName = EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT; break;
 326       case ENGLISH_DEF_OF_FOREIGN: entryTypeName = EntryTypeName.WIKTIONARY_ENGLISH_DEF_WIKI_LINK; break;
 327       default: throw new IllegalStateException("Invalid enum value: " + parser.state);
 328       }
 329
 330       final String langCode = args.get(0);
 331       final IndexBuilder indexBuilder;
 332       if ("".equals(langCode)) {
 333         indexBuilder = parser.foreignIndexBuilder;
 334       } else if ("en".equals(langCode)) {
 335         indexBuilder = parser.enIndexBuilder;
 336       } else {
 337         indexBuilder = parser.foreignIndexBuilder;
 338       }
 339
 340       String displayText = ListUtil.get(args, 2, "");
 341       if (displayText.equals("")) {
 342         displayText = ListUtil.get(args, 1, null);
 343       }
 344
 345       if (displayText != null) {
 346         appendAndIndexWikiCallback.dispatch(displayText, indexBuilder, entryTypeName);
 347       } else {
 348         EnParser.LOG.warning("no display text: " + wikiTokenizer.token());
 349       }
 350
 351       final String tr = namedArgs.remove("tr");
 352       if (tr != null) {
 353         appendAndIndexWikiCallback.builder.append(" (");
 354         appendAndIndexWikiCallback.dispatch(tr, indexBuilder, EntryTypeName.WIKTIONARY_TRANSLITERATION);
 355         appendAndIndexWikiCallback.builder.append(")");
 356       }
 357
 358       final String gloss = ListUtil.get(args, 3, "");
 359       if (!gloss.equals("")) {
 360         appendAndIndexWikiCallback.builder.append(" (");
 361         appendAndIndexWikiCallback.dispatch(gloss, parser.enIndexBuilder, EntryTypeName.WIKTIONARY_ENGLISH_DEF);
 362         appendAndIndexWikiCallback.builder.append(")");
 363       }
 364
 365       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 366       if (!namedArgs.isEmpty()) {
 367         appendAndIndexWikiCallback.builder.append(" {").append(name);
 368         EnParser.appendNamedArgs(namedArgs, appendAndIndexWikiCallback);
 369         appendAndIndexWikiCallback.builder.append("}");
 370       }
 371
 372       return true;
 373     }
 374   }
 375
 376   // ------------------------------------------------------------------
 377
 378   static final class AppendArg0<T extends AbstractWiktionaryParser> implements FunctionCallback<EnParser> {
 379     @Override
 380     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 381         final Map<String, String> namedArgs,
 382         final EnParser parser,
 383         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 384       if (args.size() != 1 || !namedArgs.isEmpty()) {
 385         return false;
 386       }
 387       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 388
 389       final String tr = namedArgs.remove("tr");
 390       if (tr != null) {
 391         appendAndIndexWikiCallback.builder.append(" (");
 392         appendAndIndexWikiCallback.dispatch(tr, EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 393         appendAndIndexWikiCallback.builder.append(")");
 394         parser.wordForms.add(tr);
 395       }
 396
 397       return true;
 398     }
 399   }
 400
 401   // ------------------------------------------------------------------
 402
 403   static final class italbrac<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 404     @Override
 405     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 406         final Map<String, String> namedArgs,
 407         final T parser,
 408         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 409       if (args.size() != 1 || !namedArgs.isEmpty()) {
 410         return false;
 411       }
 412       appendAndIndexWikiCallback.builder.append("(");
 413       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 414       appendAndIndexWikiCallback.builder.append(")");
 415       return true;
 416     }
 417   }
 418
 419   // ------------------------------------------------------------------
 420
 421   static final class gloss<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 422     @Override
 423     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 424         final Map<String, String> namedArgs,
 425         final T parser,
 426         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 427       if (args.size() != 1 || !namedArgs.isEmpty()) {
 428         return false;
 429       }
 430       appendAndIndexWikiCallback.builder.append("(");
 431       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 432       appendAndIndexWikiCallback.builder.append(")");
 433       return true;
 434     }
 435   }
 436
 437   // ------------------------------------------------------------------
 438
 439   static final class Ignore<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 440     @Override
 441     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 442         final Map<String, String> namedArgs,
 443         final T parser,
 444         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 445       return true;
 446     }
 447   }
 448
 449   // ------------------------------------------------------------------
 450
 451   static final class not_used<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 452     @Override
 453     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 454         final Map<String, String> namedArgs,
 455         final T parser,
 456         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 457       appendAndIndexWikiCallback.builder.append("(not used)");
 458       return true;
 459     }
 460   }
 461
 462
 463   // ------------------------------------------------------------------
 464
 465   static final class AppendName<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 466     @Override
 467     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 468         final Map<String, String> namedArgs,
 469         final T parser,
 470         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 471       if (!args.isEmpty() || !namedArgs.isEmpty()) {
 472         return false;
 473       }
 474       appendAndIndexWikiCallback.builder.append(name);
 475       return true;
 476     }
 477   }
 478
 479   // --------------------------------------------------------------------
 480   // --------------------------------------------------------------------
 481
 482
 483   static final class FormOf implements FunctionCallback<EnParser> {
 484     @Override
 485     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 486         final Map<String, String> namedArgs,
 487         final EnParser parser,
 488         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 489       parser.entryIsFormOfSomething = true;
 490       String formName = name;
 491       if (name.equals("form of")) {
 492         formName = ListUtil.remove(args, 0, null);
 493       }
 494       if (formName == null) {
 495         EnParser.LOG.warning("Missing form name: " + parser.title);
 496         formName = "form of";
 497       }
 498       String baseForm = ListUtil.get(args, 1, "");
 499       if ("".equals(baseForm)) {
 500         baseForm = ListUtil.get(args, 0, null);
 501         ListUtil.remove(args, 1, "");
 502       } else {
 503         ListUtil.remove(args, 0, null);
 504       }
 505       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 506
 507       appendAndIndexWikiCallback.builder.append("{");
 508       NAME_AND_ARGS.onWikiFunction(wikiTokenizer, formName, args, namedArgs, parser, appendAndIndexWikiCallback);
 509       appendAndIndexWikiCallback.builder.append("}");
 510       if (baseForm != null && appendAndIndexWikiCallback.indexedEntry != null) {
 511         parser.foreignIndexBuilder.addEntryWithString(appendAndIndexWikiCallback.indexedEntry, baseForm, EntryTypeName.WIKTIONARY_BASE_FORM_MULTI);
 512       } else {
 513         // null baseForm happens in Danish.
 514         EnParser.LOG.warning("Null baseform: " + parser.title);
 515       }
 516       return true;
 517     }
 518   }
 519
 520   static final EnFunctionCallbacks.FormOf FORM_OF = new FormOf();
 521
 522
 523   // --------------------------------------------------------------------
 524   // --------------------------------------------------------------------
 525
 526   static final class wikipedia<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 527     @Override
 528     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 529         final Map<String, String> namedArgs,
 530         final T parser,
 531         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 532       namedArgs.remove("lang");
 533       if (args.size() > 1 || !namedArgs.isEmpty()) {
 534         // Unindexed!
 535         return false;
 536       } else if (args.size() == 1) {
 537         return false;
 538       } else {
 539         return true;
 540       }
 541     }
 542   }
 543
 544   static final class InflOrHead implements FunctionCallback<EnParser> {
 545     @Override
 546     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 547         final Map<String, String> namedArgs,
 548         final EnParser parser,
 549         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 550       // See: http://en.wiktionary.org/wiki/Template:infl
 551       // TODO: Actually these functions should start a new WordPOS:
 552       // See: http://en.wiktionary.org/wiki/quattro
 553       final String langCode = ListUtil.get(args, 0);
 554       String head = namedArgs.remove("head");
 555       if (head == null) {
 556         head = namedArgs.remove("title"); // Bug
 557       }
 558       if (head == null) {
 559         head = parser.title;
 560       }
 561
 562       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 563
 564       final String tr = namedArgs.remove("tr");
 565       String g = namedArgs.remove("g");
 566       if (g == null) {
 567         g = namedArgs.remove("gender");
 568       }
 569       final String g2 = namedArgs.remove("g2");
 570       final String g3 = namedArgs.remove("g3");
 571
 572       // We might have already taken care of this in a generic way...
 573       if (!parser.titleAppended) {
 574         appendAndIndexWikiCallback.dispatch(head, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 575         parser.titleAppended = true;
 576       }
 577
 578       if (g != null) {
 579         appendAndIndexWikiCallback.builder.append(" {").append(g);
 580         if (g2 != null) {
 581           appendAndIndexWikiCallback.builder.append("|").append(g2);
 582         }
 583         if (g3 != null) {
 584           appendAndIndexWikiCallback.builder.append("|").append(g3);
 585         }
 586         appendAndIndexWikiCallback.builder.append("}");
 587       }
 588
 589       if (tr != null) {
 590         appendAndIndexWikiCallback.builder.append(" (");
 591         appendAndIndexWikiCallback.dispatch(tr, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 592         appendAndIndexWikiCallback.builder.append(")");
 593         parser.wordForms.add(tr);
 594       }
 595
 596       final String pos = ListUtil.get(args, 1);
 597       if (pos != null) {
 598         appendAndIndexWikiCallback.builder.append(" (").append(pos).append(")");
 599       }
 600       for (int i = 2; i < args.size(); i += 2) {
 601         final String inflName = ListUtil.get(args, i);
 602         final String inflValue = ListUtil.get(args, i + 1);
 603         appendAndIndexWikiCallback.builder.append(", ");
 604         appendAndIndexWikiCallback.dispatch(inflName, null, null);
 605         if (inflValue != null && inflValue.length() > 0) {
 606           appendAndIndexWikiCallback.builder.append(": ");
 607           appendAndIndexWikiCallback.dispatch(inflValue, null, null);
 608           parser.wordForms.add(inflValue);
 609         }
 610       }
 611       for (final String key : namedArgs.keySet()) {
 612         final String value = WikiTokenizer.toPlainText(namedArgs.get(key));
 613         appendAndIndexWikiCallback.builder.append(" ");
 614         appendAndIndexWikiCallback.dispatch(key, null, null);
 615         appendAndIndexWikiCallback.builder.append("=");
 616         appendAndIndexWikiCallback.dispatch(value, null, null);
 617         parser.wordForms.add(value);
 618       }
 619       return true;
 620     }
 621   }
 622
 623   static final class etyl<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 624       @Override
 625       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 626           final Map<String, String> namedArgs,
 627           final T parser,
 628           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 629         final String langCode = ListUtil.get(args, 0);
 630         if (langCode == null) {
 631             return false;
 632         }
 633         String langName = WiktionaryLangs.getEnglishName(langCode);
 634         if (langName != null) {
 635             appendAndIndexWikiCallback.dispatch(langName, null);
 636         } else {
 637             appendAndIndexWikiCallback.dispatch("lang:" + langCode, null);
 638         }
 639         return true;
 640       }
 641   }
 642
 643   static final class term<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 644       @Override
 645       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 646           final Map<String, String> namedArgs,
 647           final T parser,
 648           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 649         namedArgs.remove("sc");
 650
 651         // Main text.
 652         final String lang = namedArgs.remove("lang");
 653         String head = ListUtil.get(args, 0);
 654         String display = ListUtil.get(args, 1);
 655         if (StringUtil.isNullOrEmpty(head) && StringUtil.isNullOrEmpty(display)) {
 656             head = display = parser.title;
 657         }
 658         if (StringUtil.isNullOrEmpty(head)) {
 659             // Dispatches formatted wiki text.
 660             appendAndIndexWikiCallback.dispatch(display, null);
 661         } else {
 662             if (StringUtil.isNullOrEmpty(display)) {
 663                 display = head;
 664             }
 665             appendAndIndexWikiCallback.dispatch(String.format("[[%s|%s]]", display, head), null);
 666         }
 667
 668         // Stuff in ()s.
 669         final String tr = namedArgs.remove("tr");
 670         final String pos = namedArgs.remove("pos");
 671         String gloss = ListUtil.get(args, 2);
 672         String literally = namedArgs.remove("lit");
 673         if (!StringUtil.isNullOrEmpty(gloss)) {
 674             gloss = String.format("\"%s\"", gloss);
 675         }
 676         if (!StringUtil.isNullOrEmpty(literally)) {
 677             literally = String.format("literally %s", literally);
 678         }
 679         final List<String> inParens = new ArrayList<String>(Arrays.asList(tr, pos, gloss, literally));
 680         cleanList(inParens);
 681         appendCommaSeparatedList(appendAndIndexWikiCallback, inParens);
 682
 683         if (tr != null) {
 684             parser.addLinkToCurrentEntry(tr, lang, EntryTypeName.WIKTIONARY_MENTIONED);
 685         }
 686         return namedArgs.isEmpty();
 687       }
 688
 689     private void appendCommaSeparatedList(
 690             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
 691             final List<String> inParens) {
 692         if (!inParens.isEmpty()) {
 693             appendAndIndexWikiCallback.dispatch(" (", null);
 694             for (int i = 0; i < inParens.size(); ++i) {
 695                 if (i > 0) {
 696                     appendAndIndexWikiCallback.dispatch(", ", null);
 697                 }
 698                 appendAndIndexWikiCallback.dispatch(inParens.get(i), null);
 699             }
 700             appendAndIndexWikiCallback.dispatch(")", null);
 701         }
 702     }
 703
 704   }
 705
 706   private static void cleanList(List<String> asList) {
 707       int pos;
 708       while ((pos = asList.indexOf("")) != -1) {
 709           asList.remove(pos);
 710       }
 711       while ((pos = asList.indexOf(null)) != -1) {
 712           asList.remove(pos);
 713       }
 714   }
 715
 716
 717   static {
 718     DEFAULT.put("it-noun", new it_noun());
 719   }
 720   static final class it_noun implements FunctionCallback<EnParser> {
 721     @Override
 722     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 723         final Map<String, String> namedArgs,
 724         final EnParser parser,
 725         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 726       parser.titleAppended = true;
 727       final String base = ListUtil.get(args, 0);
 728       final String gender = ListUtil.get(args, 1);
 729       final String singular = base + ListUtil.get(args, 2, null);
 730       final String plural = base + ListUtil.get(args, 3, null);
 731       appendAndIndexWikiCallback.builder.append(" ");
 732       appendAndIndexWikiCallback.dispatch(singular, null, null);
 733       appendAndIndexWikiCallback.builder.append(" {").append(gender).append("}, ");
 734       appendAndIndexWikiCallback.dispatch(plural, null, null);
 735       appendAndIndexWikiCallback.builder.append(" {pl}");
 736       final String f = namedArgs.remove("f");
 737       if (f != null) {
 738           appendAndIndexWikiCallback.builder.append(", ");
 739           appendAndIndexWikiCallback.dispatch(f, null, null);
 740           appendAndIndexWikiCallback.builder.append(" {f}");
 741       }
 742       final String m = namedArgs.remove("f");
 743       if (m != null) {
 744           appendAndIndexWikiCallback.builder.append(", ");
 745           appendAndIndexWikiCallback.dispatch(m, null, null);
 746           appendAndIndexWikiCallback.builder.append(" {m}");
 747       }
 748       parser.wordForms.add(singular);
 749       parser.wordForms.add(plural);
 750       if (!namedArgs.isEmpty() || args.size() > 4) {
 751         EnParser.LOG.warning("Invalid it-noun: " + wikiTokenizer.token());
 752       }
 753       return true;
 754     }
 755   }
 756
 757   static {
 758     DEFAULT.put("it-proper noun", new it_proper_noun<EnParser>());
 759   }
 760   static final class it_proper_noun<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 761     @Override
 762     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 763         final Map<String, String> namedArgs,
 764         final T parser,
 765         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 766       return false;
 767     }
 768   }
 769
 770   // -----------------------------------------------------------------------
 771   // Italian stuff
 772   // -----------------------------------------------------------------------
 773
 774 static final class it_conj_are<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 775     final it_conj<T> dest;
 776     it_conj_are(it_conj<T> dest) {
 777       this.dest = dest;
 778     }
 779     @Override
 780       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 781           final Map<String, String> namedArgs,
 782           final T parser,
 783           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 784         final String h = name.equals("it-conj-care") || name.equals("it-conj-carsi") ? "h" : "";
 785         final String i = name.equals("it-conj-ciare") || name.equals("it-conj-ciarsi") ? "i" : "";
 786         final String i2 = name.equals("it-conj-iare") || name.equals("it-conj-iarsi") ? "" : "i";
 787         final boolean si = name.equals("it-conj-arsi") || name.equals("it-conj-iarsi") || name.equals("it-conj-iarsi-b") || name.equals("it-conj-carsi") || name.equals("it-conj-ciarsi");
 788         final String root = args.get(0);
 789         passThroughOrFillIn(namedArgs, "inf", root + i + (si ? "arsi" : "are"), false);
 790         namedArgs.put("aux", ListUtil.get(args, 1, ""));
 791         passThroughOrFillIn(namedArgs, "ger", root + i + "ando" + (si ? "si" : ""), true);
 792         passThroughOrFillIn(namedArgs, "presp", root + i + "ante"+ (si ? "si" : ""), true);
 793         passThroughOrFillIn(namedArgs, "pastp", root + i + "ato", true);
 794         if (si) {
 795             passThroughOrFillIn(namedArgs, "pastp2", root + i + "atosi", true);
 796         }
 797         final String i2b = (name.equals("it-conj-iare-b") || name.equals("it-conj-iarsi-b")) ? "" : i2;
 798
 799         it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList(i + "o", h + i2, i + "a", h + i2 + "amo", i + "ate", i + "ano"));
 800         it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList(i + "avo", i + "avi", i + "ava", i + "avamo", i + "avate", i + "avano"));
 801         it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList(i + "ai", i + "asti", i + "ò", i + "ammo", i + "aste", i + "arono"));
 802         it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList(h + "erò", h + "erai", h + "erà", h + "eremo", h + "erete", h + "eranno"));
 803         it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList(h + "erei", h + "eresti", h + "erebbe", h + "eremmo", h + "ereste", h + "erebbero"));
 804
 805         passThroughOrFillIn(namedArgs, "sub123s", root + h + i2, false);
 806         passThroughOrFillIn(namedArgs, "sub1p", root + h + i2b + "amo", false);
 807         passThroughOrFillIn(namedArgs, "sub2p", root + h + i2b + "ate", false);
 808         passThroughOrFillIn(namedArgs, "sub3p", root + h + i2 + "no", false);
 809
 810         passThroughOrFillIn(namedArgs, "impsub12s", root + i + "assi", false);
 811         passThroughOrFillIn(namedArgs, "impsub3s", root + i + "asse", false);
 812         passThroughOrFillIn(namedArgs, "impsub1p", root + i + "assimo", false);
 813         passThroughOrFillIn(namedArgs, "impsub2p", root + i + "aste", false);
 814         passThroughOrFillIn(namedArgs, "impsub3p", root + i + "assero", false);
 815
 816         passThroughOrFillIn(namedArgs, "imp2s", root + i + "a" + (si ? "ti" : ""), true);
 817         passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + h + i2, true);
 818         passThroughOrFillIn(namedArgs, "imp1p", root + h + i2b + "amo" + (si ? "ci" : ""), true);
 819         passThroughOrFillIn(namedArgs, "imp2p", root + i + "ate" + (si ? "vi" : ""), true);
 820         passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + h + i2 + "no", true);
 821
 822         return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 823       }
 824     }
 825
 826   static final class it_conj_ire<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 827     final it_conj<T> dest;
 828     it_conj_ire(it_conj<T> dest) {
 829       this.dest = dest;
 830     }
 831     @Override
 832       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 833           final Map<String, String> namedArgs,
 834           final T parser,
 835           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 836         final String root = args.get(0);
 837         final String i = name.equals("it-conj-cire") || name.equals("it-conj-cirsi") ? "i" : "";
 838         final boolean si = name.equals("it-conj-irsi") || name.equals("it-conj-irsi-b") || name.equals("it-conj-cirsi");
 839
 840         passThroughOrFillIn(namedArgs, "inf", root + (si ? "irsi" : "ire"), false);
 841         namedArgs.put("aux", ListUtil.get(args, 1, ""));
 842         passThroughOrFillIn(namedArgs, "ger", root + "endo" + (si ? "si" : ""), true);
 843         passThroughOrFillIn(namedArgs, "presp", root + "ente" + (si ? "si" : ""), true);
 844         passThroughOrFillIn(namedArgs, "pastp", root + "ito", true);
 845         if (si) {
 846             passThroughOrFillIn(namedArgs, "pastp2", root + "itosi", true);
 847         }
 848         if (!name.endsWith("-b")) {
 849             it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList(i + "o", "i", "e", "iamo", "ite", i + "ono"));
 850         } else {
 851             it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("isco", "isci", "isce", "iamo", "ite", "iscono"));
 852         }
 853         it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("ivo", "ivi", "iva", "ivamo", "ivate", "ivano"));
 854         it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ii", "isti", "ì", "immo", "iste", "irono"));
 855         // Regular past historic synonyms:
 856         passThroughOrFillIn(namedArgs, "prem3s2", root + "é", true);
 857         passThroughOrFillIn(namedArgs, "prem3p2", root + "erono", true);
 858         it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("irò", "irai", "irà", "iremo", "irete", "iranno"));
 859         it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("irei", "iresti", "irebbe", "iremmo", "ireste", "irebbero"));
 860
 861         if (!name.endsWith("-b")) {
 862             passThroughOrFillIn(namedArgs, "sub123s", root + i + "a", false);
 863             passThroughOrFillIn(namedArgs, "sub3p", root + i + "ano", false);
 864         } else {
 865             passThroughOrFillIn(namedArgs, "sub123s", root + "isca", false);
 866             passThroughOrFillIn(namedArgs, "sub3p", root + "iscano", false);
 867         }
 868         passThroughOrFillIn(namedArgs, "sub1p", root + "iamo", false);
 869         passThroughOrFillIn(namedArgs, "sub2p", root + "iate", false);
 870
 871         passThroughOrFillIn(namedArgs, "impsub12s", root + "issi", false);
 872         passThroughOrFillIn(namedArgs, "impsub3s", root + "isse", false);
 873         passThroughOrFillIn(namedArgs, "impsub1p", root + "issimo", false);
 874         passThroughOrFillIn(namedArgs, "impsub2p", root + "iste", false);
 875         passThroughOrFillIn(namedArgs, "impsub3p", root + "issero", false);
 876
 877         if (!name.endsWith("-b")) {
 878             passThroughOrFillIn(namedArgs, "imp2s", root + "i" + (si ? "ti" : ""), true);
 879             passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + i + "a", true);
 880             passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + i + "ano", true);
 881         } else {
 882             passThroughOrFillIn(namedArgs, "imp2s", root + "isci" + (si ? "ti" : ""), true);
 883             passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + "isca", true);
 884             passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + "iscano", true);
 885         }
 886         passThroughOrFillIn(namedArgs, "imp1p", root + "iamo" + (si ? "ci" : ""), true);
 887         passThroughOrFillIn(namedArgs, "imp2p", root + "ite" + (si ? "vi" : ""), true);
 888
 889         return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 890       }
 891     }
 892
 893
 894   static final class it_conj_ere<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 895       final it_conj<T> dest;
 896       it_conj_ere(it_conj<T> dest) {
 897         this.dest = dest;
 898       }
 899       @Override
 900         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 901             final Map<String, String> namedArgs,
 902             final T parser,
 903             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 904           final String root = args.get(0);
 905           final boolean si = name.equals("it-conj-ersi");
 906
 907           passThroughOrFillIn(namedArgs, "inf", root + (si ? "ersi" : "ere"), false);
 908           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 909           passThroughOrFillIn(namedArgs, "ger", root + "endo" + (si ? "si" : ""), true);
 910           passThroughOrFillIn(namedArgs, "presp", root + "ente" + (si ? "si" : ""), true);
 911           passThroughOrFillIn(namedArgs, "pastp", root + "uto", true);
 912           if (si) {
 913               passThroughOrFillIn(namedArgs, "pastp2", root + "utosi", true);
 914           }
 915           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("o", "i", "e", "iamo", "ete", "ono"));
 916           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("evo", "evi", "eva", "evamo", "evate", "evano"));
 917           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ei", "esti", "ette", "emmo", "este", "ettero"));
 918           // Regular past historic synonyms:
 919           passThroughOrFillIn(namedArgs, "prem3s2", root + "é", true);
 920           passThroughOrFillIn(namedArgs, "prem3p2", root + "erono", true);
 921           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("erò", "erai", "erà", "eremo", "erete", "eranno"));
 922           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("erei", "eresti", "erebbe", "eremmo", "ereste", "erebbero"));
 923
 924           passThroughOrFillIn(namedArgs, "sub123s", root + "a", false);
 925           passThroughOrFillIn(namedArgs, "sub1p", root + "iamo", false);
 926           passThroughOrFillIn(namedArgs, "sub2p", root + "iate", false);
 927           passThroughOrFillIn(namedArgs, "sub3p", root + "ano", false);
 928
 929           passThroughOrFillIn(namedArgs, "impsub12s", root + "essi", false);
 930           passThroughOrFillIn(namedArgs, "impsub3s", root + "esse", false);
 931           passThroughOrFillIn(namedArgs, "impsub1p", root + "essimo", false);
 932           passThroughOrFillIn(namedArgs, "impsub2p", root + "este", false);
 933           passThroughOrFillIn(namedArgs, "impsub3p", root + "essero", false);
 934
 935           passThroughOrFillIn(namedArgs, "imp2s", root + "i" + (si ? "ti" : ""), true);
 936           passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + "a", true);
 937           passThroughOrFillIn(namedArgs, "imp1p", root + "iamo" + (si ? "ci" : ""), true);
 938           passThroughOrFillIn(namedArgs, "imp2p", root + "ete" + (si ? "vi" : ""), true);
 939           passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + "ano", true);
 940
 941           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 942         }
 943       }
 944
 945   static final class it_conj_urre<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 946       final it_conj<T> dest;
 947       it_conj_urre(it_conj<T> dest) {
 948         this.dest = dest;
 949       }
 950       @Override
 951         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 952             final Map<String, String> namedArgs,
 953             final T parser,
 954             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 955           final String root = args.get(0);
 956           final boolean si = name.equals("it-conj-ursi");
 957
 958           passThroughOrFillIn(namedArgs, "inf", root + (si ? "ursi" : "urre"), false);
 959           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 960           passThroughOrFillIn(namedArgs, "ger", root + "ucendo" + (si ? "si" : ""), true);
 961           passThroughOrFillIn(namedArgs, "presp", root + "ucente" + (si ? "si" : ""), true);
 962           passThroughOrFillIn(namedArgs, "pastp", root + "otto", true);
 963           if (si) {
 964               passThroughOrFillIn(namedArgs, "pastp2", root + "ottosi", true);
 965           }
 966           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("uco", "uci", "uce", "uciamo", "ucete", "ucono"));
 967           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("ucevo", "ucevi", "uceva", "ucevamo", "ucevate", "ucevano"));
 968           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ussi", "ucesti", "usse", "ucemmo", "uceste", "ussero"));
 969           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("urrò", "urrai", "urrà", "urremo", "urrete", "urranno"));
 970           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("urrei", "urresti", "urrebbe", "urremmo", "urreste", "urrebbero"));
 971
 972           passThroughOrFillIn(namedArgs, "sub123s", root + "uca", false);
 973           passThroughOrFillIn(namedArgs, "sub1p", root + "uciamo", false);
 974           passThroughOrFillIn(namedArgs, "sub2p", root + "uciate", false);
 975           passThroughOrFillIn(namedArgs, "sub3p", root + "ucano", false);
 976
 977           passThroughOrFillIn(namedArgs, "impsub12s", root + "ucessi", false);
 978           passThroughOrFillIn(namedArgs, "impsub3s", root + "ucesse", false);
 979           passThroughOrFillIn(namedArgs, "impsub1p", root + "ucessimo", false);
 980           passThroughOrFillIn(namedArgs, "impsub2p", root + "uceste", false);
 981           passThroughOrFillIn(namedArgs, "impsub3p", root + "ucessero", false);
 982
 983           passThroughOrFillIn(namedArgs, "imp2s", root + "uci" + (si ? "ti" : ""), true);
 984           passThroughOrFillIn(namedArgs, "imp3s", (si ? "si" : "") + root + "uca", true);
 985           passThroughOrFillIn(namedArgs, "imp1p", root + "uciamo" + (si ? "ci" : ""), true);
 986           passThroughOrFillIn(namedArgs, "imp2p", root + "ucete" + (si ? "vi" : ""), true);
 987           passThroughOrFillIn(namedArgs, "imp3p", (si ? "si" : "") + root + "ucano", true);
 988
 989           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 990         }
 991       }
 992
 993   static final class it_conj_fare<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 994       final it_conj<T> dest;
 995       it_conj_fare(it_conj<T> dest) {
 996         this.dest = dest;
 997       }
 998       @Override
 999         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
1000             final Map<String, String> namedArgs,
1001             final T parser,
1002             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
1003           final String root = args.get(0);
1004           passThroughOrFillIn(namedArgs, "inf", root + "fare", false);
1005           namedArgs.put("aux", ListUtil.get(args, 1, ""));
1006           passThroughOrFillIn(namedArgs, "ger", root + "facendo", true);
1007           passThroughOrFillIn(namedArgs, "presp", root + "facente", true);
1008           passThroughOrFillIn(namedArgs, "pastp", root + "fatto", true);
1009           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("faccio", "fai", "fà", "facciamo", "fate", "fanno"));
1010           passThroughOrFillIn(namedArgs, "pres1s2", root + "fò", true);
1011           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("facevo", "facevi", "faceva", "facevamo", "facevate", "facevano"));
1012           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("feci", "facesti", "fece", "facemmo", "faceste", "fecero"));
1013           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("farò", "farai", "farà", "faremo", "farete", "faranno"));
1014           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("farei", "faresti", "farebbe", "faremmo", "fareste", "farebbero"));
1015
1016           passThroughOrFillIn(namedArgs, "sub123s", root + "faccia", false);
1017           passThroughOrFillIn(namedArgs, "sub1p", root + "facciamo", false);
1018           passThroughOrFillIn(namedArgs, "sub2p", root + "facciate", false);
1019           passThroughOrFillIn(namedArgs, "sub3p", root + "facciano", false);
1020
1021           passThroughOrFillIn(namedArgs, "impsub12s", root + "facessi", false);
1022           passThroughOrFillIn(namedArgs, "impsub3s", root + "facesse", false);
1023           passThroughOrFillIn(namedArgs, "impsub1p", root + "facessimo", false);
1024           passThroughOrFillIn(namedArgs, "impsub2p", root + "faceste", false);
1025           passThroughOrFillIn(namedArgs, "impsub3p", root + "facessero", false);
1026
1027           passThroughOrFillIn(namedArgs, "imp2s", root + "fa", true);
1028           passThroughOrFillIn(namedArgs, "imp3s", root + "faccia", true);
1029           passThroughOrFillIn(namedArgs, "imp1p", root + "facciamo", true);
1030           passThroughOrFillIn(namedArgs, "imp2p", root + "fate", true);
1031           passThroughOrFillIn(namedArgs, "imp3p", root + "facciano", true);
1032
1033           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
1034         }
1035       }
1036
1037   static final Map<String,String> it_indicativePronouns = new LinkedHashMap<String, String>();
1038   static {
1039       it_indicativePronouns.put("1s", "io");
1040       it_indicativePronouns.put("2s", "tu");
1041       it_indicativePronouns.put("3s", "lui/lei");
1042       it_indicativePronouns.put("1p", "noi");
1043       it_indicativePronouns.put("2p", "voi");
1044       it_indicativePronouns.put("3p", "essi/esse");
1045   }
1046
1047   static final Map<String,String> it_subjunctivePronouns = new LinkedHashMap<String, String>();
1048   static {
1049       it_subjunctivePronouns.put("1s", "che io");
1050       it_subjunctivePronouns.put("2s", "che tu");
1051       it_subjunctivePronouns.put("3s", "che lui/lei");
1052       it_subjunctivePronouns.put("1p", "che noi");
1053       it_subjunctivePronouns.put("2p", "che voi");
1054       it_subjunctivePronouns.put("3p", "che essi/esse");
1055   }
1056
1057   static final Map<String,String> it_imperativePronouns = new LinkedHashMap<String, String>();
1058   static {
1059       it_imperativePronouns.put("1s", "-");
1060       it_imperativePronouns.put("2s", "tu");
1061       it_imperativePronouns.put("3s", "lui/lei");
1062       it_imperativePronouns.put("1p", "noi");
1063       it_imperativePronouns.put("2p", "voi");
1064       it_imperativePronouns.put("3p", "essi/esse");
1065   }
1066
1067
1068   static final class it_conj<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
1069       @Override
1070       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
1071           final Map<String, String> namedArgs,
1072           final T parser,
1073           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
1074
1075         final StringBuilder builder = appendAndIndexWikiCallback.builder;
1076
1077         final String inf = namedArgs.get("inf");
1078
1079         // TODO: center everything horizontally.
1080         builder.append("<table style=\"background:#F0F0F0\">");
1081
1082         builder.append("<tr>");
1083         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">infinito</th>");
1084         builder.append("<td colspan=\"1\">");
1085         appendAndIndexWikiCallback.dispatch(MapUtil.safeRemove(namedArgs, "inf", "-"), null);
1086         builder.append("</td>");
1087         builder.append("</tr>\n");
1088
1089         builder.append("<tr>");
1090         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">verbo ausiliare</th>");
1091         builder.append("<td colspan=\"1\">");
1092         appendAndIndexWikiCallback.dispatch(MapUtil.safeRemove(namedArgs, "aux", "-"), null);
1093         builder.append("</td>");
1094         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">gerundio</th>");
1095         builder.append("<td colspan=\"1\">");
1096         outputKeyVariations(appendAndIndexWikiCallback, builder, "ger", namedArgs, true);
1097         builder.append("</td>");
1098         builder.append("</tr>\n");
1099
1100         builder.append("<tr>");
1101         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">participio presente</th>");
1102         builder.append("<td colspan=\"1\">");
1103         outputKeyVariations(appendAndIndexWikiCallback, builder, "presp", namedArgs, true);
1104         builder.append("</td>");
1105         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">participio passato</th>");
1106         builder.append("<td colspan=\"1\">");
1107         outputKeyVariations(appendAndIndexWikiCallback, builder, "pastp", namedArgs, true);
1108         builder.append("</td>");
1109         builder.append("</tr>\n");
1110
1111         final List<String> prefixes = (inf != null && inf.endsWith("si")) ? it_reflexive_pronouns : it_empty;
1112
1113         String style = " style=\"background:#c0cfe4\"";
1114         outputDataRow(appendAndIndexWikiCallback, style, "indicativo", style, "th", "", new LinkedHashMap<String, String>(it_indicativePronouns), it_empty, false);
1115         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "pres", namedArgs, prefixes, true);
1116         outputDataRow(appendAndIndexWikiCallback, style, "imperfetto", "", "td", "imperf", namedArgs, prefixes, true);
1117         outputDataRow(appendAndIndexWikiCallback, style, "passato remoto", "", "td", "prem", namedArgs, prefixes, true);
1118         outputDataRow(appendAndIndexWikiCallback, style, "futuro", "", "td", "fut", namedArgs, prefixes, true);
1119
1120         style = " style=\"background:#c0d8e4\"";
1121         outputDataRow(appendAndIndexWikiCallback, style, "condizionale", style, "th", "", new LinkedHashMap<String, String>(it_indicativePronouns), it_empty, false);
1122         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "cond", namedArgs, prefixes, true);
1123
1124         style = " style=\"background:#c0e4c0\"";
1125         outputDataRow(appendAndIndexWikiCallback, style, "congiuntivo", style, "th", "", new LinkedHashMap<String, String>(it_subjunctivePronouns), it_empty, false);
1126         namedArgs.put("sub3s2", namedArgs.remove("sub3s"));
1127         namedArgs.put("sub1s", namedArgs.get("sub123s"));
1128         namedArgs.put("sub2s", namedArgs.get("sub123s"));
1129         namedArgs.put("sub3s", namedArgs.remove("sub123s"));
1130         namedArgs.put("sub1s2", namedArgs.get("sub123s2"));
1131         namedArgs.put("sub2s2", namedArgs.get("sub123s2"));
1132         namedArgs.put("sub3s2", namedArgs.remove("sub123s2"));
1133         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "sub", namedArgs, prefixes, true);
1134         namedArgs.put("impsub1s", namedArgs.get("impsub12s"));
1135         namedArgs.put("impsub2s", namedArgs.remove("impsub12s"));
1136         namedArgs.put("impsub1s2", namedArgs.get("impsub12s2"));
1137         namedArgs.put("impsub2s2", namedArgs.remove("impsub12s2"));
1138         outputDataRow(appendAndIndexWikiCallback, style, "imperfetto", "", "td", "impsub", namedArgs, prefixes, true);
1139
1140         style = " style=\"background:#e4d4c0\"";
1141         outputDataRow(appendAndIndexWikiCallback, style, "imperativo", style, "th", "", new LinkedHashMap<String, String>(it_imperativePronouns), it_empty, false);
1142         outputDataRow(appendAndIndexWikiCallback, style, "", "", "td", "imp", namedArgs, it_empty, false);  // these are attached to the stem.
1143
1144         builder.append("</table>\n");
1145
1146         if (!namedArgs.isEmpty()) {
1147             System.err.println("NON-EMPTY namedArgs: " + namedArgs);
1148             if ("muovesse".equals(namedArgs.get("impsib3s2"))) {
1149                 return false;
1150             }
1151             if ("percuotesse".equals(namedArgs.get("impsib3s2"))) {
1152                 return false;
1153             }
1154             // Too many to deal with:
1155             //assert false;
1156             return false;
1157         }
1158
1159         return true;
1160       }
1161
1162         private void outputDataRow(AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
1163                 String col1Style, String headerName,
1164                 String col2Style, final String type2,
1165                 String moodName, Map<String, String> namedArgs, final List<String> prefixes, final boolean isForm) {
1166             final StringBuilder builder = appendAndIndexWikiCallback.builder;
1167             builder.append("<tr>");
1168             builder.append("<th colspan=\"1\"").append(col1Style).append(">").append(headerName).append("</th>");
1169             int i = 0;
1170             for (final String number : it_number_s_p) {
1171                 for (final String person : it_person_1_2_3) {
1172                     // Output <td> or <th>
1173                     builder.append("<").append(type2).append("").append(col2Style).append(">");
1174                     final String keyBase = String.format("%s%s%s", moodName, person, number);
1175                     appendAndIndexWikiCallback.dispatch(prefixes.get(i++), null);
1176                     outputKeyVariations(appendAndIndexWikiCallback, builder, keyBase, namedArgs, isForm);
1177                     // Output <td> or <th>
1178                     builder.append("</").append(type2).append(">");
1179                 }
1180             }
1181             builder.append("</tr>\n");
1182         }
1183     }
1184
1185   static void passThroughOrFillIn(final Map<String,String> namedArgs, final String key, final String fillIn, final boolean quoteToEmpty) {
1186       final String value = namedArgs.get(key);
1187       if (quoteToEmpty && "''".equals(value)) {
1188           namedArgs.put(key, "");
1189           return;
1190       }
1191       if (value == null || value.equals("")) {
1192           namedArgs.put(key, fillIn);
1193       }
1194   }
1195
1196   static final List<String> it_number_s_p = Arrays.asList("s", "p");
1197   static final List<String> it_person_1_2_3 = Arrays.asList("1", "2", "3");
1198   static final List<String> it_reflexive_pronouns = Arrays.asList("mi ", "ti ", "si ", "ci ", "vi ", "si ");
1199   static final List<String> it_empty = Arrays.asList("", "", "", "", "", "");
1200   static void it_conj_passMood(final Map<String,String> namedArgs, final String moodName, final boolean quoteToEmpty, final String root, final List<String> suffixes) {
1201       assert suffixes.size() == 6;
1202       int i = 0;
1203       for (final String number : it_number_s_p) {
1204           for (final String person : it_person_1_2_3) {
1205               passThroughOrFillIn(namedArgs, String.format("%s%s%s", moodName, person, number), root + suffixes.get(i), quoteToEmpty);
1206               ++i;
1207           }
1208       }
1209   }
1210
1211   private static <T extends AbstractWiktionaryParser> void outputKeyVariations(AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
1212         final StringBuilder builder, final String keyBase, Map<String, String> namedArgs, boolean isForm) {
1213     for (int suffix = 0; suffix <= 4; ++suffix) {
1214         final String key = suffix == 0 ? keyBase : keyBase + suffix;
1215         final String val = namedArgs.remove(key);
1216         if (val != null && !val.trim().equals("")) {
1217             if (suffix > 0) {
1218                 builder.append(", ");
1219             }
1220             appendAndIndexWikiCallback.dispatch(val, null);
1221             if (isForm) {
1222                 appendAndIndexWikiCallback.parser.addLinkToCurrentEntry(val, null, EntryTypeName.WIKTIONARY_INFLECTED_FORM_MULTI);
1223             }
1224         }
1225     }
1226   }
1227
1228
1229 }