src/com/hughes/android/dictionary/parser/wiktionary/EnFunctionCallbacks.java

   1 // Copyright 2012 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.parser.wiktionary;
  16
  17 import com.hughes.android.dictionary.engine.EntryTypeName;
  18 import com.hughes.android.dictionary.engine.IndexBuilder;
  19 import com.hughes.android.dictionary.parser.WikiTokenizer;
  20 import com.hughes.android.dictionary.parser.wiktionary.AbstractWiktionaryParser.AppendAndIndexWikiCallback;
  21 import com.hughes.android.dictionary.parser.wiktionary.AbstractWiktionaryParser.NameAndArgs;
  22 import com.hughes.util.ListUtil;
  23 import com.hughes.util.MapUtil;
  24
  25 import java.util.Arrays;
  26 import java.util.LinkedHashMap;
  27 import java.util.LinkedHashSet;
  28 import java.util.List;
  29 import java.util.Map;
  30 import java.util.Set;
  31 import java.util.concurrent.atomic.AtomicInteger;
  32
  33 class EnFunctionCallbacks {
  34
  35   static final Map<String,FunctionCallback<EnParser>> DEFAULT = new LinkedHashMap<String, FunctionCallback<EnParser>>();
  36
  37   static <T extends AbstractWiktionaryParser> void addGenericCallbacks(Map<String, FunctionCallback<T>> callbacks) {
  38       FunctionCallback<T> callback = new Gender<T>();
  39       callbacks.put("m", callback);
  40       callbacks.put("f", callback);
  41       callbacks.put("n", callback);
  42       callbacks.put("p", callback);
  43       callbacks.put("g", callback);
  44
  45       callback = new EncodingCallback<T>();
  46       Set<String> encodings = new LinkedHashSet<String>(Arrays.asList(
  47           "IPA", "IPAchar",  // Not really encodings, but it works.
  48           "zh-ts", "zh-tsp",
  49           "sd-Arab", "ku-Arab", "Arab", "unicode", "Laoo", "ur-Arab", "Thai",
  50           "fa-Arab", "Khmr", "Cyrl", "ug-Arab", "ko-inline",
  51           "Jpan", "Kore", "Hebr", "rfscript", "Beng", "Mong", "Knda", "Cyrs",
  52           "yue-tsj", "Mlym", "Tfng", "Grek", "yue-yue-j"));
  53       for (final String encoding : encodings) {
  54           callbacks.put(encoding, callback);
  55       }
  56
  57       callback = new Ignore<T>();
  58       callbacks.put("trreq", callback);
  59       callbacks.put("t-image", callback);
  60       callbacks.put("defn", callback);
  61       callbacks.put("rfdef", callback);
  62       callbacks.put("rfdate", callback);
  63       callbacks.put("rfex", callback);
  64       callbacks.put("rfquote", callback);
  65       callbacks.put("attention", callback);
  66       callbacks.put("zh-attention", callback);
  67
  68       callback = new AppendName<T>();
  69       callbacks.put("...", callback);
  70
  71       callbacks.put("qualifier", new QualifierCallback<T>());
  72       callbacks.put("italbrac", new italbrac<T>());
  73       callbacks.put("gloss", new gloss<T>());
  74       callbacks.put("not used", new not_used<T>());
  75       callbacks.put("wikipedia", new wikipedia<T>());
  76
  77       final it_conj<T> it_conj_cb = new it_conj<T>();
  78       callbacks.put("it-conj", it_conj_cb);
  79       callbacks.put("it-conj-are", new it_conj_are<T>(it_conj_cb));
  80       callbacks.put("it-conj-arsi", new it_conj_are<T>(it_conj_cb));
  81       callbacks.put("it-conj-care", new it_conj_are<T>(it_conj_cb));
  82       callbacks.put("it-conj-carsi", new it_conj_are<T>(it_conj_cb));
  83       callbacks.put("it-conj-ciare", new it_conj_are<T>(it_conj_cb));
  84       callbacks.put("it-conj-ciarsi", new it_conj_are<T>(it_conj_cb));
  85       callbacks.put("it-conj-iare", new it_conj_are<T>(it_conj_cb));
  86       callbacks.put("it-conj-iarsi", new it_conj_are<T>(it_conj_cb));
  87       callbacks.put("it-conj-iare-b", new it_conj_are<T>(it_conj_cb));
  88       callbacks.put("it-conj-iarsi-b", new it_conj_are<T>(it_conj_cb));
  89       callbacks.put("it-conj-ire", new it_conj_ire<T>(it_conj_cb));
  90       callbacks.put("it-conj-irsi", new it_conj_ire<T>(it_conj_cb));
  91       callbacks.put("it-conj-ire-b", new it_conj_ire<T>(it_conj_cb));
  92       callbacks.put("it-conj-irsi-b", new it_conj_ire<T>(it_conj_cb));
  93       callbacks.put("it-conj-cire", new it_conj_ire<T>(it_conj_cb));
  94       callbacks.put("it-conj-cirsi", new it_conj_ire<T>(it_conj_cb));
  95       callbacks.put("it-conj-ire", new it_conj_ire<T>(it_conj_cb));
  96       callbacks.put("it-conj-ere", new it_conj_ere<T>(it_conj_cb));
  97       callbacks.put("it-conj-ersi", new it_conj_ere<T>(it_conj_cb));
  98       callbacks.put("it-conj-urre", new it_conj_urre<T>(it_conj_cb));
  99       callbacks.put("it-conj-ursi", new it_conj_urre<T>(it_conj_cb));
 100       callbacks.put("it-conj-fare", new it_conj_fare<T>(it_conj_cb));
 101
 102
 103       //"{{it-conj-fare|putre|avere}}\n" +
 104
 105
 106   }
 107
 108   static {
 109     addGenericCallbacks(DEFAULT);
 110
 111     FunctionCallback<EnParser> callback = new TranslationCallback<EnParser>();
 112     DEFAULT.put("t", callback);
 113     DEFAULT.put("t+", callback);
 114     DEFAULT.put("t-", callback);
 115     DEFAULT.put("tø", callback);
 116     DEFAULT.put("apdx-t", callback);
 117
 118     callback = new l_term();
 119     DEFAULT.put("l", callback);
 120     DEFAULT.put("term", callback);
 121
 122     //callback = new AppendArg0();
 123
 124     callback = new FormOf();
 125     DEFAULT.put("form of", callback);
 126     DEFAULT.put("conjugation of", callback);
 127     DEFAULT.put("participle of", callback);
 128     DEFAULT.put("present participle of", callback);
 129     DEFAULT.put("past participle of", callback);
 130     DEFAULT.put("feminine past participle of", callback);
 131     DEFAULT.put("gerund of", callback);
 132     DEFAULT.put("feminine of", callback);
 133     DEFAULT.put("plural of", callback);
 134     DEFAULT.put("feminine plural of", callback);
 135     DEFAULT.put("inflected form of", callback);
 136     DEFAULT.put("alternative form of", callback);
 137     DEFAULT.put("dated form of", callback);
 138     DEFAULT.put("apocopic form of", callback);
 139
 140     callback = new InflOrHead();
 141     DEFAULT.put("infl", callback);
 142     DEFAULT.put("head", callback);
 143   }
 144
 145   static final NameAndArgs<EnParser> NAME_AND_ARGS = new NameAndArgs<EnParser>();
 146
 147   // ------------------------------------------------------------------
 148
 149   static final class TranslationCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 150     @Override
 151     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 152         final Map<String, String> namedArgs, final T parser,
 153         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 154
 155       final String transliteration = namedArgs.remove("tr");
 156       final String alt = namedArgs.remove("alt");
 157       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 158       if (args.size() < 2) {
 159         if (!name.equals("ttbc")) {
 160           EnParser.LOG.warning("{{t...}} with wrong args: title=" + parser.title + ", " + wikiTokenizer.token());
 161         }
 162         return false;
 163       }
 164       final String langCode = ListUtil.get(args, 0);
 165       if (!appendAndIndexWikiCallback.langCodeToTCount.containsKey(langCode)) {
 166         appendAndIndexWikiCallback.langCodeToTCount.put(langCode, new AtomicInteger());
 167       }
 168       appendAndIndexWikiCallback.langCodeToTCount.get(langCode).incrementAndGet();
 169       final String word = ListUtil.get(args, 1);
 170       appendAndIndexWikiCallback.dispatch(alt != null ? alt : word, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 171
 172       // Genders...
 173       if (args.size() > 2) {
 174         appendAndIndexWikiCallback.builder.append(" {");
 175         for (int i = 2; i < args.size(); ++i) {
 176           if (i > 2) {
 177             appendAndIndexWikiCallback.builder.append("|");
 178           }
 179           appendAndIndexWikiCallback.builder.append(args.get(i));
 180         }
 181         appendAndIndexWikiCallback.builder.append("}");
 182       }
 183
 184       if (transliteration != null) {
 185         appendAndIndexWikiCallback.builder.append(" (");
 186         appendAndIndexWikiCallback.dispatch(transliteration, EntryTypeName.WIKTIONARY_TRANSLITERATION);
 187         appendAndIndexWikiCallback.builder.append(")");
 188       }
 189
 190       if (alt != null) {
 191         // If alt wasn't null, we appended alt instead of the actual word
 192         // we're filing under..
 193         appendAndIndexWikiCallback.builder.append(" (");
 194         appendAndIndexWikiCallback.dispatch(word, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 195         appendAndIndexWikiCallback.builder.append(")");
 196       }
 197
 198       // Catch-all for anything else...
 199       if (!namedArgs.isEmpty()) {
 200         appendAndIndexWikiCallback.builder.append(" {");
 201         EnParser.appendNamedArgs(namedArgs, appendAndIndexWikiCallback);
 202         appendAndIndexWikiCallback.builder.append("}");
 203       }
 204
 205       return true;
 206     }
 207   }
 208
 209   // ------------------------------------------------------------------
 210
 211   static final class QualifierCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 212     @Override
 213     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 214         final Map<String, String> namedArgs,
 215         final T parser,
 216         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 217       if (args.size() != 1 || !namedArgs.isEmpty()) {
 218         EnParser.LOG.warning("weird qualifier: ");
 219         return false;
 220       }
 221       String qualifier = args.get(0);
 222       appendAndIndexWikiCallback.builder.append("(");
 223       appendAndIndexWikiCallback.dispatch(qualifier, null);
 224       appendAndIndexWikiCallback.builder.append(")");
 225       return true;
 226     }
 227   }
 228
 229   // ------------------------------------------------------------------
 230
 231   static final class EncodingCallback<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 232     @Override
 233     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 234         final Map<String, String> namedArgs,
 235         final T parser,
 236         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 237       //namedArgs.remove("lang");
 238       if (!namedArgs.isEmpty()) {
 239         EnParser.LOG.warning("weird encoding: " + wikiTokenizer.token());
 240         return false;
 241       }
 242       if (args.size() == 0) {
 243         // Things like "{{Jpan}}" exist.
 244         return true;
 245       }
 246
 247       if (name.equals("IPA")) {
 248           appendAndIndexWikiCallback.dispatch("IPA: ", null);
 249       }
 250
 251       for (int i = 0; i < args.size(); ++i) {
 252         if (i > 0) {
 253           appendAndIndexWikiCallback.builder.append(", ");
 254         }
 255         final String arg = args.get(i);
 256 //        if (arg.equals(parser.title)) {
 257 //          parser.titleAppended = true;
 258 //        }
 259         appendAndIndexWikiCallback.dispatch(arg, appendAndIndexWikiCallback.entryTypeName);
 260       }
 261
 262       return true;
 263     }
 264   }
 265
 266   // ------------------------------------------------------------------
 267
 268   static final class Gender<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 269     @Override
 270     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 271         final Map<String, String> namedArgs,
 272         final T parser,
 273         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 274       if (!namedArgs.isEmpty()) {
 275         return false;
 276       }
 277       appendAndIndexWikiCallback.builder.append("{");
 278       appendAndIndexWikiCallback.builder.append(name);
 279       for (int i = 0; i < args.size(); ++i) {
 280         appendAndIndexWikiCallback.builder.append("|").append(args.get(i));
 281       }
 282       appendAndIndexWikiCallback.builder.append("}");
 283       return true;
 284     }
 285   }
 286
 287   // ------------------------------------------------------------------
 288
 289   static final class l_term implements FunctionCallback<EnParser> {
 290     @Override
 291     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 292         final Map<String, String> namedArgs,
 293         final EnParser parser,
 294         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 295
 296       // for {{l}}, lang is arg 0, but not for {{term}}
 297       if (name.equals("term")) {
 298         args.add(0, "");
 299       }
 300
 301       final EntryTypeName entryTypeName;
 302       switch (parser.state) {
 303       case TRANSLATION_LINE: entryTypeName = EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT; break;
 304       case ENGLISH_DEF_OF_FOREIGN: entryTypeName = EntryTypeName.WIKTIONARY_ENGLISH_DEF_WIKI_LINK; break;
 305       default: throw new IllegalStateException("Invalid enum value: " + parser.state);
 306       }
 307
 308       final String langCode = args.get(0);
 309       final IndexBuilder indexBuilder;
 310       if ("".equals(langCode)) {
 311         indexBuilder = parser.foreignIndexBuilder;
 312       } else if ("en".equals(langCode)) {
 313         indexBuilder = parser.enIndexBuilder;
 314       } else {
 315         indexBuilder = parser.foreignIndexBuilder;
 316       }
 317
 318       String displayText = ListUtil.get(args, 2, "");
 319       if (displayText.equals("")) {
 320         displayText = ListUtil.get(args, 1, null);
 321       }
 322
 323       if (displayText != null) {
 324         appendAndIndexWikiCallback.dispatch(displayText, indexBuilder, entryTypeName);
 325       } else {
 326         EnParser.LOG.warning("no display text: " + wikiTokenizer.token());
 327       }
 328
 329       final String tr = namedArgs.remove("tr");
 330       if (tr != null) {
 331         appendAndIndexWikiCallback.builder.append(" (");
 332         appendAndIndexWikiCallback.dispatch(tr, indexBuilder, EntryTypeName.WIKTIONARY_TRANSLITERATION);
 333         appendAndIndexWikiCallback.builder.append(")");
 334       }
 335
 336       final String gloss = ListUtil.get(args, 3, "");
 337       if (!gloss.equals("")) {
 338         appendAndIndexWikiCallback.builder.append(" (");
 339         appendAndIndexWikiCallback.dispatch(gloss, parser.enIndexBuilder, EntryTypeName.WIKTIONARY_ENGLISH_DEF);
 340         appendAndIndexWikiCallback.builder.append(")");
 341       }
 342
 343       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 344       if (!namedArgs.isEmpty()) {
 345         appendAndIndexWikiCallback.builder.append(" {").append(name);
 346         EnParser.appendNamedArgs(namedArgs, appendAndIndexWikiCallback);
 347         appendAndIndexWikiCallback.builder.append("}");
 348       }
 349
 350       return true;
 351     }
 352   }
 353
 354   // ------------------------------------------------------------------
 355
 356   static final class AppendArg0<T extends AbstractWiktionaryParser> implements FunctionCallback<EnParser> {
 357     @Override
 358     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 359         final Map<String, String> namedArgs,
 360         final EnParser parser,
 361         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 362       if (args.size() != 1 || !namedArgs.isEmpty()) {
 363         return false;
 364       }
 365       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 366
 367       final String tr = namedArgs.remove("tr");
 368       if (tr != null) {
 369         appendAndIndexWikiCallback.builder.append(" (");
 370         appendAndIndexWikiCallback.dispatch(tr, EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 371         appendAndIndexWikiCallback.builder.append(")");
 372         parser.wordForms.add(tr);
 373       }
 374
 375       return true;
 376     }
 377   }
 378
 379   // ------------------------------------------------------------------
 380
 381   static final class italbrac<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 382     @Override
 383     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 384         final Map<String, String> namedArgs,
 385         final T parser,
 386         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 387       if (args.size() != 1 || !namedArgs.isEmpty()) {
 388         return false;
 389       }
 390       appendAndIndexWikiCallback.builder.append("(");
 391       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 392       appendAndIndexWikiCallback.builder.append(")");
 393       return true;
 394     }
 395   }
 396
 397   // ------------------------------------------------------------------
 398
 399   static final class gloss<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 400     @Override
 401     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 402         final Map<String, String> namedArgs,
 403         final T parser,
 404         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 405       if (args.size() != 1 || !namedArgs.isEmpty()) {
 406         return false;
 407       }
 408       appendAndIndexWikiCallback.builder.append("(");
 409       appendAndIndexWikiCallback.dispatch(args.get(0), EntryTypeName.WIKTIONARY_TRANSLATION_OTHER_TEXT);
 410       appendAndIndexWikiCallback.builder.append(")");
 411       return true;
 412     }
 413   }
 414
 415   // ------------------------------------------------------------------
 416
 417   static final class Ignore<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 418     @Override
 419     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 420         final Map<String, String> namedArgs,
 421         final T parser,
 422         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 423       return true;
 424     }
 425   }
 426
 427   // ------------------------------------------------------------------
 428
 429   static final class not_used<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 430     @Override
 431     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 432         final Map<String, String> namedArgs,
 433         final T parser,
 434         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 435       appendAndIndexWikiCallback.builder.append("(not used)");
 436       return true;
 437     }
 438   }
 439
 440
 441   // ------------------------------------------------------------------
 442
 443   static final class AppendName<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 444     @Override
 445     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 446         final Map<String, String> namedArgs,
 447         final T parser,
 448         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 449       if (!args.isEmpty() || !namedArgs.isEmpty()) {
 450         return false;
 451       }
 452       appendAndIndexWikiCallback.builder.append(name);
 453       return true;
 454     }
 455   }
 456
 457   // --------------------------------------------------------------------
 458   // --------------------------------------------------------------------
 459
 460
 461   static final class FormOf implements FunctionCallback<EnParser> {
 462     @Override
 463     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 464         final Map<String, String> namedArgs,
 465         final EnParser parser,
 466         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 467       parser.entryIsFormOfSomething = true;
 468       String formName = name;
 469       if (name.equals("form of")) {
 470         formName = ListUtil.remove(args, 0, null);
 471       }
 472       if (formName == null) {
 473         EnParser.LOG.warning("Missing form name: " + parser.title);
 474         formName = "form of";
 475       }
 476       String baseForm = ListUtil.get(args, 1, "");
 477       if ("".equals(baseForm)) {
 478         baseForm = ListUtil.get(args, 0, null);
 479         ListUtil.remove(args, 1, "");
 480       } else {
 481         ListUtil.remove(args, 0, null);
 482       }
 483       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 484
 485       appendAndIndexWikiCallback.builder.append("{");
 486       NAME_AND_ARGS.onWikiFunction(wikiTokenizer, formName, args, namedArgs, parser, appendAndIndexWikiCallback);
 487       appendAndIndexWikiCallback.builder.append("}");
 488       if (baseForm != null && appendAndIndexWikiCallback.indexedEntry != null) {
 489         parser.foreignIndexBuilder.addEntryWithString(appendAndIndexWikiCallback.indexedEntry, baseForm, EntryTypeName.WIKTIONARY_BASE_FORM_MULTI);
 490       } else {
 491         // null baseForm happens in Danish.
 492         EnParser.LOG.warning("Null baseform: " + parser.title);
 493       }
 494       return true;
 495     }
 496   }
 497
 498   static final EnFunctionCallbacks.FormOf FORM_OF = new FormOf();
 499
 500
 501   // --------------------------------------------------------------------
 502   // --------------------------------------------------------------------
 503
 504   static final class wikipedia<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 505     @Override
 506     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 507         final Map<String, String> namedArgs,
 508         final T parser,
 509         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 510       namedArgs.remove("lang");
 511       if (args.size() > 1 || !namedArgs.isEmpty()) {
 512         // Unindexed!
 513         return false;
 514       } else if (args.size() == 1) {
 515         return false;
 516       } else {
 517         return true;
 518       }
 519     }
 520   }
 521
 522   static final class InflOrHead implements FunctionCallback<EnParser> {
 523     @Override
 524     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 525         final Map<String, String> namedArgs,
 526         final EnParser parser,
 527         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 528       // See: http://en.wiktionary.org/wiki/Template:infl
 529       // TODO: Actually these functions should start a new WordPOS:
 530       // See: http://en.wiktionary.org/wiki/quattro
 531       final String langCode = ListUtil.get(args, 0);
 532       String head = namedArgs.remove("head");
 533       if (head == null) {
 534         head = namedArgs.remove("title"); // Bug
 535       }
 536       if (head == null) {
 537         head = parser.title;
 538       }
 539
 540       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
 541
 542       final String tr = namedArgs.remove("tr");
 543       String g = namedArgs.remove("g");
 544       if (g == null) {
 545         g = namedArgs.remove("gender");
 546       }
 547       final String g2 = namedArgs.remove("g2");
 548       final String g3 = namedArgs.remove("g3");
 549
 550       // We might have already taken care of this in a generic way...
 551       if (!parser.titleAppended) {
 552         appendAndIndexWikiCallback.dispatch(head, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 553         parser.titleAppended = true;
 554       }
 555
 556       if (g != null) {
 557         appendAndIndexWikiCallback.builder.append(" {").append(g);
 558         if (g2 != null) {
 559           appendAndIndexWikiCallback.builder.append("|").append(g2);
 560         }
 561         if (g3 != null) {
 562           appendAndIndexWikiCallback.builder.append("|").append(g3);
 563         }
 564         appendAndIndexWikiCallback.builder.append("}");
 565       }
 566
 567       if (tr != null) {
 568         appendAndIndexWikiCallback.builder.append(" (");
 569         appendAndIndexWikiCallback.dispatch(tr, EntryTypeName.WIKTIONARY_TITLE_MULTI);
 570         appendAndIndexWikiCallback.builder.append(")");
 571         parser.wordForms.add(tr);
 572       }
 573
 574       final String pos = ListUtil.get(args, 1);
 575       if (pos != null) {
 576         appendAndIndexWikiCallback.builder.append(" (").append(pos).append(")");
 577       }
 578       for (int i = 2; i < args.size(); i += 2) {
 579         final String inflName = ListUtil.get(args, i);
 580         final String inflValue = ListUtil.get(args, i + 1);
 581         appendAndIndexWikiCallback.builder.append(", ");
 582         appendAndIndexWikiCallback.dispatch(inflName, null, null);
 583         if (inflValue != null && inflValue.length() > 0) {
 584           appendAndIndexWikiCallback.builder.append(": ");
 585           appendAndIndexWikiCallback.dispatch(inflValue, null, null);
 586           parser.wordForms.add(inflValue);
 587         }
 588       }
 589       for (final String key : namedArgs.keySet()) {
 590         final String value = WikiTokenizer.toPlainText(namedArgs.get(key));
 591         appendAndIndexWikiCallback.builder.append(" ");
 592         appendAndIndexWikiCallback.dispatch(key, null, null);
 593         appendAndIndexWikiCallback.builder.append("=");
 594         appendAndIndexWikiCallback.dispatch(value, null, null);
 595         parser.wordForms.add(value);
 596       }
 597       return true;
 598     }
 599   }
 600
 601
 602   static {
 603     DEFAULT.put("it-noun", new it_noun());
 604   }
 605   static final class it_noun implements FunctionCallback<EnParser> {
 606     @Override
 607     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 608         final Map<String, String> namedArgs,
 609         final EnParser parser,
 610         final AppendAndIndexWikiCallback<EnParser> appendAndIndexWikiCallback) {
 611       parser.titleAppended = true;
 612       final String base = ListUtil.get(args, 0);
 613       final String gender = ListUtil.get(args, 1);
 614       final String singular = base + ListUtil.get(args, 2, null);
 615       final String plural = base + ListUtil.get(args, 3, null);
 616       appendAndIndexWikiCallback.builder.append(" ");
 617       appendAndIndexWikiCallback.dispatch(singular, null, null);
 618       appendAndIndexWikiCallback.builder.append(" {").append(gender).append("}, ");
 619       appendAndIndexWikiCallback.dispatch(plural, null, null);
 620       appendAndIndexWikiCallback.builder.append(" {pl}");
 621       final String f = namedArgs.remove("f");
 622       if (f != null) {
 623           appendAndIndexWikiCallback.builder.append(", ");
 624           appendAndIndexWikiCallback.dispatch(f, null, null);
 625           appendAndIndexWikiCallback.builder.append(" {f}");
 626       }
 627       parser.wordForms.add(singular);
 628       parser.wordForms.add(plural);
 629       if (!namedArgs.isEmpty() || args.size() > 4) {
 630         EnParser.LOG.warning("Invalid it-noun: " + wikiTokenizer.token());
 631       }
 632       return true;
 633     }
 634   }
 635
 636   static {
 637     DEFAULT.put("it-proper noun", new it_proper_noun<EnParser>());
 638   }
 639   static final class it_proper_noun<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 640     @Override
 641     public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 642         final Map<String, String> namedArgs,
 643         final T parser,
 644         final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 645       return false;
 646     }
 647   }
 648
 649   // -----------------------------------------------------------------------
 650   // Italian stuff
 651   // -----------------------------------------------------------------------
 652
 653   static void passThroughOrFillIn(final Map<String,String> namedArgs, final String key, final String fillIn, final boolean quoteToEmpty) {
 654       final String value = namedArgs.get(key);
 655       if (quoteToEmpty && "''".equals(value)) {
 656           namedArgs.put(key, "");
 657           return;
 658       }
 659       if (value == null || value.equals("")) {
 660           namedArgs.put(key, fillIn);
 661       }
 662   }
 663
 664   static final List<String> it_number_s_p = Arrays.asList("s", "p");
 665   static final List<String> it_person_1_2_3 = Arrays.asList("1", "2", "3");
 666   static final List<String> it_reflexive_pronouns = Arrays.asList("mi ", "ti ", "si ", "ci ", "vi ", "si ");
 667   static final List<String> it_empty = Arrays.asList("", "", "", "", "", "");
 668   static void it_conj_passMood(final Map<String,String> namedArgs, final String moodName, final boolean quoteToEmpty, final String root, final List<String> suffixes) {
 669       assert suffixes.size() == 6;
 670       int i = 0;
 671       for (final String number : it_number_s_p) {
 672           for (final String person : it_person_1_2_3) {
 673               passThroughOrFillIn(namedArgs, String.format("%s%s%s", moodName, person, number), root + suffixes.get(i), quoteToEmpty);
 674               ++i;
 675           }
 676       }
 677   }
 678
 679   private static <T extends AbstractWiktionaryParser> void outputKeyVariations(AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
 680         final StringBuilder builder, final String keyBase, Map<String, String> namedArgs, boolean isForm) {
 681     for (int suffix = 0; suffix <= 4; ++suffix) {
 682         final String key = suffix == 0 ? keyBase : keyBase + suffix;
 683         final String val = namedArgs.remove(key);
 684         if (val != null) {
 685             if (suffix > 0) {
 686                 builder.append(", ");
 687             }
 688             appendAndIndexWikiCallback.dispatch(val, null);
 689             if (isForm) {
 690                 appendAndIndexWikiCallback.parser.addLinkToCurrentEntry(val, EntryTypeName.WIKTIONARY_INFLECTED_FORM_MULTI);
 691             }
 692         }
 693     }
 694   }
 695
 696 static final class it_conj_are<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 697     final it_conj<T> dest;
 698     it_conj_are(it_conj<T> dest) {
 699       this.dest = dest;
 700     }
 701     @Override
 702       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 703           final Map<String, String> namedArgs,
 704           final T parser,
 705           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 706         final String h = name.equals("it-conj-care") || name.equals("it-conj-carsi") ? "h" : "";
 707         final String i = name.equals("it-conj-ciare") || name.equals("it-conj-ciarsi") ? "i" : "";
 708         final String i2 = name.equals("it-conj-iare") || name.equals("it-conj-iarsi") ? "" : "i";
 709         final boolean si = name.equals("it-conj-arsi") || name.equals("it-conj-iarsi") || name.equals("it-conj-iarsi-b") || name.equals("it-conj-carsi") || name.equals("it-conj-ciarsi");
 710         final String root = args.get(0);
 711         passThroughOrFillIn(namedArgs, "inf", root + i + (si ? "arsi" : "are"), false);
 712         namedArgs.put("aux", ListUtil.get(args, 1, ""));
 713         passThroughOrFillIn(namedArgs, "ger", root + i + "ando" + (si ? "si" : ""), true);
 714         passThroughOrFillIn(namedArgs, "presp", root + i + "ante"+ (si ? "si" : ""), true);
 715         passThroughOrFillIn(namedArgs, "pastp", root + i + "ato", true);
 716         if (si) {
 717             passThroughOrFillIn(namedArgs, "pastp2", root + i + "atosi", true);
 718         }
 719         final String i2b = (name.equals("it-conj-iare-b") || name.equals("it-conj-iarsi-b")) ? "" : i2;
 720
 721         it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList(i + "o", h + i2, i + "a", h + i2 + "amo", i + "ate", i + "ano"));
 722         it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList(i + "avo", i + "avi", i + "ava", i + "avamo", i + "avate", i + "avano"));
 723         it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList(i + "ai", i + "asti", i + "ò", i + "ammo", i + "aste", i + "arono"));
 724         it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList(h + "erò", h + "erai", h + "erà", h + "eremo", h + "erete", h + "eranno"));
 725         it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList(h + "erei", h + "eresti", h + "erebbe", h + "eremmo", h + "ereste", h + "erebbero"));
 726
 727         passThroughOrFillIn(namedArgs, "sub123s", root + h + i2, false);
 728         passThroughOrFillIn(namedArgs, "sub1p", root + h + i2b + "amo", false);
 729         passThroughOrFillIn(namedArgs, "sub2p", root + h + i2b + "ate", false);
 730         passThroughOrFillIn(namedArgs, "sub3p", root + h + i2 + "no", false);
 731
 732         passThroughOrFillIn(namedArgs, "impsub12s", root + i + "assi", false);
 733         passThroughOrFillIn(namedArgs, "impsub3s", root + i + "asse", false);
 734         passThroughOrFillIn(namedArgs, "impsub1p", root + i + "assimo", false);
 735         passThroughOrFillIn(namedArgs, "impsub2p", root + i + "aste", false);
 736         passThroughOrFillIn(namedArgs, "impsub3p", root + i + "assero", false);
 737
 738         passThroughOrFillIn(namedArgs, "imp2s", root + i + "a" + (si ? "ti" : ""), true);
 739         passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + h + i2, true);
 740         passThroughOrFillIn(namedArgs, "imp1p", root + h + i2b + "amo" + (si ? "ci" : ""), true);
 741         passThroughOrFillIn(namedArgs, "imp2p", root + i + "ate" + (si ? "vi" : ""), true);
 742         passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + h + i2 + "no", true);
 743
 744         return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 745       }
 746     }
 747
 748   static final class it_conj_ire<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 749     final it_conj<T> dest;
 750     it_conj_ire(it_conj<T> dest) {
 751       this.dest = dest;
 752     }
 753     @Override
 754       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 755           final Map<String, String> namedArgs,
 756           final T parser,
 757           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 758         final String root = args.get(0);
 759         final String i = name.equals("it-conj-cire") || name.equals("it-conj-cirsi") ? "i" : "";
 760         final boolean si = name.equals("it-conj-irsi") || name.equals("it-conj-irsi-b") || name.equals("it-conj-cirsi");
 761
 762         passThroughOrFillIn(namedArgs, "inf", root + (si ? "irsi" : "ire"), false);
 763         namedArgs.put("aux", ListUtil.get(args, 1, ""));
 764         passThroughOrFillIn(namedArgs, "ger", root + "endo" + (si ? "si" : ""), true);
 765         passThroughOrFillIn(namedArgs, "presp", root + "ente" + (si ? "si" : ""), true);
 766         passThroughOrFillIn(namedArgs, "pastp", root + "ito", true);
 767         if (si) {
 768             passThroughOrFillIn(namedArgs, "pastp2", root + "itosi", true);
 769         }
 770         if (!name.endsWith("-b")) {
 771             it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList(i + "o", "i", "e", "iamo", "ite", i + "ono"));
 772         } else {
 773             it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("isco", "isci", "isce", "iamo", "ite", "iscono"));
 774         }
 775         it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("ivo", "ivi", "iva", "ivamo", "ivate", "ivano"));
 776         it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ii", "isti", "ì", "immo", "iste", "irono"));
 777         // Regular past historic synonyms:
 778         passThroughOrFillIn(namedArgs, "prem3s2", root + "é", true);
 779         passThroughOrFillIn(namedArgs, "prem3p2", root + "erono", true);
 780         it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("irò", "irai", "irà", "iremo", "irete", "iranno"));
 781         it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("irei", "iresti", "irebbe", "iremmo", "ireste", "irebbero"));
 782
 783         if (!name.endsWith("-b")) {
 784             passThroughOrFillIn(namedArgs, "sub123s", root + i + "a", false);
 785             passThroughOrFillIn(namedArgs, "sub3p", root + i + "ano", false);
 786         } else {
 787             passThroughOrFillIn(namedArgs, "sub123s", root + "isca", false);
 788             passThroughOrFillIn(namedArgs, "sub3p", root + "iscano", false);
 789         }
 790         passThroughOrFillIn(namedArgs, "sub1p", root + "iamo", false);
 791         passThroughOrFillIn(namedArgs, "sub2p", root + "iate", false);
 792
 793         passThroughOrFillIn(namedArgs, "impsub12s", root + "issi", false);
 794         passThroughOrFillIn(namedArgs, "impsub3s", root + "isse", false);
 795         passThroughOrFillIn(namedArgs, "impsub1p", root + "issimo", false);
 796         passThroughOrFillIn(namedArgs, "impsub2p", root + "iste", false);
 797         passThroughOrFillIn(namedArgs, "impsub3p", root + "issero", false);
 798
 799         if (!name.endsWith("-b")) {
 800             passThroughOrFillIn(namedArgs, "imp2s", root + "i" + (si ? "ti" : ""), true);
 801             passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + i + "a", true);
 802             passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + i + "ano", true);
 803         } else {
 804             passThroughOrFillIn(namedArgs, "imp2s", root + "isci" + (si ? "ti" : ""), true);
 805             passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + "isca", true);
 806             passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + "iscano", true);
 807         }
 808         passThroughOrFillIn(namedArgs, "imp1p", root + "iamo" + (si ? "ci" : ""), true);
 809         passThroughOrFillIn(namedArgs, "imp2p", root + "ite" + (si ? "vi" : ""), true);
 810
 811         return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 812       }
 813     }
 814
 815
 816   static final class it_conj_ere<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 817       final it_conj<T> dest;
 818       it_conj_ere(it_conj<T> dest) {
 819         this.dest = dest;
 820       }
 821       @Override
 822         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 823             final Map<String, String> namedArgs,
 824             final T parser,
 825             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 826           final String root = args.get(0);
 827           final boolean si = name.equals("it-conj-ersi");
 828
 829           passThroughOrFillIn(namedArgs, "inf", root + (si ? "ersi" : "ere"), false);
 830           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 831           passThroughOrFillIn(namedArgs, "ger", root + "endo" + (si ? "si" : ""), true);
 832           passThroughOrFillIn(namedArgs, "presp", root + "ente" + (si ? "si" : ""), true);
 833           passThroughOrFillIn(namedArgs, "pastp", root + "uto", true);
 834           if (si) {
 835               passThroughOrFillIn(namedArgs, "pastp2", root + "utosi", true);
 836           }
 837           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("o", "i", "e", "iamo", "ete", "ono"));
 838           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("evo", "evi", "eva", "evamo", "evate", "evano"));
 839           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ei", "esti", "ette", "emmo", "este", "ettero"));
 840           // Regular past historic synonyms:
 841           passThroughOrFillIn(namedArgs, "prem3s2", root + "é", true);
 842           passThroughOrFillIn(namedArgs, "prem3p2", root + "erono", true);
 843           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("erò", "erai", "erà", "eremo", "erete", "eranno"));
 844           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("erei", "eresti", "erebbe", "eremmo", "ereste", "erebbero"));
 845
 846           passThroughOrFillIn(namedArgs, "sub123s", root + "a", false);
 847           passThroughOrFillIn(namedArgs, "sub1p", root + "iamo", false);
 848           passThroughOrFillIn(namedArgs, "sub2p", root + "iate", false);
 849           passThroughOrFillIn(namedArgs, "sub3p", root + "ano", false);
 850
 851           passThroughOrFillIn(namedArgs, "impsub12s", root + "essi", false);
 852           passThroughOrFillIn(namedArgs, "impsub3s", root + "esse", false);
 853           passThroughOrFillIn(namedArgs, "impsub1p", root + "essimo", false);
 854           passThroughOrFillIn(namedArgs, "impsub2p", root + "este", false);
 855           passThroughOrFillIn(namedArgs, "impsub3p", root + "essero", false);
 856
 857           passThroughOrFillIn(namedArgs, "imp2s", root + "i" + (si ? "ti" : ""), true);
 858           passThroughOrFillIn(namedArgs, "imp3s", (si ? "si " : "") + root + "a", true);
 859           passThroughOrFillIn(namedArgs, "imp1p", root + "iamo" + (si ? "ci" : ""), true);
 860           passThroughOrFillIn(namedArgs, "imp2p", root + "ete" + (si ? "vi" : ""), true);
 861           passThroughOrFillIn(namedArgs, "imp3p", (si ? "si " : "") + root + "ano", true);
 862
 863           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 864         }
 865       }
 866
 867   static final class it_conj_urre<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 868       final it_conj<T> dest;
 869       it_conj_urre(it_conj<T> dest) {
 870         this.dest = dest;
 871       }
 872       @Override
 873         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 874             final Map<String, String> namedArgs,
 875             final T parser,
 876             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 877           final String root = args.get(0);
 878           final boolean si = name.equals("it-conj-ursi");
 879
 880           passThroughOrFillIn(namedArgs, "inf", root + (si ? "ursi" : "urre"), false);
 881           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 882           passThroughOrFillIn(namedArgs, "ger", root + "ucendo" + (si ? "si" : ""), true);
 883           passThroughOrFillIn(namedArgs, "presp", root + "ucente" + (si ? "si" : ""), true);
 884           passThroughOrFillIn(namedArgs, "pastp", root + "otto", true);
 885           if (si) {
 886               passThroughOrFillIn(namedArgs, "pastp2", root + "ottosi", true);
 887           }
 888           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("uco", "uci", "uce", "uciamo", "ucete", "ucono"));
 889           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("ucevo", "ucevi", "uceva", "ucevamo", "ucevate", "ucevano"));
 890           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("ussi", "ucesti", "usse", "ucemmo", "uceste", "ussero"));
 891           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("urrò", "urrai", "urrà", "urremo", "urrete", "urranno"));
 892           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("urrei", "urresti", "urrebbe", "urremmo", "urreste", "urrebbero"));
 893
 894           passThroughOrFillIn(namedArgs, "sub123s", root + "uca", false);
 895           passThroughOrFillIn(namedArgs, "sub1p", root + "uciamo", false);
 896           passThroughOrFillIn(namedArgs, "sub2p", root + "uciate", false);
 897           passThroughOrFillIn(namedArgs, "sub3p", root + "ucano", false);
 898
 899           passThroughOrFillIn(namedArgs, "impsub12s", root + "ucessi", false);
 900           passThroughOrFillIn(namedArgs, "impsub3s", root + "ucesse", false);
 901           passThroughOrFillIn(namedArgs, "impsub1p", root + "ucessimo", false);
 902           passThroughOrFillIn(namedArgs, "impsub2p", root + "uceste", false);
 903           passThroughOrFillIn(namedArgs, "impsub3p", root + "ucessero", false);
 904
 905           passThroughOrFillIn(namedArgs, "imp2s", root + "uci" + (si ? "ti" : ""), true);
 906           passThroughOrFillIn(namedArgs, "imp3s", (si ? "si" : "") + root + "uca", true);
 907           passThroughOrFillIn(namedArgs, "imp1p", root + "uciamo" + (si ? "ci" : ""), true);
 908           passThroughOrFillIn(namedArgs, "imp2p", root + "ucete" + (si ? "vi" : ""), true);
 909           passThroughOrFillIn(namedArgs, "imp3p", (si ? "si" : "") + root + "ucano", true);
 910
 911           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 912         }
 913       }
 914
 915   static final class it_conj_fare<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 916       final it_conj<T> dest;
 917       it_conj_fare(it_conj<T> dest) {
 918         this.dest = dest;
 919       }
 920       @Override
 921         public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 922             final Map<String, String> namedArgs,
 923             final T parser,
 924             final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 925           final String root = args.get(0);
 926           passThroughOrFillIn(namedArgs, "inf", root + "fare", false);
 927           namedArgs.put("aux", ListUtil.get(args, 1, ""));
 928           passThroughOrFillIn(namedArgs, "ger", root + "facendo", true);
 929           passThroughOrFillIn(namedArgs, "presp", root + "facente", true);
 930           passThroughOrFillIn(namedArgs, "pastp", root + "fatto", true);
 931           it_conj_passMood(namedArgs, "pres", false, root, Arrays.asList("faccio", "fai", "fà", "facciamo", "fate", "fanno"));
 932           passThroughOrFillIn(namedArgs, "pres1s2", root + "fò", true);
 933           it_conj_passMood(namedArgs, "imperf", false, root, Arrays.asList("facevo", "facevi", "faceva", "facevamo", "facevate", "facevano"));
 934           it_conj_passMood(namedArgs, "prem", false, root, Arrays.asList("feci", "facesti", "fece", "facemmo", "faceste", "fecero"));
 935           it_conj_passMood(namedArgs, "fut", true, root, Arrays.asList("farò", "farai", "farà", "faremo", "farete", "faranno"));
 936           it_conj_passMood(namedArgs, "cond", true, root, Arrays.asList("farei", "faresti", "farebbe", "faremmo", "fareste", "farebbero"));
 937
 938           passThroughOrFillIn(namedArgs, "sub123s", root + "faccia", false);
 939           passThroughOrFillIn(namedArgs, "sub1p", root + "facciamo", false);
 940           passThroughOrFillIn(namedArgs, "sub2p", root + "facciate", false);
 941           passThroughOrFillIn(namedArgs, "sub3p", root + "facciano", false);
 942
 943           passThroughOrFillIn(namedArgs, "impsub12s", root + "facessi", false);
 944           passThroughOrFillIn(namedArgs, "impsub3s", root + "facesse", false);
 945           passThroughOrFillIn(namedArgs, "impsub1p", root + "facessimo", false);
 946           passThroughOrFillIn(namedArgs, "impsub2p", root + "faceste", false);
 947           passThroughOrFillIn(namedArgs, "impsub3p", root + "facessero", false);
 948
 949           passThroughOrFillIn(namedArgs, "imp2s", root + "fa", true);
 950           passThroughOrFillIn(namedArgs, "imp3s", root + "faccia", true);
 951           passThroughOrFillIn(namedArgs, "imp1p", root + "facciamo", true);
 952           passThroughOrFillIn(namedArgs, "imp2p", root + "fate", true);
 953           passThroughOrFillIn(namedArgs, "imp3p", root + "facciano", true);
 954
 955           return dest.onWikiFunction(wikiTokenizer, name, args, namedArgs, parser, appendAndIndexWikiCallback);
 956         }
 957       }
 958
 959   static final Map<String,String> it_indicativePronouns = new LinkedHashMap<String, String>();
 960   static {
 961       it_indicativePronouns.put("1s", "io");
 962       it_indicativePronouns.put("2s", "tu");
 963       it_indicativePronouns.put("3s", "lui/lei");
 964       it_indicativePronouns.put("1p", "noi");
 965       it_indicativePronouns.put("2p", "voi");
 966       it_indicativePronouns.put("3p", "essi/esse");
 967   }
 968
 969   static final Map<String,String> it_subjunctivePronouns = new LinkedHashMap<String, String>();
 970   static {
 971       it_subjunctivePronouns.put("1s", "che io");
 972       it_subjunctivePronouns.put("2s", "che tu");
 973       it_subjunctivePronouns.put("3s", "che lui/lei");
 974       it_subjunctivePronouns.put("1p", "che noi");
 975       it_subjunctivePronouns.put("2p", "che voi");
 976       it_subjunctivePronouns.put("3p", "che essi/esse");
 977   }
 978
 979   static final Map<String,String> it_imperativePronouns = new LinkedHashMap<String, String>();
 980   static {
 981       it_imperativePronouns.put("1s", "-");
 982       it_imperativePronouns.put("2s", "tu");
 983       it_imperativePronouns.put("3s", "lui/lei");
 984       it_imperativePronouns.put("1p", "noi");
 985       it_imperativePronouns.put("2p", "voi");
 986       it_imperativePronouns.put("3p", "essi/esse");
 987   }
 988
 989
 990   static final class it_conj<T extends AbstractWiktionaryParser> implements FunctionCallback<T> {
 991       @Override
 992       public boolean onWikiFunction(final WikiTokenizer wikiTokenizer, final String name, final List<String> args,
 993           final Map<String, String> namedArgs,
 994           final T parser,
 995           final AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback) {
 996
 997         final StringBuilder builder = appendAndIndexWikiCallback.builder;
 998
 999         final String inf = namedArgs.get("inf");
1000
1001         // TODO: center everything horizontally.
1002         builder.append("<table style=\"background:#F0F0F0\">");
1003
1004         builder.append("<tr>");
1005         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">infinito</th>");
1006         builder.append("<td colspan=\"1\">");
1007         appendAndIndexWikiCallback.dispatch(MapUtil.safeRemove(namedArgs, "inf", "-"), null);
1008         builder.append("</td>");
1009         builder.append("</tr>\n");
1010
1011         builder.append("<tr>");
1012         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">verbo ausiliare</th>");
1013         builder.append("<td colspan=\"1\">");
1014         appendAndIndexWikiCallback.dispatch(MapUtil.safeRemove(namedArgs, "aux", "-"), null);
1015         builder.append("</td>");
1016         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">gerundio</th>");
1017         builder.append("<td colspan=\"1\">");
1018         outputKeyVariations(appendAndIndexWikiCallback, builder, "ger", namedArgs, true);
1019         builder.append("</td>");
1020         builder.append("</tr>\n");
1021
1022         builder.append("<tr>");
1023         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">participio presente</th>");
1024         builder.append("<td colspan=\"1\">");
1025         outputKeyVariations(appendAndIndexWikiCallback, builder, "presp", namedArgs, true);
1026         builder.append("</td>");
1027         builder.append("<th colspan=\"1\" style=\"background:#e2e4c0\">participio passato</th>");
1028         builder.append("<td colspan=\"1\">");
1029         outputKeyVariations(appendAndIndexWikiCallback, builder, "pastp", namedArgs, true);
1030         builder.append("</td>");
1031         builder.append("</tr>\n");
1032
1033         final List<String> prefixes = (inf != null && inf.endsWith("si")) ? it_reflexive_pronouns : it_empty;
1034
1035         String style = " style=\"background:#c0cfe4\"";
1036         outputDataRow(appendAndIndexWikiCallback, style, "indicativo", style, "th", "", new LinkedHashMap<String, String>(it_indicativePronouns), it_empty, false);
1037         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "pres", namedArgs, prefixes, true);
1038         outputDataRow(appendAndIndexWikiCallback, style, "imperfetto", "", "td", "imperf", namedArgs, prefixes, true);
1039         outputDataRow(appendAndIndexWikiCallback, style, "passato remoto", "", "td", "prem", namedArgs, prefixes, true);
1040         outputDataRow(appendAndIndexWikiCallback, style, "futuro", "", "td", "fut", namedArgs, prefixes, true);
1041
1042         style = " style=\"background:#c0d8e4\"";
1043         outputDataRow(appendAndIndexWikiCallback, style, "condizionale", style, "th", "", new LinkedHashMap<String, String>(it_indicativePronouns), it_empty, false);
1044         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "cond", namedArgs, prefixes, true);
1045
1046         style = " style=\"background:#c0e4c0\"";
1047         outputDataRow(appendAndIndexWikiCallback, style, "congiuntivo", style, "th", "", new LinkedHashMap<String, String>(it_subjunctivePronouns), it_empty, false);
1048         namedArgs.put("sub3s2", namedArgs.remove("sub3s"));
1049         namedArgs.put("sub1s", namedArgs.get("sub123s"));
1050         namedArgs.put("sub2s", namedArgs.get("sub123s"));
1051         namedArgs.put("sub3s", namedArgs.remove("sub123s"));
1052         namedArgs.put("sub1s2", namedArgs.get("sub123s2"));
1053         namedArgs.put("sub2s2", namedArgs.get("sub123s2"));
1054         namedArgs.put("sub3s2", namedArgs.remove("sub123s2"));
1055         outputDataRow(appendAndIndexWikiCallback, style, "presente", "", "td", "sub", namedArgs, prefixes, true);
1056         namedArgs.put("impsub1s", namedArgs.get("impsub12s"));
1057         namedArgs.put("impsub2s", namedArgs.remove("impsub12s"));
1058         namedArgs.put("impsub1s2", namedArgs.get("impsub12s2"));
1059         namedArgs.put("impsub2s2", namedArgs.remove("impsub12s2"));
1060         outputDataRow(appendAndIndexWikiCallback, style, "imperfetto", "", "td", "impsub", namedArgs, prefixes, true);
1061
1062         style = " style=\"background:#e4d4c0\"";
1063         outputDataRow(appendAndIndexWikiCallback, style, "imperativo", style, "th", "", new LinkedHashMap<String, String>(it_imperativePronouns), it_empty, false);
1064         outputDataRow(appendAndIndexWikiCallback, style, "", "", "td", "imp", namedArgs, it_empty, false);  // these are attached to the stem.
1065
1066         builder.append("</table>\n");
1067
1068         if (!namedArgs.isEmpty()) {
1069             System.err.println("NON-EMPTY namedArgs: " + namedArgs);
1070             if ("muovesse".equals(namedArgs.get("impsib3s2"))) {
1071                 return false;
1072             }
1073             if ("percuotesse".equals(namedArgs.get("impsib3s2"))) {
1074                 return false;
1075             }
1076             // Too many to deal with:
1077             //assert false;
1078             return false;
1079         }
1080
1081         return true;
1082       }
1083
1084         private void outputDataRow(AppendAndIndexWikiCallback<T> appendAndIndexWikiCallback,
1085                 String col1Style, String headerName,
1086                 String col2Style, final String type2,
1087                 String moodName, Map<String, String> namedArgs, final List<String> prefixes, final boolean isForm) {
1088             final StringBuilder builder = appendAndIndexWikiCallback.builder;
1089             builder.append("<tr>");
1090             builder.append("<th colspan=\"1\"").append(col1Style).append(">").append(headerName).append("</th>");
1091             int i = 0;
1092             for (final String number : it_number_s_p) {
1093                 for (final String person : it_person_1_2_3) {
1094                     // Output <td> or <th>
1095                     builder.append("<").append(type2).append("").append(col2Style).append(">");
1096                     final String keyBase = String.format("%s%s%s", moodName, person, number);
1097                     appendAndIndexWikiCallback.dispatch(prefixes.get(i++), null);
1098                     outputKeyVariations(appendAndIndexWikiCallback, builder, keyBase, namedArgs, isForm);
1099                     // Output <td> or <th>
1100                     builder.append("</").append(type2).append(">");
1101                 }
1102             }
1103             builder.append("</tr>\n");
1104         }
1105     }
1106 }