src/com/hughes/android/dictionary/engine/DictionaryBuilderMain.java

   1 // Copyright 2011 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.engine;
  16
  17 import com.hughes.android.dictionary.parser.wiktionary.EnTranslationToTranslationParser;
  18 import com.hughes.android.dictionary.parser.wiktionary.WholeSectionToHtmlParser;
  19 import com.hughes.android.dictionary.parser.wiktionary.WiktionaryLangs;
  20
  21 import junit.framework.TestCase;
  22
  23 import java.io.File;
  24 import java.util.ArrayList;
  25 import java.util.Arrays;
  26 import java.util.LinkedHashMap;
  27 import java.util.LinkedHashSet;
  28 import java.util.List;
  29 import java.util.Map;
  30 import java.util.Set;
  31
  32 public class DictionaryBuilderMain extends TestCase {
  33
  34   static final String INPUTS = "data/inputs/";
  35   static final String STOPLISTS = "data/inputs/stoplists/";
  36   static final String OUTPUTS = "data/outputs/";
  37
  38
  39   static final Map<String,String>  isoToDedication = new LinkedHashMap<String, String>();
  40   static {
  41   isoToDedication.put("AF", "Afrikaans dictionary dedicated to Heiko and Mariëtte Horn.");
  42   isoToDedication.put("HR", "Croatian dictionary dedicated to Ines Viskic and Miro Kresonja.");
  43   isoToDedication.put("NL", "Dutch dictionary dedicated to Mike LeBeau.");
  44   // German handled in file.
  45   isoToDedication.put("EL", "Greek dictionary dedicated to Noah Egge.");
  46   isoToDedication.put("IT", "Italian dictionary dedicated to Carolina Tropini, my favorite stardust in the whole universe!  Ti amo!");
  47   isoToDedication.put("KO", "Korean dictionary dedicated to Ande Elwood--fall fashion und Fernsehturms!");
  48   isoToDedication.put("PT", "Portuguese dictionary dedicated to Carlos Melo, one Tough Mudder.");
  49   isoToDedication.put("RO", "Romanian dictionary dedicated to Radu Teodorescu.");
  50   isoToDedication.put("RU", "Russian dictionary dedicated to Maxim Aronin--best friend always!.");
  51   isoToDedication.put("SR", "Serbian dictionary dedicated to Filip Crnogorac--thanks for the honey.");
  52   isoToDedication.put("ES", "Spanish dictionary made especially for Carolina Tropini! <3 XoXoXXXXX!");
  53   isoToDedication.put("SV", "Swedish dictionary dedicated to Kajsa Palmblad--björn kramar!");
  54   }
  55   private static String getDedication(String iso) {
  56     return isoToDedication.containsKey(iso) ? "\n\n" + isoToDedication.get(iso) : "";
  57   }
  58
  59   static final Map<String,String>  isoToStoplist = new LinkedHashMap<String, String>();
  60   static {
  61   isoToStoplist.put("DE", "de.txt");
  62   isoToStoplist.put("EN", "en.txt");
  63   isoToStoplist.put("ES", "es.txt");
  64   isoToStoplist.put("IT", "it.txt");
  65   isoToStoplist.put("FR", "fr.txt");
  66   }
  67   private static String getStoplist(String iso) {
  68     return isoToStoplist.containsKey(iso) ? isoToStoplist.get(iso) : "empty.txt";
  69   }
  70
  71   static String getOtherLang(final String[] pair, final String first) {
  72       assert Arrays.asList(pair).contains(first);
  73       assert pair.length == 2;
  74       return pair[0].equals(first) ? pair[1] : pair[0];
  75   }
  76
  77   static List<String> getMainArgs(final String[] pair) {
  78       final List<String> result = new ArrayList<String>();
  79
  80     int i = 1;
  81
  82     if (pair.length == 1) {
  83         final String lang1 = pair[0];
  84         final String dictFile = String.format("%s/%s.quickdic", OUTPUTS, lang1);
  85         result.add(String.format("--dictOut=%s", dictFile));
  86         result.add(String.format("--lang1=%s", lang1));
  87         result.add(String.format("--lang1Stoplist=%s", STOPLISTS + getStoplist(lang1)));
  88         result.add(String.format("--dictInfo=Wikitionary-based %s dictionary.", lang1));
  89
  90
  91         final String wikiSplitFile = String.format("%s/wikiSplit/%s/%s.data", INPUTS, lang1.toLowerCase(), lang1);
  92         if (new File(wikiSplitFile).canRead()) {
  93             result.add(String.format("--input%d=%s", i, wikiSplitFile));
  94             result.add(String.format("--input%dName=%s.wiktionary.org", i, lang1.toLowerCase()));
  95             result.add(String.format("--input%dFormat=%s", i, WholeSectionToHtmlParser.NAME));
  96             result.add(String.format("--input%dTitleIndex=%d", i, 1));
  97             result.add(String.format("--input%dWiktionaryLang=%s", i, lang1));
  98             result.add(String.format("--input%dSkipLang=%s", i, lang1));
  99             result.add(String.format("--input%dWebUrlTemplate=http://%s.wiktionary.org/wiki/%%s", i, lang1.toLowerCase()));
 100             result.add(String.format("--input%dPageLimit=100", i));
 101             ++i;
 102         } else {
 103             System.err.println("Can't read file: " + wikiSplitFile);
 104         }
 105
 106         if (lang1.equals("EN")) {
 107             result.add(String.format("--input%d=%s/wikiSplit/en/%s.data", i, INPUTS, lang1));
 108             result.add(String.format("--input%dName=ENWiktionary.%s", i, lang1)) ;
 109             result.add(String.format("--input%dFormat=enwiktionary", i));
 110             result.add(String.format("--input%dWiktionaryType=EnEnglish", i));
 111             result.add(String.format("--input%dLangPattern=%s", i, "English"));
 112             result.add(String.format("--input%dLangCodePattern=%s", i, lang1.toLowerCase()));
 113             result.add(String.format("--input%dEnIndex=%d", i, 1));
 114             result.add(String.format("--input%dPageLimit=100", i));
 115             ++i;
 116         }
 117
 118         return result;
 119     }  // Single-lang dictionaries.
 120
 121     final String lang1 = pair[0];
 122     final String lang2 = pair[1];
 123
 124     final String dictFile = String.format("%s/%s-%s.quickdic",
 125         OUTPUTS, lang1, lang2);
 126
 127     result.add(String.format("--dictOut=%s", dictFile));
 128     result.add(String.format("--lang1Stoplist=%s", STOPLISTS + getStoplist(lang1)));
 129     result.add(String.format("--lang2Stoplist=%s", STOPLISTS + getStoplist(lang2)));
 130
 131     // For a few langs, put the defs of the other language in DE/IT/FR using WholeSection.
 132     for (final String wikitionaryLang : Arrays.asList("EN", "DE", "IT", "FR")) {
 133         if (!Arrays.asList(pair).contains(wikitionaryLang)) {
 134             continue;
 135         }
 136         final String foreignIso = getOtherLang(pair, wikitionaryLang);
 137         final String wikiSplitFile = String.format("%s/wikiSplit/%s/%s.data", INPUTS, wikitionaryLang.toLowerCase(), foreignIso);
 138         if (!new File(wikiSplitFile).canRead()) {
 139             System.err.println("Can't read file: " + wikiSplitFile);
 140             continue;
 141         }
 142         result.add(String.format("--input%d=%s", i, wikiSplitFile));
 143         result.add(String.format("--input%dName=%s.wiktionary.org", i, wikitionaryLang.toLowerCase()));
 144         result.add(String.format("--input%dFormat=%s", i, WholeSectionToHtmlParser.NAME));
 145         result.add(String.format("--input%dTitleIndex=%d", i, Arrays.asList(pair).indexOf(foreignIso) + 1));
 146         result.add(String.format("--input%dWiktionaryLang=%s", i, wikitionaryLang));
 147         result.add(String.format("--input%dSkipLang=%s", i, foreignIso));
 148         result.add(String.format("--input%dWebUrlTemplate=http://%s.wiktionary.org/wiki/%%s", i, wikitionaryLang.toLowerCase()));
 149         ++i;
 150     }
 151
 152     // Deal with the pairs where one is English.
 153     if (Arrays.asList(pair).contains("EN")) {
 154       final String foreignIso = getOtherLang(pair, "EN");
 155
 156       String foreignRegex = WiktionaryLangs.isoCodeToEnWikiName.get(foreignIso);
 157       if (foreignIso.equals("ZH")) {
 158         // HACK: The missing "e" prevents a full match, causing "Cantonese" to be appended to the entries.
 159         foreignRegex = "Chinese|Mandarin|Cantones";
 160       }
 161
 162       result.add(String.format("--lang1=%s", lang1));
 163       result.add(String.format("--lang2=%s",  lang2));
 164       result.add(String.format("--dictInfo=(EN)Wikitionary-based EN-%s dictionary.%s", foreignIso, getDedication(foreignIso)));
 165
 166       result.add(String.format("--input%d=%s/wikiSplit/en/%s.data", i, INPUTS, foreignIso));
 167       result.add(String.format("--input%dName=ENWiktionary.%s", i, foreignIso)) ;
 168       result.add(String.format("--input%dFormat=enwiktionary", i));
 169       result.add(String.format("--input%dWiktionaryType=EnForeign", i));
 170       result.add(String.format("--input%dLangPattern=%s", i, foreignRegex));
 171       result.add(String.format("--input%dLangCodePattern=%s", i, foreignIso.toLowerCase()));
 172       result.add(String.format("--input%dEnIndex=%d", i, Arrays.asList(pair).indexOf("EN") + 1));
 173       ++i;
 174
 175       result.add(String.format("--input%d=%swikiSplit/en/EN.data", i, INPUTS));
 176       result.add(String.format("--input%dName=enwiktionary.english", i));
 177       result.add(String.format("--input%dFormat=enwiktionary", i));
 178       result.add(String.format("--input%dWiktionaryType=EnToTranslation", i));
 179       result.add(String.format("--input%dLangPattern=%s", i, foreignRegex));
 180       result.add(String.format("--input%dLangCodePattern=%s", i, foreignIso.toLowerCase()));
 181       result.add(String.format("--input%dEnIndex=%d", i, Arrays.asList(pair).indexOf("EN") + 1));
 182       ++i;
 183
 184       if (foreignIso.equals("DE")) {
 185         result.add(String.format("--input%d=%sde-en_chemnitz.txt", i, INPUTS));
 186         result.add(String.format("--input%dName=chemnitz", i));
 187         result.add(String.format("--input%dCharset=UTF8", i));
 188         result.add(String.format("--input%dFormat=chemnitz", i));
 189         ++i;
 190       }
 191
 192     } else {
 193       // Pairs without English.
 194       result.add(String.format("--lang1=%s", lang1));
 195       result.add(String.format("--lang2=%s", lang2));
 196       result.add(String.format("--dictInfo=Wikitionary-based %s-%s dictionary.", lang1, lang2));
 197
 198       result.add(String.format("--input%d=%swikiSplit/en/EN.data", i, INPUTS));
 199       result.add(String.format("--input%dName=BETA!enwiktionary.%s-%s", i, lang1, lang2));
 200       result.add(String.format("--input%dFormat=%s", i, EnTranslationToTranslationParser.NAME));
 201       result.add(String.format("--input%dLangPattern1=%s", i, lang1));
 202       result.add(String.format("--input%dLangPattern2=%s", i, lang2));
 203       ++i;
 204     }
 205
 206     return result;
 207   }
 208
 209   public static void main(final String[] args) throws Exception {
 210
 211     final List<String[]> allPairs = new ArrayList<String[]>();
 212
 213     // Build the non EN ones.
 214     final String[][] nonEnPairs = new String[][] {
 215         {"EN"},
 216         {"DE"},
 217         {"IT"},
 218         {"FR"},
 219
 220         // The 3 I use most:
 221         {"IT", "EN" },
 222         {"DE", "EN" },
 223         {"DE", "IT" },
 224
 225
 226         {"AR", "DE" },
 227         {"AR", "ES" },
 228         {"AR", "FR" },
 229         {"AR", "HE" },
 230         {"AR", "IT" },
 231         {"AR", "JA" },
 232         {"AR", "RU" },
 233         {"AR", "TR" },  // Turkish
 234         {"AR", "ZH" },
 235
 236         {"DE", "AR" },
 237         {"DE", "FR" },
 238         {"DE", "CA" },  // Catalan
 239         {"DE", "CS" },  // Czech
 240         {"DE", "EO" },  // Esperanto
 241         {"DE", "ES" },
 242         {"DE", "FR" },
 243         {"DE", "HE" },
 244         {"DE", "HU" },  // Hungarian
 245         {"DE", "IT" },
 246         {"DE", "JA" },
 247         {"DE", "LA" },  // Latin
 248         {"DE", "NL" },  // Dutch
 249         {"DE", "PL" },  // Polish
 250         {"DE", "RU" },
 251         {"DE", "SV" },  // Swedish
 252         {"DE", "TR" },  // Turkish
 253         {"DE", "ZH" },
 254         {"DE", "TA" },  // Tamil
 255
 256         {"ES", "RU" },  // Spanish-Russian
 257
 258         {"FR", "BG" },  // Bulgarian
 259         {"FR", "CS" },  // Czech
 260         {"FR", "DE" },
 261         {"FR", "ES" },
 262         {"FR", "IT" },
 263         {"FR", "JA" },
 264         {"FR", "LA" },
 265         {"FR", "NL" },  // Dutch
 266         {"FR", "RU" },
 267         {"FR", "TR" },  // Turkish
 268         {"FR", "ZH" },
 269
 270         {"IT", "DE" },
 271         {"IT", "EL" },  // Greek
 272         {"IT", "ES" },
 273         {"IT", "FR" },
 274         {"IT", "HU" },
 275         {"IT", "JA" },
 276         {"IT", "LA" },  // Latin
 277         {"IT", "LV" },  // Latvian
 278         {"IT", "NL" },
 279         {"IT", "PL" },
 280         {"IT", "RU" },
 281         {"IT", "SV" },
 282         {"IT", "TR" },  // Turkish
 283         {"IT", "ZH" },
 284
 285         {"JA", "ZH" },
 286         {"JA", "AR" },
 287         {"JA", "KO" },
 288
 289         {"ZH", "AR" },
 290         {"ZH", "DE" },
 291         {"ZH", "ES" },
 292         {"ZH", "FR" },
 293         {"ZH", "IT" },
 294         {"ZH", "KO" },
 295
 296
 297         {"NO", "SV" },
 298         {"NO", "FI" },
 299         {"FI", "SV" },
 300
 301         {"PL", "FR" },  // Polish
 302         {"PL", "RU" },  // Polish
 303         {"PL", "HU" },  // Polish
 304         {"PL", "ES" },  // Polish
 305
 306         {"TR", "EL" },  // Turkish, Greek
 307
 308         {"FA", "HY" },  // Persian, Armenian, by request.
 309         {"FA", "SV" },  // Persian, Swedish, by request.
 310
 311     };
 312     allPairs.addAll(Arrays.asList(nonEnPairs));
 313
 314     // Add all the EN-XX pairs.
 315     for (final String isoCode : WiktionaryLangs.isoCodeToEnWikiName.keySet()) {
 316       if (isoCode.equals("EN") || isoCode.equals("DE")) {
 317         continue;
 318       }
 319       allPairs.add(new String[] {"EN", isoCode});
 320     }
 321     allPairs.add(new String[] {"EN", "DE"});
 322
 323
 324     final Set<List<String>> done = new LinkedHashSet<List<String>>();
 325     for (final String[] pair : allPairs) {
 326       Arrays.sort(pair);
 327       final List<String> pairList = Arrays.asList(pair);
 328       if (done.contains(pairList)) {
 329         continue;
 330       }
 331       done.add(pairList);
 332
 333       if (!pairList.contains("IT") || !pairList.contains("EN")) {
 334         //continue;
 335       }
 336
 337       DictionaryBuilder.main(getMainArgs(pair).toArray(new String[0]));
 338     }
 339
 340   }
 341 }