src/com/hughes/android/dictionary/engine/DictionaryBuilder.java

   1 package com.hughes.android.dictionary.engine;
   2
   3 import java.io.File;
   4 import java.io.IOException;
   5 import java.io.PrintStream;
   6 import java.io.RandomAccessFile;
   7 import java.nio.charset.Charset;
   8 import java.util.ArrayList;
   9 import java.util.List;
  10 import java.util.Map;
  11 import java.util.regex.Pattern;
  12
  13 import javax.xml.parsers.ParserConfigurationException;
  14
  15 import org.xml.sax.SAXException;
  16
  17 import com.hughes.android.dictionary.parser.DictFileParser;
  18 import com.hughes.android.dictionary.parser.EnWiktionaryXmlParser;
  19 import com.hughes.util.Args;
  20 import com.hughes.util.FileUtil;
  21
  22 /*
  23
  24 --maxEntries=100
  25 --dictOut=de-en.dict
  26 --lang1=DE
  27 --lang2=EN
  28 --dictInfo=@dictInfo.txt
  29
  30 --input0=/Users/thadh/personal/quickDic/de-en-chemnitz.txt
  31 --input0Name=chemnitz
  32 --input0Charset=UTF8
  33 --input0Format=chemnitz
  34
  35 --input1=/Users/thadh/personal/quickDic/dewiktionary-20100326-pages-articles.xml
  36 --input1Name=wiktionary
  37 --input1Format=wiktionary
  38
  39 --input2=/Users/thadh/personal/quickDic/de-en-dictcc.txt
  40 --input2Name=dictcc
  41 --input2Charset=Cp1252
  42 --input2Format=dictcc
  43  */
  44
  45 public class DictionaryBuilder {
  46
  47   public final Dictionary dictionary;
  48   public final List<IndexBuilder> indexBuilders = new ArrayList<IndexBuilder>();
  49
  50   public DictionaryBuilder(final String dictInfo, final Language lang0, final Language lang1, final String normalizerRules1, final String normalizerRules2) {
  51     dictionary = new Dictionary(dictInfo);
  52     indexBuilders.add(new IndexBuilder(this, lang0.getSymbol(), lang0.getSymbol() + "->" + lang1.getSymbol(), lang0, normalizerRules1, false));
  53     indexBuilders.add(new IndexBuilder(this, lang1.getSymbol(), lang1.getSymbol() + "->" + lang0.getSymbol(), lang1, normalizerRules2, true));
  54   }
  55
  56   void build() {
  57     for (final IndexBuilder indexBuilder : indexBuilders) {
  58       indexBuilder.build();
  59       dictionary.indices.add(indexBuilder.index);
  60     }
  61   }
  62
  63   public static void main(final String[] args) throws IOException, ParserConfigurationException, SAXException {
  64     final Map<String,String> keyValueArgs = Args.keyValueArgs(args);
  65
  66     final Language lang1 = Language.lookup(keyValueArgs.remove("lang1"));
  67     final Language lang2 = Language.lookup(keyValueArgs.remove("lang2"));
  68     if (lang1 == null || lang2 == null) {
  69       fatalError("--lang1= and --lang2= must both be specified.");
  70     }
  71
  72     String normalizerRules1 = keyValueArgs.remove("normalizerRules1");
  73     String normalizerRules2 = keyValueArgs.remove("normalizerRules2");
  74     if (normalizerRules1 == null) {
  75       normalizerRules1 = lang1.getDefaultNormalizerRules();
  76     }
  77     if (normalizerRules2 == null) {
  78       normalizerRules2 = lang2.getDefaultNormalizerRules();
  79     }
  80
  81     final String dictOutFilename = keyValueArgs.remove("dictOut");
  82     if (dictOutFilename == null) {
  83       fatalError("--dictOut= must be specified.");
  84     }
  85
  86     String dictInfo = keyValueArgs.remove("dictInfo");
  87     if (dictInfo == null) {
  88       fatalError("--dictInfo= must be specified.");
  89     }
  90     if (dictInfo.startsWith("@")) {
  91       dictInfo = FileUtil.readToString(new File(dictInfo.substring(1)));
  92     }
  93
  94     final String printFile = keyValueArgs.remove("print");
  95
  96     System.out.println("lang1=" + lang1);
  97     System.out.println("lang2=" + lang2);
  98     System.out.println("normalizerRules1=" + normalizerRules1);
  99     System.out.println("normalizerRules2=" + normalizerRules2);
 100     System.out.println("dictInfo=" + dictInfo);
 101     System.out.println("dictOut=" + dictOutFilename);
 102
 103     final DictionaryBuilder dictionaryBuilder = new DictionaryBuilder(dictInfo, lang1, lang2, normalizerRules1, normalizerRules2);
 104
 105     for (int i = 0; i < 100; ++i) {
 106       final String prefix = "input" + i;
 107       if (keyValueArgs.containsKey(prefix)) {
 108         final File file = new File(keyValueArgs.remove(prefix));
 109         System.out.println("Processing: " + file);
 110         String charsetName = keyValueArgs.remove(prefix + "Charset");
 111         if (charsetName == null) {
 112           charsetName = "UTF8";
 113         }
 114         final Charset charset = Charset.forName(charsetName);
 115         String inputName = keyValueArgs.remove(prefix + "Name");
 116         if (inputName == null) {
 117           fatalError("Must specify human readable name for: " + prefix + "Name");
 118         }
 119
 120         final EntrySource entrySource = new EntrySource(dictionaryBuilder.dictionary.sources.size(), inputName, dictionaryBuilder.dictionary.pairEntries.size());
 121         System.out.println("");
 122
 123         String inputFormat = keyValueArgs.remove(prefix + "Format");
 124         if ("dictcc".equals(inputFormat)) {
 125           new DictFileParser(charset, false, DictFileParser.TAB, null, dictionaryBuilder, dictionaryBuilder.indexBuilders.toArray(new IndexBuilder[0]), null).parseFile(file);
 126         } else if ("chemnitz".equals(inputFormat)) {
 127           new DictFileParser(charset, false, DictFileParser.DOUBLE_COLON, DictFileParser.PIPE, dictionaryBuilder, dictionaryBuilder.indexBuilders.toArray(new IndexBuilder[0]), null).parseFile(file);
 128         } else if ("enwiktionary".equals(inputFormat)) {
 129           final Pattern langPattern = Pattern.compile(keyValueArgs.remove(prefix + "LangPattern"));
 130           final Pattern langCodePattern = Pattern.compile(keyValueArgs.remove(prefix + "LangCodePattern"));
 131           final int enIndex = Integer.parseInt(keyValueArgs.remove(prefix + "EnIndex")) - 1;
 132           String pageLimit = keyValueArgs.remove(prefix + "PageLimit");
 133           if (pageLimit == null) {
 134             pageLimit = "-1";
 135           }
 136
 137           if (enIndex < 0 || enIndex >= 2) {
 138             fatalError("Must be 1 or 2: " + prefix + "EnIndex");
 139           }
 140           new EnWiktionaryXmlParser(dictionaryBuilder.indexBuilders.get(enIndex), dictionaryBuilder.indexBuilders.get(1-enIndex),
 141               langPattern, langCodePattern, enIndex != 0).parse(file, Integer.parseInt(pageLimit));
 142         } else {
 143           fatalError("Invalid or missing input format: " + inputFormat);
 144         }
 145
 146         dictionaryBuilder.dictionary.sources.add(entrySource);
 147         System.out.println("Done: " + file + "\n\n");
 148       }
 149     }
 150
 151     dictionaryBuilder.build();
 152
 153     if (printFile != null) {
 154       final PrintStream out = new PrintStream(new File(printFile));
 155       dictionaryBuilder.dictionary.print(out);
 156       out.close();
 157     }
 158
 159     System.out.println("Writing dictionary to: " + dictOutFilename);
 160     final RandomAccessFile dictOut = new RandomAccessFile(dictOutFilename, "rw");
 161     dictOut.setLength(0);
 162     dictionaryBuilder.dictionary.write(dictOut);
 163     dictOut.close();
 164
 165     if (!keyValueArgs.isEmpty()) {
 166       System.err.println("WARNING: couldn't parse arguments: " + keyValueArgs);
 167       System.exit(1);
 168     }
 169
 170   }
 171
 172   private static void fatalError(String string) {
 173     System.err.println(string);
 174     System.exit(1);
 175   }
 176
 177 }