src/com/hughes/android/dictionary/engine/DictionaryBuilder.java

   1 package com.hughes.android.dictionary.engine;
   2
   3 import java.io.File;
   4 import java.io.IOException;
   5 import java.io.PrintStream;
   6 import java.io.RandomAccessFile;
   7 import java.nio.charset.Charset;
   8 import java.util.ArrayList;
   9 import java.util.List;
  10 import java.util.Map;
  11
  12 import com.hughes.util.Args;
  13 import com.hughes.util.FileUtil;
  14
  15 /*
  16
  17 --maxEntries=100
  18 --dictOut=de-en.dict
  19 --lang1=DE
  20 --lang2=EN
  21 --dictInfo=@dictInfo.txt
  22
  23 --input0=/Users/thadh/personal/quickDic/de-en-chemnitz.txt
  24 --input0Name=chemnitz
  25 --input0Charset=UTF8
  26 --input0Format=chemnitz
  27
  28 --input1=/Users/thadh/personal/quickDic/dewiktionary-20100326-pages-articles.xml
  29 --input1Name=wiktionary
  30 --input1Format=wiktionary
  31
  32 --input2=/Users/thadh/personal/quickDic/de-en-dictcc.txt
  33 --input2Name=dictcc
  34 --input2Charset=Cp1252
  35 --input2Format=dictcc
  36  */
  37
  38 public class DictionaryBuilder {
  39
  40   final Dictionary dictionary;
  41
  42   final List<IndexBuilder> indexBuilders = new ArrayList<IndexBuilder>();
  43
  44   public DictionaryBuilder(final String dictInfo, final Language lang0, final Language lang1) {
  45     dictionary = new Dictionary(dictInfo);
  46     indexBuilders.add(new IndexBuilder(this, lang0.getSymbol(), lang0.getSymbol() + "->" + lang1.getSymbol(), lang0, false));
  47     indexBuilders.add(new IndexBuilder(this, lang1.getSymbol(), lang1.getSymbol() + "->" + lang0.getSymbol(), lang1, true));
  48   }
  49
  50   void build() {
  51     for (final IndexBuilder indexBuilder : indexBuilders) {
  52       indexBuilder.build();
  53       dictionary.indices.add(indexBuilder.index);
  54     }
  55   }
  56
  57   public static void main(final String[] args) throws IOException {
  58     final Map<String,String> keyValueArgs = Args.keyValueArgs(args);
  59
  60     final Language lang1 = Language.lookup(keyValueArgs.remove("lang1"));
  61     final Language lang2 = Language.lookup(keyValueArgs.remove("lang2"));
  62     if (lang1 == null || lang2 == null) {
  63       fatalError("--lang1= and --lang2= must both be specified.");
  64     }
  65
  66     final String dictOutFilename = keyValueArgs.remove("dictOut");
  67     if (dictOutFilename == null) {
  68       fatalError("--dictOut= must be specified.");
  69     }
  70
  71     String dictInfo = keyValueArgs.remove("dictInfo");
  72     if (dictInfo == null) {
  73       fatalError("--dictInfo= must be specified.");
  74     }
  75     if (dictInfo.startsWith("@")) {
  76       dictInfo = FileUtil.readToString(new File(dictInfo.substring(1)));
  77     }
  78
  79     final String printFile = keyValueArgs.remove("print");
  80
  81     System.out.println("lang1=" + lang1);
  82     System.out.println("lang2=" + lang2);
  83     System.out.println("dictInfo=" + dictInfo);
  84     System.out.println("dictOut=" + dictOutFilename);
  85
  86     final DictionaryBuilder dictionaryBuilder = new DictionaryBuilder(dictInfo, lang1, lang2);
  87
  88     for (int i = 0; i < 100; ++i) {
  89       final String prefix = "input" + i;
  90       if (keyValueArgs.containsKey(prefix)) {
  91         final File file = new File(keyValueArgs.remove(prefix));
  92         System.out.println("Processing: " + file);
  93         String charsetName = keyValueArgs.remove(prefix + "Charset");
  94         if (charsetName == null) {
  95           charsetName = "UTF8";
  96         }
  97         final Charset charset = Charset.forName(charsetName);
  98         String inputName = keyValueArgs.remove(prefix + "Name");
  99         if (inputName == null) {
 100           fatalError("Must specify human readable name for: " + prefix + "Name");
 101         }
 102
 103         String inputFormat = keyValueArgs.remove(prefix + "Format");
 104         if ("dictcc".equals(inputFormat)) {
 105           new DictFileParser(charset, false, DictFileParser.TAB, null, dictionaryBuilder, dictionaryBuilder.indexBuilders.toArray(new IndexBuilder[0]), null).parseFile(file);
 106         } else if ("chemnitz".equals(inputFormat)) {
 107           new DictFileParser(charset, false, DictFileParser.DOUBLE_COLON, DictFileParser.PIPE, dictionaryBuilder, dictionaryBuilder.indexBuilders.toArray(new IndexBuilder[0]), null).parseFile(file);
 108         } else if ("wiktionary".equals(inputFormat)) {
 109           throw new RuntimeException();
 110 //          new WiktionaryXmlParser(dict).parse(file);
 111         } else {
 112           fatalError("Invalid or missing input format: " + inputFormat);
 113         }
 114
 115         final EntrySource entrySource = new EntrySource(dictionaryBuilder.dictionary.sources.size(), inputName);
 116         dictionaryBuilder.dictionary.sources.add(entrySource);
 117         System.out.println("Done: " + file + "\n\n");
 118       }
 119     }
 120
 121     dictionaryBuilder.build();
 122
 123     if (printFile != null) {
 124       final PrintStream out = new PrintStream(new File(printFile));
 125       dictionaryBuilder.dictionary.print(out);
 126       out.close();
 127     }
 128
 129     System.out.println("Writing dictionary to: " + dictOutFilename);
 130     final RandomAccessFile dictOut = new RandomAccessFile(dictOutFilename, "rw");
 131     dictOut.setLength(0);
 132     dictionaryBuilder.dictionary.write(dictOut);
 133     dictOut.close();
 134
 135     if (!keyValueArgs.isEmpty()) {
 136       System.err.println("WARNING: couldn't parse arguments: " + keyValueArgs);
 137       System.exit(1);
 138     }
 139
 140   }
 141
 142   private static void fatalError(String string) {
 143     System.err.println(string);
 144     System.exit(1);
 145   }
 146
 147 }