src/com/hughes/android/dictionary/engine/DictionaryBuilder.java

   1 package com.hughes.android.dictionary.engine;
   2
   3 import java.io.File;
   4 import java.io.IOException;
   5 import java.io.PrintStream;
   6 import java.io.RandomAccessFile;
   7 import java.nio.charset.Charset;
   8 import java.util.ArrayList;
   9 import java.util.List;
  10 import java.util.Map;
  11
  12 import com.hughes.android.dictionary.Language;
  13 import com.hughes.util.Args;
  14 import com.hughes.util.FileUtil;
  15
  16 /*
  17
  18 --maxEntries=100
  19 --dictOut=de-en.dict
  20 --lang1=DE
  21 --lang2=EN
  22 --dictInfo=@dictInfo.txt
  23
  24 --input0=/Users/thadh/personal/quickDic/de-en-chemnitz.txt
  25 --input0Name=chemnitz
  26 --input0Charset=UTF8
  27 --input0Format=chemnitz
  28
  29 --input1=/Users/thadh/personal/quickDic/dewiktionary-20100326-pages-articles.xml
  30 --input1Name=wiktionary
  31 --input1Format=wiktionary
  32
  33 --input2=/Users/thadh/personal/quickDic/de-en-dictcc.txt
  34 --input2Name=dictcc
  35 --input2Charset=Cp1252
  36 --input2Format=dictcc
  37  */
  38
  39 public class DictionaryBuilder {
  40
  41   final Dictionary dictionary;
  42
  43   final List<EntryData> entryDatas = new ArrayList<EntryData>();
  44
  45   final List<IndexBuilder> indexBuilders = new ArrayList<IndexBuilder>();
  46
  47   public DictionaryBuilder(final String dictInfo, final Language lang0, final Language lang1) {
  48     dictionary = new Dictionary(dictInfo);
  49     indexBuilders.add(new IndexBuilder(this, lang0.getSymbol(), lang0.getSymbol() + "->" + lang1.getSymbol(), lang0));
  50     indexBuilders.add(new IndexBuilder(this, lang1.getSymbol(), lang1.getSymbol() + "->" + lang0.getSymbol(), lang1));
  51   }
  52
  53   void build() {
  54     for (final IndexBuilder indexBuilder : indexBuilders) {
  55       indexBuilder.build();
  56       dictionary.indices.add(indexBuilder.index);
  57     }
  58   }
  59
  60   public static void main(final String[] args) throws IOException {
  61     final Map<String,String> keyValueArgs = Args.keyValueArgs(args);
  62
  63     final Language lang1 = Language.lookup(keyValueArgs.remove("lang1"));
  64     final Language lang2 = Language.lookup(keyValueArgs.remove("lang2"));
  65     if (lang1 == null || lang2 == null) {
  66       fatalError("--lang1= and --lang2= must both be specified.");
  67     }
  68
  69     final String dictOutFilename = keyValueArgs.remove("dictOut");
  70     if (dictOutFilename == null) {
  71       fatalError("--dictOut= must be specified.");
  72     }
  73
  74     String dictInfo = keyValueArgs.remove("dictInfo");
  75     if (dictInfo == null) {
  76       fatalError("--dictInfo= must be specified.");
  77     }
  78     if (dictInfo.startsWith("@")) {
  79       dictInfo = FileUtil.readToString(new File(dictInfo.substring(1)));
  80     }
  81
  82     final String printFile = keyValueArgs.remove("print");
  83
  84     System.out.println("lang1=" + lang1);
  85     System.out.println("lang2=" + lang2);
  86     System.out.println("dictInfo=" + dictInfo);
  87     System.out.println("dictOut=" + dictOutFilename);
  88
  89     final DictionaryBuilder dictionaryBuilder = new DictionaryBuilder(dictInfo, lang1, lang2);
  90
  91     for (int i = 0; i < 100; ++i) {
  92       final String prefix = "input" + i;
  93       if (keyValueArgs.containsKey(prefix)) {
  94         final File file = new File(keyValueArgs.remove(prefix));
  95         System.out.println("Processing: " + file);
  96         String charsetName = keyValueArgs.remove(prefix + "Charset");
  97         if (charsetName == null) {
  98           charsetName = "UTF8";
  99         }
 100         final Charset charset = Charset.forName(charsetName);
 101         String inputName = keyValueArgs.remove(prefix + "Name");
 102         if (inputName == null) {
 103           fatalError("Must specify human readable name for: " + prefix + "Name");
 104         }
 105
 106         String inputFormat = keyValueArgs.remove(prefix + "Format");
 107         if ("dictcc".equals(inputFormat)) {
 108           new DictFileParser(charset, false, DictFileParser.TAB, null, dictionaryBuilder, dictionaryBuilder.indexBuilders.toArray(new IndexBuilder[0]), null).parseFile(file);
 109         } else if ("chemnitz".equals(inputFormat)) {
 110           new DictFileParser(charset, false, DictFileParser.DOUBLE_COLON, DictFileParser.PIPE, dictionaryBuilder, dictionaryBuilder.indexBuilders.toArray(new IndexBuilder[0]), null).parseFile(file);
 111         } else if ("wiktionary".equals(inputFormat)) {
 112           throw new RuntimeException();
 113 //          new WiktionaryXmlParser(dict).parse(file);
 114         } else {
 115           fatalError("Invalid or missing input format: " + inputFormat);
 116         }
 117
 118         final EntrySource entrySource = new EntrySource(dictionaryBuilder.dictionary.sources.size(), inputName);
 119         dictionaryBuilder.dictionary.sources.add(entrySource);
 120         System.out.println("Done: " + file + "\n\n");
 121       }
 122     }
 123
 124     dictionaryBuilder.build();
 125
 126     if (printFile != null) {
 127       final PrintStream out = new PrintStream(new File(printFile));
 128       dictionaryBuilder.dictionary.print(out);
 129       out.close();
 130     }
 131
 132     System.out.println("Writing dictionary to: " + dictOutFilename);
 133     final RandomAccessFile dictOut = new RandomAccessFile(dictOutFilename, "rw");
 134     dictOut.setLength(0);
 135     dictionaryBuilder.dictionary.write(dictOut);
 136     dictOut.close();
 137
 138     if (!keyValueArgs.isEmpty()) {
 139       System.err.println("WARNING: couldn't parse arguments: " + keyValueArgs);
 140       System.exit(1);
 141     }
 142
 143   }
 144
 145   private static void fatalError(String string) {
 146     System.err.println(string);
 147     System.exit(1);
 148   }
 149
 150 }