src/com/hughes/android/dictionary/engine/DictionaryBuilder.java

   1 package com.hughes.android.dictionary.engine;
   2
   3 import java.io.File;
   4 import java.io.IOException;
   5 import java.io.PrintStream;
   6 import java.io.RandomAccessFile;
   7 import java.nio.charset.Charset;
   8 import java.util.ArrayList;
   9 import java.util.List;
  10 import java.util.Map;
  11
  12 import com.hughes.util.Args;
  13 import com.hughes.util.FileUtil;
  14
  15 /*
  16
  17 --maxEntries=100
  18 --dictOut=de-en.dict
  19 --lang1=DE
  20 --lang2=EN
  21 --dictInfo=@dictInfo.txt
  22
  23 --input0=/Users/thadh/personal/quickDic/de-en-chemnitz.txt
  24 --input0Name=chemnitz
  25 --input0Charset=UTF8
  26 --input0Format=chemnitz
  27
  28 --input1=/Users/thadh/personal/quickDic/dewiktionary-20100326-pages-articles.xml
  29 --input1Name=wiktionary
  30 --input1Format=wiktionary
  31
  32 --input2=/Users/thadh/personal/quickDic/de-en-dictcc.txt
  33 --input2Name=dictcc
  34 --input2Charset=Cp1252
  35 --input2Format=dictcc
  36  */
  37
  38 public class DictionaryBuilder {
  39
  40   final Dictionary dictionary;
  41
  42   final List<EntryData> entryDatas = new ArrayList<EntryData>();
  43
  44   final List<IndexBuilder> indexBuilders = new ArrayList<IndexBuilder>();
  45
  46   public DictionaryBuilder(final String dictInfo, final Language lang0, final Language lang1) {
  47     dictionary = new Dictionary(dictInfo);
  48     indexBuilders.add(new IndexBuilder(this, lang0.getSymbol(), lang0.getSymbol() + "->" + lang1.getSymbol(), lang0));
  49     indexBuilders.add(new IndexBuilder(this, lang1.getSymbol(), lang1.getSymbol() + "->" + lang0.getSymbol(), lang1));
  50   }
  51
  52   void build() {
  53     for (final IndexBuilder indexBuilder : indexBuilders) {
  54       indexBuilder.build();
  55       dictionary.indices.add(indexBuilder.index);
  56     }
  57   }
  58
  59   public static void main(final String[] args) throws IOException {
  60     final Map<String,String> keyValueArgs = Args.keyValueArgs(args);
  61
  62     final Language lang1 = Language.lookup(keyValueArgs.remove("lang1"));
  63     final Language lang2 = Language.lookup(keyValueArgs.remove("lang2"));
  64     if (lang1 == null || lang2 == null) {
  65       fatalError("--lang1= and --lang2= must both be specified.");
  66     }
  67
  68     final String dictOutFilename = keyValueArgs.remove("dictOut");
  69     if (dictOutFilename == null) {
  70       fatalError("--dictOut= must be specified.");
  71     }
  72
  73     String dictInfo = keyValueArgs.remove("dictInfo");
  74     if (dictInfo == null) {
  75       fatalError("--dictInfo= must be specified.");
  76     }
  77     if (dictInfo.startsWith("@")) {
  78       dictInfo = FileUtil.readToString(new File(dictInfo.substring(1)));
  79     }
  80
  81     final String printFile = keyValueArgs.remove("print");
  82
  83     System.out.println("lang1=" + lang1);
  84     System.out.println("lang2=" + lang2);
  85     System.out.println("dictInfo=" + dictInfo);
  86     System.out.println("dictOut=" + dictOutFilename);
  87
  88     final DictionaryBuilder dictionaryBuilder = new DictionaryBuilder(dictInfo, lang1, lang2);
  89
  90     for (int i = 0; i < 100; ++i) {
  91       final String prefix = "input" + i;
  92       if (keyValueArgs.containsKey(prefix)) {
  93         final File file = new File(keyValueArgs.remove(prefix));
  94         System.out.println("Processing: " + file);
  95         String charsetName = keyValueArgs.remove(prefix + "Charset");
  96         if (charsetName == null) {
  97           charsetName = "UTF8";
  98         }
  99         final Charset charset = Charset.forName(charsetName);
 100         String inputName = keyValueArgs.remove(prefix + "Name");
 101         if (inputName == null) {
 102           fatalError("Must specify human readable name for: " + prefix + "Name");
 103         }
 104
 105         String inputFormat = keyValueArgs.remove(prefix + "Format");
 106         if ("dictcc".equals(inputFormat)) {
 107           new DictFileParser(charset, false, DictFileParser.TAB, null, dictionaryBuilder, dictionaryBuilder.indexBuilders.toArray(new IndexBuilder[0]), null).parseFile(file);
 108         } else if ("chemnitz".equals(inputFormat)) {
 109           new DictFileParser(charset, false, DictFileParser.DOUBLE_COLON, DictFileParser.PIPE, dictionaryBuilder, dictionaryBuilder.indexBuilders.toArray(new IndexBuilder[0]), null).parseFile(file);
 110         } else if ("wiktionary".equals(inputFormat)) {
 111           throw new RuntimeException();
 112 //          new WiktionaryXmlParser(dict).parse(file);
 113         } else {
 114           fatalError("Invalid or missing input format: " + inputFormat);
 115         }
 116
 117         final EntrySource entrySource = new EntrySource(dictionaryBuilder.dictionary.sources.size(), inputName);
 118         dictionaryBuilder.dictionary.sources.add(entrySource);
 119         System.out.println("Done: " + file + "\n\n");
 120       }
 121     }
 122
 123     dictionaryBuilder.build();
 124
 125     if (printFile != null) {
 126       final PrintStream out = new PrintStream(new File(printFile));
 127       dictionaryBuilder.dictionary.print(out);
 128       out.close();
 129     }
 130
 131     System.out.println("Writing dictionary to: " + dictOutFilename);
 132     final RandomAccessFile dictOut = new RandomAccessFile(dictOutFilename, "rw");
 133     dictOut.setLength(0);
 134     dictionaryBuilder.dictionary.write(dictOut);
 135     dictOut.close();
 136
 137     if (!keyValueArgs.isEmpty()) {
 138       System.err.println("WARNING: couldn't parse arguments: " + keyValueArgs);
 139       System.exit(1);
 140     }
 141
 142   }
 143
 144   private static void fatalError(String string) {
 145     System.err.println(string);
 146     System.exit(1);
 147   }
 148
 149 }