src/com/hughes/android/dictionary/parser/wiktionary/EnTranslationToTranslationParser.java

   1 // Copyright 2012 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.parser.wiktionary;
  16
  17 import java.util.Arrays;
  18 import java.util.LinkedHashSet;
  19 import java.util.List;
  20 import java.util.Map;
  21 import java.util.Set;
  22 import java.util.regex.Pattern;
  23
  24 import com.hughes.android.dictionary.engine.IndexBuilder;
  25 import com.hughes.android.dictionary.engine.IndexedEntry;
  26 import com.hughes.android.dictionary.engine.PairEntry;
  27 import com.hughes.android.dictionary.engine.PairEntry.Pair;
  28 import com.hughes.android.dictionary.parser.WikiTokenizer;
  29 import com.hughes.android.dictionary.parser.wiktionary.EnFunctionCallbacks.TranslationCallback;
  30 import com.hughes.util.ListUtil;
  31
  32 public final class EnTranslationToTranslationParser extends AbstractWiktionaryParser {
  33
  34     final List<IndexBuilder> indexBuilders;
  35     final Pattern[] langCodePatterns;
  36
  37     PairEntry pairEntry = null;
  38     IndexedEntry indexedEntry = null;
  39     StringBuilder[] builders = null;
  40
  41   public static final String NAME = "EnTranslationToTranslation";
  42
  43   final Set<String> Ts = new LinkedHashSet<String>(Arrays.asList("t", "t+",
  44       "t-", "tø", "apdx-t", "ttbc"));
  45
  46     public EnTranslationToTranslationParser(final List<IndexBuilder> indexBuilders,
  47         final Pattern[] langCodePatterns) {
  48       this.indexBuilders = indexBuilders;
  49       this.langCodePatterns = langCodePatterns;
  50     }
  51
  52     @Override
  53     void removeUselessArgs(Map<String, String> namedArgs) {
  54       namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
  55     }
  56
  57     @Override
  58     void parseSection(String heading, String text) {
  59       if (EnParser.isIgnorableTitle(title)) {
  60         return;
  61       }
  62       final WikiTokenizer.Callback callback = new WikiTokenizer.DoNothingCallback() {
  63         @Override
  64         public void onFunction(WikiTokenizer wikiTokenizer, String name,
  65             List<String> functionPositionArgs,
  66             Map<String, String> functionNamedArgs) {
  67           //System.out.println(wikiTokenizer.token());
  68           if (Ts.contains(name)) {
  69             onT(wikiTokenizer);
  70           } else if (name.equals("trans-top") || name.equals("checktrans-top") || name.equals("checktrans")) {
  71             startEntry(title, wikiTokenizer.token());
  72           } else if (name.equals("trans-bottom")) {
  73             finishEntry(title);
  74           }
  75         }
  76
  77         @Override
  78         public void onListItem(WikiTokenizer wikiTokenizer) {
  79           WikiTokenizer.dispatch(wikiTokenizer.listItemWikiText(), false, this);
  80         }
  81       };
  82       WikiTokenizer.dispatch(text, true, callback);
  83
  84       if (builders != null) {
  85         LOG.warning("unended translations: " + title);
  86         finishEntry(title);
  87       }
  88     }
  89
  90   final TranslationCallback<EnTranslationToTranslationParser> translationCallback = new TranslationCallback<EnTranslationToTranslationParser>();
  91
  92   final AppendAndIndexWikiCallback<EnTranslationToTranslationParser> appendAndIndexWikiCallback = new AppendAndIndexWikiCallback<EnTranslationToTranslationParser>(
  93       this);
  94   {
  95     for (final String t : Ts) {
  96       appendAndIndexWikiCallback.functionCallbacks.put(t, translationCallback);
  97     }
  98   }
  99
 100   private void onT(WikiTokenizer wikiTokenizer) {
 101     if (builders == null) {
 102       LOG.warning("{{t...}} section outside of {{trans-top}}: " + title);
 103       startEntry(title, "QUICKDIC_OUTSIDE");
 104     }
 105
 106     final List<String> args = wikiTokenizer.functionPositionArgs();
 107     final String langCode = ListUtil.get(args, 0);
 108     if (langCode == null) {
 109       LOG.warning("Missing langCode: " + wikiTokenizer.token());
 110       return;
 111     }
 112     for (int p = 0; p < 2; ++p) {
 113       if (langCodePatterns[p].matcher(langCode).matches()) {
 114         appendAndIndexWikiCallback.builder = builders[p];
 115         if (appendAndIndexWikiCallback.builder.length() > 0) {
 116           appendAndIndexWikiCallback.builder.append(", ");
 117         }
 118         appendAndIndexWikiCallback.indexBuilder = indexBuilders.get(p);
 119         appendAndIndexWikiCallback.onFunction(wikiTokenizer,
 120             wikiTokenizer.functionName(), wikiTokenizer.functionPositionArgs(),
 121             wikiTokenizer.functionNamedArgs());
 122       }
 123     }
 124   }
 125
 126     void startEntry(final String title, final String func) {
 127       if (pairEntry != null) {
 128         LOG.warning("startEntry() twice: " + title + ", " + func);
 129         finishEntry(title);
 130       }
 131
 132       pairEntry = new PairEntry(entrySource);
 133       indexedEntry = new IndexedEntry(pairEntry);
 134       builders = new StringBuilder[] { new StringBuilder(), new StringBuilder() };
 135       appendAndIndexWikiCallback.indexedEntry = indexedEntry;
 136     }
 137
 138     void finishEntry(final String title) {
 139       if (pairEntry == null) {
 140         LOG.warning("finalizeEntry() twice: " + title);
 141         return;
 142       }
 143       final String lang1 = builders[0].toString();
 144       final String lang2 = builders[1].toString();
 145       if (lang1.length() > 0 && lang2.length() > 0) {
 146         pairEntry.pairs.add(new Pair(lang1, lang2));
 147         indexedEntry.isValid = true;
 148       }
 149
 150       pairEntry = null;
 151       indexedEntry = null;
 152       builders = null;
 153     }
 154
 155   }