src/com/hughes/android/dictionary/parser/wiktionary/EnTranslationToTranslationParser.java

   1 // Copyright 2012 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.parser.wiktionary;
  16
  17 import java.util.Arrays;
  18 import java.util.LinkedHashSet;
  19 import java.util.List;
  20 import java.util.Map;
  21 import java.util.Set;
  22 import java.util.regex.Pattern;
  23
  24 import com.hughes.android.dictionary.engine.IndexBuilder;
  25 import com.hughes.android.dictionary.engine.IndexedEntry;
  26 import com.hughes.android.dictionary.engine.PairEntry;
  27 import com.hughes.android.dictionary.engine.PairEntry.Pair;
  28 import com.hughes.android.dictionary.parser.WikiTokenizer;
  29 import com.hughes.android.dictionary.parser.wiktionary.EnFunctionCallbacks.TranslationCallback;
  30 import com.hughes.util.ListUtil;
  31
  32 public final class EnTranslationToTranslationParser extends AbstractWiktionaryParser {
  33
  34     final List<IndexBuilder> indexBuilders;
  35     final Pattern[] langCodePatterns;
  36
  37     PairEntry pairEntry = null;
  38     IndexedEntry indexedEntry = null;
  39     StringBuilder[] builders = null;
  40
  41     public static final String NAME = "EnTranslationToTranslation";
  42
  43     final Set<String> Ts = new LinkedHashSet<String>(Arrays.asList("t", "t+",
  44             "t-", "tø", "apdx-t", "ttbc"));
  45
  46     public EnTranslationToTranslationParser(final List<IndexBuilder> indexBuilders,
  47                                             final Pattern[] langCodePatterns) {
  48         this.indexBuilders = indexBuilders;
  49         this.langCodePatterns = langCodePatterns;
  50     }
  51
  52     @Override
  53     void removeUselessArgs(Map<String, String> namedArgs) {
  54         namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
  55     }
  56
  57     @Override
  58     void parseSection(String heading, String text) {
  59         if (EnParser.isIgnorableTitle(title)) {
  60             return;
  61         }
  62         final WikiTokenizer.Callback callback = new WikiTokenizer.DoNothingCallback() {
  63             @Override
  64             public void onFunction(WikiTokenizer wikiTokenizer, String name,
  65                                    List<String> functionPositionArgs,
  66                                    Map<String, String> functionNamedArgs) {
  67                 //System.out.println(wikiTokenizer.token());
  68                 if (Ts.contains(name)) {
  69                     onT(wikiTokenizer);
  70                 } else if (name.equals("trans-top") || name.equals("checktrans-top") || name.equals("checktrans")) {
  71                     startEntry(title, wikiTokenizer.token());
  72                 } else if (name.equals("trans-bottom")) {
  73                     finishEntry(title);
  74                 }
  75             }
  76
  77             @Override
  78             public void onListItem(WikiTokenizer wikiTokenizer) {
  79                 WikiTokenizer.dispatch(wikiTokenizer.listItemWikiText(), false, this);
  80             }
  81         };
  82         WikiTokenizer.dispatch(text, true, callback);
  83
  84         if (builders != null) {
  85             LOG.warning("unended translations: " + title);
  86             finishEntry(title);
  87         }
  88     }
  89
  90     final TranslationCallback<EnTranslationToTranslationParser> translationCallback = new TranslationCallback<EnTranslationToTranslationParser>();
  91
  92     final AppendAndIndexWikiCallback<EnTranslationToTranslationParser> appendAndIndexWikiCallback = new AppendAndIndexWikiCallback<EnTranslationToTranslationParser>(
  93         this);
  94     {
  95         for (final String t : Ts) {
  96             appendAndIndexWikiCallback.functionCallbacks.put(t, translationCallback);
  97         }
  98     }
  99
 100     private void onT(WikiTokenizer wikiTokenizer) {
 101         if (builders == null) {
 102             LOG.warning("{{t...}} section outside of {{trans-top}}: " + title);
 103             startEntry(title, "QUICKDIC_OUTSIDE");
 104         }
 105
 106         final List<String> args = wikiTokenizer.functionPositionArgs();
 107         final String langCode = ListUtil.get(args, 0);
 108         if (langCode == null) {
 109             LOG.warning("Missing langCode: " + wikiTokenizer.token());
 110             return;
 111         }
 112         for (int p = 0; p < 2; ++p) {
 113             if (langCodePatterns[p].matcher(langCode).matches()) {
 114                 appendAndIndexWikiCallback.builder = builders[p];
 115                 if (appendAndIndexWikiCallback.builder.length() > 0) {
 116                     appendAndIndexWikiCallback.builder.append(", ");
 117                 }
 118                 appendAndIndexWikiCallback.indexBuilder = indexBuilders.get(p);
 119                 appendAndIndexWikiCallback.onFunction(wikiTokenizer,
 120                                                       wikiTokenizer.functionName(), wikiTokenizer.functionPositionArgs(),
 121                                                       wikiTokenizer.functionNamedArgs());
 122             }
 123         }
 124     }
 125
 126     void startEntry(final String title, final String func) {
 127         if (pairEntry != null) {
 128             LOG.warning("startEntry() twice: " + title + ", " + func);
 129             finishEntry(title);
 130         }
 131
 132         pairEntry = new PairEntry(entrySource);
 133         indexedEntry = new IndexedEntry(pairEntry);
 134         builders = new StringBuilder[] { new StringBuilder(), new StringBuilder() };
 135         appendAndIndexWikiCallback.indexedEntry = indexedEntry;
 136     }
 137
 138     void finishEntry(final String title) {
 139         if (pairEntry == null) {
 140             LOG.warning("finalizeEntry() twice: " + title);
 141             return;
 142         }
 143         final String lang1 = builders[0].toString();
 144         final String lang2 = builders[1].toString();
 145         if (lang1.length() > 0 && lang2.length() > 0) {
 146             pairEntry.pairs.add(new Pair(lang1, lang2));
 147             indexedEntry.isValid = true;
 148         }
 149
 150         pairEntry = null;
 151         indexedEntry = null;
 152         builders = null;
 153     }
 154
 155 }