src/com/hughes/android/dictionary/parser/wiktionary/EnTranslationToTranslationParser.java

   1 // Copyright 2012 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.parser.wiktionary;
  16
  17 import java.util.Arrays;
  18 import java.util.HashSet;
  19 import java.util.LinkedHashSet;
  20 import java.util.List;
  21 import java.util.Map;
  22 import java.util.Set;
  23 import java.util.regex.Pattern;
  24
  25 import com.hughes.android.dictionary.engine.IndexBuilder;
  26 import com.hughes.android.dictionary.engine.IndexedEntry;
  27 import com.hughes.android.dictionary.engine.PairEntry;
  28 import com.hughes.android.dictionary.parser.WikiTokenizer;
  29 import com.hughes.android.dictionary.parser.wiktionary.EnFunctionCallbacks.TranslationCallback;
  30 import com.hughes.util.ListUtil;
  31
  32 public final class EnTranslationToTranslationParser extends AbstractWiktionaryParser {
  33
  34     final List<IndexBuilder> indexBuilders;
  35     final Pattern[] langCodePatterns;
  36
  37     PairEntry pairEntry = null;
  38     IndexedEntry indexedEntry = null;
  39     StringBuilder[] builders = null;
  40     HashSet<PairEntry.Pair> allPairs = new HashSet<>();
  41
  42     public static final String NAME = "EnTranslationToTranslation";
  43
  44     final Set<String> Ts = new LinkedHashSet<String>(Arrays.asList("t", "t+",
  45             "t-", "tø", "apdx-t", "ttbc"));
  46
  47     public EnTranslationToTranslationParser(final List<IndexBuilder> indexBuilders,
  48                                             final Pattern[] langCodePatterns) {
  49         this.indexBuilders = indexBuilders;
  50         this.langCodePatterns = langCodePatterns;
  51     }
  52
  53     @Override
  54     void removeUselessArgs(Map<String, String> namedArgs) {
  55         namedArgs.keySet().removeAll(EnParser.USELESS_WIKI_ARGS);
  56     }
  57
  58     @Override
  59     void parseSection(String heading, String text) {
  60         if (EnParser.isIgnorableTitle(title)) {
  61             return;
  62         }
  63         final WikiTokenizer.Callback callback = new WikiTokenizer.DoNothingCallback() {
  64             @Override
  65             public void onFunction(WikiTokenizer wikiTokenizer, String name,
  66                                    List<String> functionPositionArgs,
  67                                    Map<String, String> functionNamedArgs) {
  68                 //System.out.println(wikiTokenizer.token());
  69                 if (Ts.contains(name)) {
  70                     onT(wikiTokenizer);
  71                 } else if (name.equals("trans-top") || name.equals("checktrans-top") || name.equals("checktrans")) {
  72                     startEntry(title, wikiTokenizer.token());
  73                 } else if (name.equals("trans-bottom")) {
  74                     finishEntry(title);
  75                 }
  76             }
  77
  78             @Override
  79             public void onListItem(WikiTokenizer wikiTokenizer) {
  80                 WikiTokenizer.dispatch(wikiTokenizer.listItemWikiText(), false, this);
  81             }
  82         };
  83         WikiTokenizer.dispatch(text, true, callback);
  84
  85         if (builders != null) {
  86             LOG.warning("unended translations: " + title);
  87             finishEntry(title);
  88         }
  89     }
  90
  91     final TranslationCallback<EnTranslationToTranslationParser> translationCallback = new TranslationCallback<EnTranslationToTranslationParser>();
  92
  93     final AppendAndIndexWikiCallback<EnTranslationToTranslationParser> appendAndIndexWikiCallback = new AppendAndIndexWikiCallback<EnTranslationToTranslationParser>(
  94         this);
  95     {
  96         for (final String t : Ts) {
  97             appendAndIndexWikiCallback.functionCallbacks.put(t, translationCallback);
  98         }
  99     }
 100
 101     private void onT(WikiTokenizer wikiTokenizer) {
 102         if (builders == null) {
 103             LOG.warning("{{t...}} section outside of {{trans-top}}: " + title);
 104             startEntry(title, "QUICKDIC_OUTSIDE");
 105         }
 106
 107         final List<String> args = wikiTokenizer.functionPositionArgs();
 108         final String langCode = ListUtil.get(args, 0);
 109         if (langCode == null) {
 110             LOG.warning("Missing langCode: " + wikiTokenizer.token());
 111             return;
 112         }
 113         for (int p = 0; p < 2; ++p) {
 114             if (langCodePatterns[p].matcher(langCode).matches()) {
 115                 appendAndIndexWikiCallback.builder = builders[p];
 116                 if (appendAndIndexWikiCallback.builder.length() > 0) {
 117                     appendAndIndexWikiCallback.builder.append(", ");
 118                 }
 119                 appendAndIndexWikiCallback.indexBuilder = indexBuilders.get(p);
 120                 appendAndIndexWikiCallback.onFunction(wikiTokenizer,
 121                                                       wikiTokenizer.functionName(), wikiTokenizer.functionPositionArgs(),
 122                                                       wikiTokenizer.functionNamedArgs());
 123             }
 124         }
 125     }
 126
 127     void startEntry(final String title, final String func) {
 128         if (pairEntry != null) {
 129             LOG.warning("startEntry() twice: " + title + ", " + func);
 130             finishEntry(title);
 131         }
 132
 133         pairEntry = new PairEntry(entrySource);
 134         indexedEntry = new IndexedEntry(pairEntry);
 135         builders = new StringBuilder[] { new StringBuilder(), new StringBuilder() };
 136         appendAndIndexWikiCallback.indexedEntry = indexedEntry;
 137     }
 138
 139     void finishEntry(final String title) {
 140         if (pairEntry == null) {
 141             LOG.warning("finalizeEntry() twice: " + title);
 142             return;
 143         }
 144         final String lang1 = builders[0].toString();
 145         final String lang2 = builders[1].toString();
 146         if (lang1.length() > 0 && lang2.length() > 0) {
 147             final PairEntry.Pair newPair = new PairEntry.Pair(lang1, lang2);
 148             // brute-force approach to prevent adding duplicates
 149             if (!allPairs.contains(newPair))
 150             {
 151                 allPairs.add(newPair);
 152                 pairEntry.pairs.add(new PairEntry.Pair(lang1, lang2));
 153                 indexedEntry.isValid = true;
 154             }
 155         }
 156
 157         pairEntry = null;
 158         indexedEntry = null;
 159         builders = null;
 160     }
 161
 162 }