src/com/hughes/android/dictionary/engine/WiktionarySplitter.java

   1 // Copyright 2011 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.engine;
  16
  17 import java.io.BufferedOutputStream;
  18 import java.io.DataOutputStream;
  19 import java.io.File;
  20 import java.io.FileOutputStream;
  21 import java.io.IOException;
  22 import java.util.ArrayList;
  23 import java.util.Arrays;
  24 import java.util.List;
  25 import java.util.regex.Matcher;
  26 import java.util.regex.Pattern;
  27
  28 import javax.xml.parsers.ParserConfigurationException;
  29 import javax.xml.parsers.SAXParser;
  30 import javax.xml.parsers.SAXParserFactory;
  31
  32 import org.xml.sax.Attributes;
  33 import org.xml.sax.SAXException;
  34
  35 public class WiktionarySplitter extends org.xml.sax.helpers.DefaultHandler {
  36
  37   static class Section implements java.io.Serializable {
  38     private static final long serialVersionUID = -7676549898325856822L;
  39
  40     final String title;
  41     final String heading;
  42     final String text;
  43
  44     public Section(final String title, final String heading, final String text) {
  45       this.title = title;
  46       this.heading = heading;
  47       this.text = text;
  48
  49       //System.out.printf("TITLE:%s\nHEADING:%s\nTEXT:%s\n\n\n\n\n\n", title, heading, text);
  50     }
  51   }
  52
  53   static class Selector {
  54     DataOutputStream out;
  55     Pattern pattern;
  56
  57     public Selector(final String filename, final String pattern) throws IOException {
  58       this.out = new DataOutputStream(new BufferedOutputStream(new FileOutputStream(filename)));
  59       this.pattern = Pattern.compile(pattern, Pattern.CASE_INSENSITIVE);
  60     }
  61   }
  62
  63   final List<Selector> selectors = new ArrayList<Selector>();
  64   StringBuilder titleBuilder;
  65   StringBuilder textBuilder;
  66   StringBuilder currentBuilder = null;
  67
  68   public static void main(final String[] args) throws SAXException, IOException, ParserConfigurationException {
  69     final SAXParser parser = SAXParserFactory.newInstance().newSAXParser();
  70     final WiktionarySplitter wiktionarySplitter = new WiktionarySplitter();
  71
  72     // Configure things.
  73     final File file = new File(args[0]);
  74     final List<Selector> selectors = wiktionarySplitter.selectors;
  75     for (int i = 1; i < args.length; i += 2) {
  76       final Selector selector = new Selector(args[i], args[i+1]);
  77       selectors.add(selector);
  78     }
  79
  80     if (selectors.isEmpty()) {
  81       selectors.addAll(Arrays.asList(
  82 //          new Selector("../DictionaryData/inputs/enWikiSplit/AF.data", ".*[Aa]frikaans.*"),
  83 //          new Selector("../DictionaryData/inputs/enWikiSplit/AR.data", ".*[Aa]rabic.*"),
  84 //          new Selector("../DictionaryData/inputs/enWikiSplit/HY.data", ".*[Aa]rmenian.*"),
  85           new Selector("../DictionaryData/inputs/enWikiSplit/HR.data", ".*[Cc]roatian.*"),
  86 //          new Selector("../DictionaryData/inputs/enWikiSplit/CS.data", ".*[Cc]zech.*"),
  87           new Selector("../DictionaryData/inputs/enWikiSplit/ZH.data", ".*[Cc]hinese.*|.*[Mm]andarin.*|.*Cantonese.*")
  88 //          new Selector("../DictionaryData/inputs/enWikiSplit/DA.data", ".*[Dd]anish.*"),
  89 //          new Selector("../DictionaryData/inputs/enWikiSplit/NL.data", ".*[Dd]utch.*"),
  90 //          new Selector("../DictionaryData/inputs/enWikiSplit/EN.data", ".*[Ee]nglish.*"),
  91 //          new Selector("../DictionaryData/inputs/enWikiSplit/FI.data", ".*[Ff]innish.*"),
  92 //          new Selector("../DictionaryData/inputs/enWikiSplit/FR.data", ".*[Ff]rench.*"),
  93 //          new Selector("../DictionaryData/inputs/enWikiSplit/DE.data", ".*[Gg]erman.*"),
  94 //          new Selector("../DictionaryData/inputs/enWikiSplit/EL.data", ".*[Gg]reek.*"),
  95 //          new Selector("../DictionaryData/inputs/enWikiSplit/haw.data", ".*[Hh]awaiian.*"),
  96 //          new Selector("../DictionaryData/inputs/enWikiSplit/HE.data", ".*[Hh]ebrew.*"),
  97 //          new Selector("../DictionaryData/inputs/enWikiSplit/HI.data", ".*[Hh]indi.*"),
  98 //          new Selector("../DictionaryData/inputs/enWikiSplit/IS.data", ".*[Ii]celandic.*"),
  99 //          new Selector("../DictionaryData/inputs/enWikiSplit/GA.data", ".*[Ii]rish.*"),
 100 //          new Selector("../DictionaryData/inputs/enWikiSplit/IT.data", ".*[Ii]talian.*"),
 101 //          new Selector("../DictionaryData/inputs/enWikiSplit/LT.data", ".*[Ll]ithuanian.*"),
 102 //          new Selector("../DictionaryData/inputs/enWikiSplit/JA.data", ".*[Jj]apanese.*"),
 103 //          new Selector("../DictionaryData/inputs/enWikiSplit/KO.data", ".*[Kk]orean.*"),
 104 //          new Selector("../DictionaryData/inputs/enWikiSplit/KU.data", ".*[Kk]urdish.*"),
 105 //          new Selector("../DictionaryData/inputs/enWikiSplit/MS.data", ".*[Mm]alay.*"),
 106 //          new Selector("../DictionaryData/inputs/enWikiSplit/MI.data", ".*[Mm]aori.*"),
 107 //          new Selector("../DictionaryData/inputs/enWikiSplit/MN.data", ".*[Mm]ongolian.*"),
 108 //          new Selector("../DictionaryData/inputs/enWikiSplit/NO.data", ".*[Nn]orwegian.*"),
 109 //          new Selector("../DictionaryData/inputs/enWikiSplit/FA.data", ".*[Pp]ersian.*"),
 110 //          new Selector("../DictionaryData/inputs/enWikiSplit/PT.data", ".*[Pp]ortuguese.*"),
 111 //          new Selector("../DictionaryData/inputs/enWikiSplit/PL.data", ".*[Pp]olish.*")
 112 //          new Selector("../DictionaryData/inputs/enWikiSplit/RO.data", ".*[Rr]omanian.*"),
 113 //          new Selector("../DictionaryData/inputs/enWikiSplit/RU.data", ".*[Rr]ussian.*"),
 114 //          new Selector("../DictionaryData/inputs/enWikiSplit/SA.data", ".*[Ss]anskrit.*"),
 115 //          new Selector("../DictionaryData/inputs/enWikiSplit/SR.data", ".*[Ss]erbian.*"),
 116 //          new Selector("../DictionaryData/inputs/enWikiSplit/SO.data", ".*[Ss]omali.*"),
 117 //          new Selector("../DictionaryData/inputs/enWikiSplit/ES.data", ".*[Ss]panish.*"),
 118 //          new Selector("../DictionaryData/inputs/enWikiSplit/SV.data", ".*[Ss]wedish.*"),
 119 //          new Selector("../DictionaryData/inputs/enWikiSplit/TG.data", ".*[Tt]ajik.*"),
 120 //          new Selector("../DictionaryData/inputs/enWikiSplit/TH.data", ".*[Tt]hai.*"),
 121 //          new Selector("../DictionaryData/inputs/enWikiSplit/BO.data", ".*[Tt]ibetan.*"),
 122 //          new Selector("../DictionaryData/inputs/enWikiSplit/TR.data", ".*[Tt]urkish.*"),
 123 //          new Selector("../DictionaryData/inputs/enWikiSplit/UK.data", ".*[Uu]krainian.*")
 124 //          new Selector("../DictionaryData/inputs/enWikiSplit/VI.data", ".*[Vv]ietnamese.*"),
 125 //          new Selector("../DictionaryData/inputs/enWikiSplit/CI.data", ".*[Ww]elsh.*"),
 126 //          new Selector("../DictionaryData/inputs/enWikiSplit/YI.data", ".*[Yy]iddish.*"),
 127 //          new Selector("../DictionaryData/inputs/enWikiSplit/ZU.data", ".*[Zz]ulu.*")
 128           ));
 129     }
 130
 131     // Do it.
 132     parser.parse(file, wiktionarySplitter);
 133
 134     // Shutdown.
 135     for (final Selector selector : selectors) {
 136       selector.out.close();
 137     }
 138   }
 139
 140   static final Pattern headingStart = Pattern.compile("^(=+)[^=]+=+", Pattern.MULTILINE);
 141
 142   int pageCount = 0;
 143   private void endPage() {
 144     final String title = titleBuilder.toString();
 145     if (++pageCount % 1000 == 0) {
 146       System.out.println("endPage: " + title + ", count=" + pageCount);
 147     }
 148
 149     String text = textBuilder.toString();
 150
 151     while (text.length() > 0) {
 152       // Find start.
 153       final Matcher startMatcher = headingStart.matcher(text);
 154       if (!startMatcher.find()) {
 155         return;
 156       }
 157       text = text.substring(startMatcher.end());
 158
 159       final String heading = startMatcher.group();
 160       for (final Selector selector : selectors) {
 161         if (selector.pattern.matcher(heading).find()) {
 162
 163           // Find end.
 164           final int depth = startMatcher.group(1).length();
 165           final Pattern endPattern = Pattern.compile(String.format("^={1,%d}[^=]+=+", depth), Pattern.MULTILINE);
 166
 167           final Matcher endMatcher = endPattern.matcher(text);
 168           final int end;
 169           if (endMatcher.find()) {
 170             end = endMatcher.start();
 171           } else {
 172             end = text.length();
 173           }
 174
 175           final String sectionText = text.substring(0, end);
 176           final Section section = new Section(title, heading, sectionText);
 177
 178           try {
 179             selector.out.writeUTF(section.title);
 180             selector.out.writeUTF(section.heading);
 181             final byte[] bytes = section.text.getBytes("UTF8");
 182             selector.out.writeInt(bytes.length);
 183             selector.out.write(bytes);
 184           } catch (IOException e) {
 185             throw new RuntimeException(e);
 186           }
 187
 188           text = text.substring(end);
 189         }
 190       }
 191     }
 192
 193   }
 194
 195   // -----------------------------------------------------------------------
 196
 197     @Override
 198     public void startElement(String uri, String localName, String qName,
 199         Attributes attributes) {
 200       currentBuilder = null;
 201       if ("page".equals(qName)) {
 202         titleBuilder = new StringBuilder();
 203
 204         // Start with "\n" to better match certain strings.
 205         textBuilder = new StringBuilder("\n");
 206       } else if ("title".equals(qName)) {
 207         currentBuilder = titleBuilder;
 208       } else if ("text".equals(qName)) {
 209         currentBuilder = textBuilder;
 210       }
 211     }
 212
 213     @Override
 214     public void characters(char[] ch, int start, int length) throws SAXException {
 215       if (currentBuilder != null) {
 216         currentBuilder.append(ch, start, length);
 217       }
 218     }
 219
 220     @Override
 221     public void endElement(String uri, String localName, String qName)
 222         throws SAXException {
 223       currentBuilder = null;
 224       if ("page".equals(qName)) {
 225         endPage();
 226       }
 227     }
 228
 229
 230     public void parse(final File file) throws ParserConfigurationException,
 231         SAXException, IOException {
 232       final SAXParser parser = SAXParserFactory.newInstance().newSAXParser();
 233       parser.parse(file, this);
 234     }
 235
 236 }