src/com/hughes/android/dictionary/WiktionarySplitter.java

   1 package com.hughes.android.dictionary;
   2
   3 import java.io.BufferedOutputStream;
   4 import java.io.DataOutputStream;
   5 import java.io.File;
   6 import java.io.FileOutputStream;
   7 import java.io.IOException;
   8 import java.io.RandomAccessFile;
   9 import java.util.ArrayList;
  10 import java.util.Arrays;
  11 import java.util.List;
  12 import java.util.regex.Matcher;
  13 import java.util.regex.Pattern;
  14
  15 import javax.xml.parsers.ParserConfigurationException;
  16 import javax.xml.parsers.SAXParser;
  17 import javax.xml.parsers.SAXParserFactory;
  18
  19 import org.xml.sax.Attributes;
  20 import org.xml.sax.SAXException;
  21
  22 public class WiktionarySplitter extends org.xml.sax.helpers.DefaultHandler {
  23
  24   static class Section implements java.io.Serializable {
  25     private static final long serialVersionUID = -7676549898325856822L;
  26
  27     final String title;
  28     final String heading;
  29     final String text;
  30
  31     public Section(final String title, final String heading, final String text) {
  32       this.title = title;
  33       this.heading = heading;
  34       this.text = text;
  35
  36       //System.out.printf("TITLE:%s\nHEADING:%s\nTEXT:%s\n\n\n\n\n\n", title, heading, text);
  37     }
  38   }
  39
  40   static class Selector {
  41     DataOutputStream out;
  42     Pattern pattern;
  43
  44     public Selector(final String filename, final String pattern) throws IOException {
  45       this.out = new DataOutputStream(new BufferedOutputStream(new FileOutputStream(filename)));
  46       this.pattern = Pattern.compile(pattern);
  47     }
  48   }
  49
  50   final List<Selector> selectors = new ArrayList<Selector>();
  51   StringBuilder titleBuilder;
  52   StringBuilder textBuilder;
  53   StringBuilder currentBuilder = null;
  54
  55   public static void main(final String[] args) throws SAXException, IOException, ParserConfigurationException {
  56     final SAXParser parser = SAXParserFactory.newInstance().newSAXParser();
  57     final WiktionarySplitter wiktionarySplitter = new WiktionarySplitter();
  58
  59     // Configure things.
  60     final File file = new File(args[0]);
  61     final List<Selector> selectors = wiktionarySplitter.selectors;
  62     for (int i = 1; i < args.length; i += 2) {
  63       final Selector selector = new Selector(args[i], args[i+1]);
  64       selectors.add(selector);
  65     }
  66
  67     if (selectors.isEmpty()) {
  68       selectors.addAll(Arrays.asList(
  69           new Selector("wikiSplit/arabic.data", ".*[Ar]rabic.*"),
  70           new Selector("wikiSplit/czech.data", ".*[Cc]zech.*"),
  71           new Selector("wikiSplit/mandarin.data", ".*[Mm]andarin|[Cc]hinese.*"),
  72           new Selector("wikiSplit/dutch.data", ".*[Du]utch.*"),
  73           new Selector("wikiSplit/english.data", ".*[Ee]nglish.*"),
  74           new Selector("wikiSplit/french.data", ".*[Ff]rench.*"),
  75           new Selector("wikiSplit/german.data", ".*[Gg]erman.*"),
  76           new Selector("wikiSplit/hindi.data", ".*[Hh]indi.*"),
  77           new Selector("wikiSplit/italian.data", ".*[Ii]talian.*"),
  78           new Selector("wikiSplit/japanese.data", ".*[Jj]apanese.*"),
  79           new Selector("wikiSplit/korean.data", ".*[Kk]orean.*"),
  80           new Selector("wikiSplit/persian.data", ".*[Pp]ersian.*"),
  81           new Selector("wikiSplit/romanian.data", ".*[Rr]omanian.*"),
  82           new Selector("wikiSplit/russian.data", ".*[Rr]ussian.*"),
  83           new Selector("wikiSplit/spanish.data", ".*[Ss]panish.*"),
  84           new Selector("wikiSplit/swedish.data", ".*[Ss]wedish.*"),
  85           new Selector("wikiSplit/thai.data", ".*[Tt]hai.*"),
  86           new Selector("wikiSplit/vietnamese.data", ".*[Vv]ietnamese.*")
  87           ));
  88     }
  89
  90     // Do it.
  91     parser.parse(file, wiktionarySplitter);
  92
  93     // Shutdown.
  94     for (final Selector selector : selectors) {
  95       selector.out.close();
  96     }
  97   }
  98
  99   static final Pattern headingStart = Pattern.compile("^(=+)[^=]+=+", Pattern.MULTILINE);
 100
 101   private void endPage() {
 102     final String title = titleBuilder.toString();
 103     System.out.println("endPage: " + title);
 104
 105     String text = textBuilder.toString();
 106
 107     while (text.length() > 0) {
 108       // Find start.
 109       final Matcher startMatcher = headingStart.matcher(text);
 110       if (!startMatcher.find()) {
 111         return;
 112       }
 113       text = text.substring(startMatcher.end());
 114
 115       final String heading = startMatcher.group();
 116       for (final Selector selector : selectors) {
 117         if (selector.pattern.matcher(heading).find()) {
 118
 119           // Find end.
 120           final int depth = startMatcher.group(1).length();
 121           final Pattern endPattern = Pattern.compile(String.format("^={1,%d}[^=]+=+", depth), Pattern.MULTILINE);
 122
 123           final Matcher endMatcher = endPattern.matcher(text);
 124           final int end;
 125           if (endMatcher.find()) {
 126             end = endMatcher.start();
 127           } else {
 128             end = text.length();
 129           }
 130
 131           final String sectionText = text.substring(0, end);
 132           final Section section = new Section(title, heading, sectionText);
 133
 134           try {
 135             selector.out.writeUTF(section.title);
 136             selector.out.writeUTF(section.heading);
 137             final byte[] bytes = section.text.getBytes("UTF8");
 138             selector.out.writeInt(bytes.length);
 139             selector.out.write(bytes);
 140           } catch (IOException e) {
 141             throw new RuntimeException(e);
 142           }
 143
 144           text = text.substring(end);
 145         }
 146       }
 147     }
 148
 149   }
 150
 151   // -----------------------------------------------------------------------
 152
 153     @Override
 154     public void startElement(String uri, String localName, String qName,
 155         Attributes attributes) {
 156       currentBuilder = null;
 157       if ("page".equals(qName)) {
 158         titleBuilder = new StringBuilder();
 159
 160         // Start with "\n" to better match certain strings.
 161         textBuilder = new StringBuilder("\n");
 162       } else if ("title".equals(qName)) {
 163         currentBuilder = titleBuilder;
 164       } else if ("text".equals(qName)) {
 165         currentBuilder = textBuilder;
 166       }
 167     }
 168
 169     @Override
 170     public void characters(char[] ch, int start, int length) throws SAXException {
 171       if (currentBuilder != null) {
 172         currentBuilder.append(ch, start, length);
 173       }
 174     }
 175
 176     @Override
 177     public void endElement(String uri, String localName, String qName)
 178         throws SAXException {
 179       currentBuilder = null;
 180       if ("page".equals(qName)) {
 181         endPage();
 182       }
 183     }
 184
 185
 186     public void parse(final File file) throws ParserConfigurationException,
 187         SAXException, IOException {
 188       final SAXParser parser = SAXParserFactory.newInstance().newSAXParser();
 189       parser.parse(file, this);
 190     }
 191
 192 }