src/com/hughes/android/dictionary/parser/WikiTokenizerTest.java

   1 // Copyright 2011 Google Inc. All Rights Reserved.
   2 //
   3 // Licensed under the Apache License, Version 2.0 (the "License");
   4 // you may not use this file except in compliance with the License.
   5 // You may obtain a copy of the License at
   6 //
   7 //     http://www.apache.org/licenses/LICENSE-2.0
   8 //
   9 // Unless required by applicable law or agreed to in writing, software
  10 // distributed under the License is distributed on an "AS IS" BASIS,
  11 // WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 // See the License for the specific language governing permissions and
  13 // limitations under the License.
  14
  15 package com.hughes.android.dictionary.parser;
  16
  17 import java.util.ArrayList;
  18 import java.util.Arrays;
  19 import java.util.List;
  20
  21 import junit.framework.TestCase;
  22
  23 public class WikiTokenizerTest extends TestCase {
  24
  25   public void testWikiLink() {
  26     String wikiText;
  27
  28     wikiText = "[[abc]]";
  29     assertEquals(wikiText, new WikiTokenizer(wikiText).nextToken().token());
  30     assertTrue(new WikiTokenizer(wikiText).nextToken().isWikiLink());
  31     assertEquals("abc", new WikiTokenizer(wikiText).nextToken().wikiLinkText());
  32     assertEquals(null, new WikiTokenizer(wikiText).nextToken().wikiLinkDest());
  33
  34     wikiText = "[[abc|def]]";
  35     assertEquals(wikiText, new WikiTokenizer(wikiText).nextToken().token());
  36     assertTrue(new WikiTokenizer(wikiText).nextToken().isWikiLink());
  37     assertEquals("def", new WikiTokenizer(wikiText).nextToken().wikiLinkText());
  38     assertEquals("abc", new WikiTokenizer(wikiText).nextToken().wikiLinkDest());
  39
  40     wikiText = "[[abc|def|ghi{{a|=2}}p]]";
  41     assertEquals(wikiText, new WikiTokenizer(wikiText).nextToken().token());
  42     assertTrue(new WikiTokenizer(wikiText).nextToken().isWikiLink());
  43     assertEquals("ghi{{a|=2}}p", new WikiTokenizer(wikiText).nextToken().wikiLinkText());
  44     assertEquals("abc", new WikiTokenizer(wikiText).nextToken().wikiLinkDest());
  45
  46     wikiText = "[[abc]][[def]]";
  47     assertEquals("[[abc]]", new WikiTokenizer(wikiText).nextToken().token());
  48     assertEquals("abc", new WikiTokenizer(wikiText).nextToken().wikiLinkText());
  49     assertEquals("def", new WikiTokenizer(wikiText).nextToken().nextToken().wikiLinkText());
  50
  51   }
  52
  53   public void testWikiList() {
  54     String wikiText;
  55
  56     wikiText = "* This is ''bold''' asdf.";
  57     assertEquals(wikiText, new WikiTokenizer(wikiText).nextToken().token());
  58
  59     wikiText = "* {{a|US}} {{IPA|[ˈfɔɹ.wɝd]]}}\nasdf\n";
  60     assertEquals("* {{a|US}} {{IPA|[ˈfɔɹ.wɝd]]}}", new WikiTokenizer(wikiText).nextToken().token());
  61     assertTrue(new WikiTokenizer(wikiText).nextToken().isListItem());
  62     assertEquals("\n", new WikiTokenizer(wikiText).nextToken().nextToken().token());
  63
  64
  65     wikiText = "* [[asdf|\u2028" +
  66                 "asdf]]";
  67     assertEquals("* [[asdf|\n" +
  68         "asdf]]", new WikiTokenizer(wikiText).nextToken().token());
  69     assertTrue(new WikiTokenizer(wikiText).nextToken().isListItem());
  70
  71   }
  72
  73   public void testFunction() {
  74     String wikiText;
  75
  76     {
  77     WikiTokenizer wt = new WikiTokenizer("'''Προστατευόμενη Ονομασία Προέλευσης''', \"Protected Designation of Origin\" {{");
  78         while (wt.nextToken() != null) {
  79             if (wt.isFunction()) {
  80                 assertEquals("", wt.functionName());
  81             }
  82         }
  83     }
  84
  85     wikiText = "{{abc}}";
  86     assertEquals(wikiText, new WikiTokenizer(wikiText).nextToken().token());
  87     assertTrue(new WikiTokenizer(wikiText).nextToken().isFunction());
  88     assertEquals("abc", new WikiTokenizer(wikiText).nextToken().functionName());
  89     assertEquals(0, new WikiTokenizer(wikiText).nextToken().functionPositionArgs().size());
  90     assertEquals(0, new WikiTokenizer(wikiText).nextToken().functionNamedArgs().size());
  91
  92     wikiText = "{{abc|def}}";
  93     assertEquals(wikiText, new WikiTokenizer(wikiText).nextToken().token());
  94     assertTrue(new WikiTokenizer(wikiText).nextToken().isFunction());
  95     assertEquals("abc", new WikiTokenizer(wikiText).nextToken().functionName());
  96     assertEquals(Arrays.asList("def"), new WikiTokenizer(wikiText).nextToken().functionPositionArgs());
  97     assertEquals(0, new WikiTokenizer(wikiText).nextToken().functionNamedArgs().size());
  98
  99     wikiText = "{{abc|d[[|]]ef|ghi}}";
 100     assertEquals(wikiText, new WikiTokenizer(wikiText).nextToken().token());
 101     assertTrue(new WikiTokenizer(wikiText).nextToken().isFunction());
 102     assertEquals("abc", new WikiTokenizer(wikiText).nextToken().functionName());
 103     assertEquals(Arrays.asList("d[[|]]ef", "ghi"), new WikiTokenizer(wikiText).nextToken().functionPositionArgs());
 104     assertEquals(0, new WikiTokenizer(wikiText).nextToken().functionNamedArgs().size());
 105
 106     wikiText = "{{abc|arg1=101|ghi|arg2=202|arg3={{n1|n2=7|n3}}|{{d}}}}";
 107     assertEquals(wikiText, new WikiTokenizer(wikiText).nextToken().token());
 108     assertTrue(new WikiTokenizer(wikiText).nextToken().isFunction());
 109     assertEquals("abc", new WikiTokenizer(wikiText).nextToken().functionName());
 110     assertEquals(Arrays.asList("ghi", "{{d}}"), new WikiTokenizer(wikiText).nextToken().functionPositionArgs());
 111     assertEquals(3, new WikiTokenizer(wikiText).nextToken().functionNamedArgs().size());
 112     assertEquals("101", new WikiTokenizer(wikiText).nextToken().functionNamedArgs().get("arg1"));
 113     assertEquals("202", new WikiTokenizer(wikiText).nextToken().functionNamedArgs().get("arg2"));
 114     assertEquals("{{n1|n2=7|n3}}", new WikiTokenizer(wikiText).nextToken().functionNamedArgs().get("arg3"));
 115
 116     wikiText = "{{gloss|asdf}\nAsdf\n\n";
 117     assertEquals("{{gloss|asdf}", new WikiTokenizer(wikiText).nextToken().token());
 118
 119     wikiText = "#*{{quote-book|year=1960|author={{w|P. G. Wodehouse}}\n" +
 120     "|title={{w|Jeeves in the Offing}}\n" +
 121     "|section=chapter XI\n" +
 122     "|passage=“I'm sorely beset, Jeeves. Do you recall telling me once about someone who told somebody he could tell him something which would make him think a bit? Knitted socks and porcu\n" +
 123     "pines entered into it, I remember.” “I think you may be referring to the ghost of the father of Hamlet, Prince of Denmark, sir. Addressing his son, he said ‘I could a tale unfold whos\n" +
 124     "e lightest word would harrow up thy soul, freeze thy young blood, make thy two eyes, like stars, start from their spheres, thy knotted and combined locks to part and each particular h\n" +
 125     "air to stand on end like quills upon the fretful '''porpentine'''.’&nbsp;” “That's right. Locks, of course, not socks. Odd that he should have said '''porpentine''' when he meant porc\n" +
 126     "upine. Slip of the tongue, no doubt, as so often happens with ghosts.”}}";
 127     assertEquals(wikiText, new WikiTokenizer(wikiText).nextToken().token());
 128
 129
 130   }
 131
 132   public void testReturn() {
 133     String wikiText;
 134
 135     wikiText = "hello\n=Heading=\nhello2";
 136
 137     final WikiTokenizer tokenizer = new WikiTokenizer(wikiText);
 138
 139     assertEquals("hello", tokenizer.nextToken().token());
 140     tokenizer.returnToLineStart();
 141     assertEquals("hello", tokenizer.nextToken().token());
 142     assertEquals("\n", tokenizer.nextToken().token());
 143     tokenizer.returnToLineStart();
 144     assertEquals("hello", tokenizer.nextToken().token());
 145     assertEquals("\n", tokenizer.nextToken().token());
 146
 147     assertEquals("=Heading=", tokenizer.nextToken().token());
 148     tokenizer.returnToLineStart();
 149     assertEquals("=Heading=", tokenizer.nextToken().token());
 150     assertEquals("\n", tokenizer.nextToken().token());
 151     tokenizer.returnToLineStart();
 152     assertEquals("=Heading=", tokenizer.nextToken().token());
 153     assertEquals("\n", tokenizer.nextToken().token());
 154
 155     assertEquals("hello2", tokenizer.nextToken().token());
 156     assertEquals(null, tokenizer.nextToken());
 157     tokenizer.returnToLineStart();
 158     assertEquals("hello2", tokenizer.nextToken().token());
 159     assertEquals(null, tokenizer.nextToken());
 160
 161
 162   }
 163
 164   public void testWikiHeading() {
 165     String wikiText;
 166
 167     wikiText = "==";
 168     assertEquals("==", new WikiTokenizer(wikiText).nextToken().token());
 169     assertTrue(new WikiTokenizer(wikiText).nextToken().isHeading());
 170     assertEquals(2, new WikiTokenizer(wikiText).nextToken().headingDepth());
 171     assertEquals("", new WikiTokenizer(wikiText).nextToken().headingWikiText());
 172     assertEquals(1, new WikiTokenizer(wikiText).nextToken().errors.size());
 173
 174
 175     wikiText = "=a";
 176     assertEquals("=a", new WikiTokenizer(wikiText).nextToken().token());
 177     assertTrue(new WikiTokenizer(wikiText).nextToken().isHeading());
 178     assertEquals(1, new WikiTokenizer(wikiText).nextToken().headingDepth());
 179     assertEquals("a", new WikiTokenizer(wikiText).nextToken().headingWikiText());
 180     assertEquals(2, new WikiTokenizer(wikiText).nextToken().errors.size());
 181
 182     wikiText = "=a==";
 183     assertEquals("=a==", new WikiTokenizer(wikiText).nextToken().token());
 184     assertTrue(new WikiTokenizer(wikiText).nextToken().isHeading());
 185     assertEquals(1, new WikiTokenizer(wikiText).nextToken().headingDepth());
 186     assertEquals("a", new WikiTokenizer(wikiText).nextToken().headingWikiText());
 187     assertEquals(1, new WikiTokenizer(wikiText).nextToken().errors.size());
 188
 189     wikiText = "a=";
 190     assertEquals("a", new WikiTokenizer(wikiText).nextToken().token());
 191     assertFalse(new WikiTokenizer(wikiText).nextToken().isHeading());
 192
 193     wikiText = "=a=";
 194     assertEquals("=a=", new WikiTokenizer(wikiText).nextToken().token());
 195     assertTrue(new WikiTokenizer(wikiText).nextToken().isHeading());
 196     assertEquals(1, new WikiTokenizer(wikiText).nextToken().headingDepth());
 197     assertEquals("a", new WikiTokenizer(wikiText).nextToken().headingWikiText());
 198     assertEquals(0, new WikiTokenizer(wikiText).nextToken().errors.size());
 199
 200     wikiText = "==aa[[|=]] {{|={{=}} }}==";
 201     assertEquals(wikiText, new WikiTokenizer(wikiText).nextToken().token());
 202     assertTrue(new WikiTokenizer(wikiText).nextToken().isHeading());
 203     assertEquals(2, new WikiTokenizer(wikiText).nextToken().headingDepth());
 204     assertEquals("aa[[|=]] {{|={{=}} }}", new WikiTokenizer(wikiText).nextToken().headingWikiText());
 205     assertEquals(0, new WikiTokenizer(wikiText).nextToken().errors.size());
 206
 207   }
 208
 209
 210
 211   public void testSimple() {
 212     final String wikiText =
 213       "Hi" + "\n" +
 214       "Hello =thad| you're <!-- not --> '''pretty''' cool '''''over''''' there." + "\n" +
 215       "hi <!--" + "\n" +
 216       "multi-line" + "\n" +
 217       "# comment -->" + "\n" +
 218       "" + "\n" +
 219       "asdf\n" +
 220       "{{template_not_in_list}}" + "\n" +
 221       "# {{template_in_list}}" + "\n" +
 222       "[[wikitext]]:[[wikitext]]" + "\n" +  // don't want this to trigger a list
 223       ": but this is a list!" + "\n" +
 224       "*:* and so is this :::" + "\n" +
 225       "here's [[some blah|some]] wikitext." + "\n" +
 226       "here's a {{template|this has an = sign|blah=2|blah2=3|" + "\n" +
 227       "blah3=3,[[asdf]|[asdf asdf]|[asdf asdf asdf]],blah4=4}} and some more text." + "\n" +
 228       "== Header 2 ==" + "\n" +
 229       "{{some-func|blah={{nested-func|n2}}|blah2=asdf}}" + "\n" +
 230       "{{mismatched]]" + "\n" +
 231       "[[mismatched}}" + "\n" +
 232       "{extraterminated}}" + "\n" +
 233       "[extraterminated]]" + "\n" +
 234       "=== {{header-template}} ===" + "\n";
 235
 236     final String[] expectedTokens = new String[] {
 237         "Hi",
 238         "\n",
 239         "Hello ",
 240         "=",
 241         "thad",
 242         "|",
 243         " you're ",
 244         "<!-- not -->",
 245         " ",
 246         "'''",
 247         "pretty",
 248         "'''",
 249         " cool ",
 250         "'''",
 251         "''",
 252         "over",
 253         "'''",
 254         "''",
 255         " there.",
 256         "\n",
 257         "hi ",
 258         "<!--\nmulti-line\n# comment -->",
 259         "\n",
 260         "\n",
 261         "asdf",
 262         "\n",
 263         "{{template_not_in_list}}",
 264         "\n",
 265         "# {{template_in_list}}",
 266         "\n",
 267         "[[wikitext]]",
 268         ":",
 269         "[[wikitext]]",
 270         "\n",
 271         ": but this is a list!",
 272         "\n",
 273         "*:* and so is this :::",
 274         "\n",
 275         "here's ",
 276         "[[some blah|some]]",
 277         " wikitext.",
 278         "\n",
 279         "here's a ",
 280         "{{template|this has an = sign|blah=2|blah2=3|\nblah3=3,[[asdf]|[asdf asdf]|[asdf asdf asdf]],blah4=4}}",
 281         " and some more text.",
 282         "\n",
 283         "== Header 2 ==",
 284         "\n",
 285         "{{some-func|blah={{nested-func|n2}}|blah2=asdf}}",
 286         "\n",
 287         "{{mismatched]]",
 288         "\n",
 289         "[[mismatched}}",
 290         "\n",
 291         "{extraterminated",
 292         "}}",
 293         "\n",
 294         "[extraterminated",
 295         "]]",
 296         "\n",
 297         "=== {{header-template}} ===",
 298         "\n",
 299         };
 300
 301     final List<String> actualTokens = new ArrayList<String>();
 302
 303     final WikiTokenizer wikiTokenizer = new WikiTokenizer(wikiText);
 304     WikiTokenizer token;
 305     int i = 0;
 306     while ((token = wikiTokenizer.nextToken()) != null) {
 307       actualTokens.add(token.token());
 308       System.out.println("\"" + token.token().replace("\n", "\\n") + "\",");
 309       assertEquals(expectedTokens[i++], token.token());
 310     }
 311     assertEquals(Arrays.asList(expectedTokens), actualTokens);
 312   }
 313
 314   public void testHtml() {
 315       String wikiText;
 316
 317       {
 318       wikiText = " zz <pre> asdf </pre> ZZ <math> 1234 </math> XX ";
 319       final WikiTokenizer tokenizer = new WikiTokenizer(wikiText);
 320       assertEquals(" zz ", tokenizer.nextToken().token());
 321       assertEquals("<pre> asdf </pre>", tokenizer.nextToken().token());
 322       assertEquals(" ZZ ", tokenizer.nextToken().token());
 323       assertEquals("<math> 1234 </math>", tokenizer.nextToken().token());
 324       assertEquals(" XX ", tokenizer.nextToken().token());
 325       }
 326       {
 327       wikiText = "\n<math> 1234 </math>";
 328       final WikiTokenizer tokenizer = new WikiTokenizer(wikiText);
 329       assertEquals("<math> 1234 </math>", tokenizer.nextToken().nextToken().token());
 330       }
 331
 332       {
 333       wikiText = "# z'' is the '''free''' variable in \"<math>\\forall x\\exists y:xy=z</math>\".''";
 334       final WikiTokenizer tokenizer = new WikiTokenizer(wikiText);
 335       assertEquals(wikiText, tokenizer.nextToken().token());
 336       }
 337
 338
 339   }
 340
 341 }