Compress WiktionarySplitter output files.

Saves around 60% of disk space with no significant
difference in speed on a multi-core system.

Support compressed input for parsers.

Add a write buffer to wiktionary splitter outputs.

Around 20% faster processing, and will be useful when
adding compression support as well.

Cache compiled patterns.

Add read-ahead buffer to decompress in parallel.

Allows using more than one CPU core for a good speedup.
Benchmarks:
Uncompressed files:    196.29 CPU, 5:18.34 wall clock time
xz-compressed, before: 299.19 CPU, 5:21.85 wall clock time
xz-compressed, after:  308.96 CPU, 3:29.60 wall clock time

(first was I/O limited, second was CPU-limited, now it is
almost only limited by CPU-time for XML parsing)

WiktionarySplitter: Support compressed inputs.

Unfortunately bzip2 decompression is very slow (slower
than the XML parsing in fact), so it might make sense to
re-compress the downloaded files from bzip2 to xz.
If the decompression could be done in a separate thread,
xz compression would even provide a speedup if the files
are on a slower (non-SSD) disk.

Add logic for generating DE-RO dictionary.

Update to use Dictionary Util subproject.

Switch to FileChannel and using Util from Dictionary subproject.

Add support for generating Low German dictionary.

Prevent inserting duplicate Pairs.

A rather brute-force approach and not
generic, but it's at least an improvement.

Add CollatorWrapper class to prepare for using ICU.

Android should still use java.text, since that is based
on ICU anyway.

Add AR-TR dictionary generation.

Clearer error message if newline could not be found.

Fix wikisplit of Pennsylvania German

Avoids false parse errors due to ]] vs ] ].

Another fix to really skip comments.

Make logging configurable, default to severe only.

Fix skipping of comments.

Add Old Church Slavonic and Pennsylvania German.

Add Sicilian

Update to work with latest Dictionary repo version.

Fix PT spelling for category links.

Add pt stoplist.

Generate es and pt dictionaries, too.

Fix crash in dictionary generation for PT input.

Support pt and es wiktionary in splitter.

The ES format seems to have changed so we can
now actually use it.

Add pt download, make curl follow "moved permanently" redirects.

Add FR-PT dictionary.

Apply astyle code formatting.

Add support for generating IT-RU dictionary.

Add ES-CA dictionary to generation list.

Fix it-noun parser.

Removes mnull entries in EN-IT dictionary.

Fix typo, not sure what it fixes though.

Add commented out possible future improvements

Partial progress to fix frwiktionary parsing.

Add DE-cmn dictionary to generation list.

Fix special cases for sub-languages like Mandarin.

Support generation FR-AR dictionary.

Add missing | in pattern.

Some bugfixes for generation script.

Reset variables and fix second stop list.

Add two more languages to generation list.

Add support to generate pure translation-to-translation dictionaries.

Ignore any local .class files.

More generic run scripts.

More robust compilation script.

Fix compilation.

Fix filtering out translation from French HTML.

Re-add some English dictionaries after fixing them.

Fix for splitting Mandarin/Cantonese/...

Fix splitting of Greek/Ancient Greek.

Improve tokenizer speed.

Use default Java Collator.

Switch to newer icu4j to fix hang bugs with EN-ZH.

Fix parsing of examples with multiline foreign part.

Minor code cleanup.

Avoid replaceAll.

It uses regexp and is horribly slow, so use replace
where it works just as well.

Free some memory as early as possible.

Fix German name for latin.

Should fix almost all words missing in the DE-LA dictionary.

Fix compilation against latest newformat branch.

Encode URLs as ASCII, avoid UTF-8.

This is necessary for links to work on
Android 2.x.

Improvements to wikisplit code.

Switch script to generate version 7 zips.

Support v006 and v007 dictionary formats.

Support generating DE-JA and DE-RU dictionaries.

Support generating Ancient Greek dictionary.

Add EN-cmn generation.

Add FR-* and IT-* generation support to script.

Add forgotten dictlist files.

Update for new dictionary version URL.

Add generation of DE-* dictionaries.

Expand stoplist.

Some fixes for dictionary generation script.

Fix WiktionarySplitter breakage.

Remove dummy code that makes no sense/does not work.

Try filtering out anagrams from FR dictionary.

Generate more single-language dictionaries.

Partial support for Spanish Wiktionary.

Also accept language variants as Spanish.

Hacks to support Spanish wiktionary.

Need at least 4GB heap to create dictionaries.

Report error when hitting end when searching token.

Add forgotten compression command.

Small updates to dictionary generation.

Add commons-lang3.jar to classpath.

Update for new dictionary release URL.

Add comment about hang issue.

Add script to help with dictionary generation.

Also update en and sv stoplists and parse the
Spanish wiktionary a bit.

Script adds/improvements dictionary generation.

Download latest wiktionary files.

The old ones referenced no longer exist,
so just try with the latest ones.

Add script to update dictionary list in app.

Update file location URL.

Add horrible but working compile/run scripts.

Replace com.sun.xml.internal.rngom.util.Uri.

I have no idea where that package can be found.

Disable some debug code to allow compilation.

Fixes for Malay$ and reorderings due to new ICU4J.

Update WiktionaryLangs.

Dictionary added by Phil.

Updated DictionaryBuilder.jar.

IT-TR dictionary test.