Explicitly specify encoding for compile command.

For better usability.

Switch to new dictionary path.

Also handle "paragraph end" newline character.

Replace  sections with only digits by UTF-8.

Exclude some more special titles not relevant for us.

Switch to https download URL.

Explicitly request 4GB RAM to run WiktionarySplitter.

Refine fix for Spanish wiktionary.

Do not hard-code path to java binary.

Improve wiktionary splitter for Spanish and Portuguese

Add french-greek dictionary support.

Add support for generating Romani dictionary.

Move several files out of Util.

Missing part of AR-ES support.

Add AR-ES dictionary generation.

Add German-Thai dictionary to generation list.

Revert accidental changes to generate_dictionaries.sh.

Reduce progress prints and optimize title check.

Minor optimizations for endPage function.

Move code out of loop that had no reason to be in it.

Compress WiktionarySplitter output files.

Saves around 60% of disk space with no significant
difference in speed on a multi-core system.

Support compressed input for parsers.

Add a write buffer to wiktionary splitter outputs.

Around 20% faster processing, and will be useful when
adding compression support as well.

Cache compiled patterns.

Add read-ahead buffer to decompress in parallel.

Allows using more than one CPU core for a good speedup.
Benchmarks:
Uncompressed files:    196.29 CPU, 5:18.34 wall clock time
xz-compressed, before: 299.19 CPU, 5:21.85 wall clock time
xz-compressed, after:  308.96 CPU, 3:29.60 wall clock time

(first was I/O limited, second was CPU-limited, now it is
almost only limited by CPU-time for XML parsing)

WiktionarySplitter: Support compressed inputs.

Unfortunately bzip2 decompression is very slow (slower
than the XML parsing in fact), so it might make sense to
re-compress the downloaded files from bzip2 to xz.
If the decompression could be done in a separate thread,
xz compression would even provide a speedup if the files
are on a slower (non-SSD) disk.

Add logic for generating DE-RO dictionary.

Update to use Dictionary Util subproject.

Switch to FileChannel and using Util from Dictionary subproject.

Add support for generating Low German dictionary.

Prevent inserting duplicate Pairs.

A rather brute-force approach and not
generic, but it's at least an improvement.

Add CollatorWrapper class to prepare for using ICU.

Android should still use java.text, since that is based
on ICU anyway.

Add AR-TR dictionary generation.

Clearer error message if newline could not be found.

Fix wikisplit of Pennsylvania German

Avoids false parse errors due to ]] vs ] ].

Another fix to really skip comments.

Make logging configurable, default to severe only.

Fix skipping of comments.

Add Old Church Slavonic and Pennsylvania German.

Add Sicilian

Update to work with latest Dictionary repo version.

Fix PT spelling for category links.

Add pt stoplist.

Generate es and pt dictionaries, too.

Fix crash in dictionary generation for PT input.

Support pt and es wiktionary in splitter.

The ES format seems to have changed so we can
now actually use it.

Add pt download, make curl follow "moved permanently" redirects.

Add FR-PT dictionary.

Apply astyle code formatting.

Add support for generating IT-RU dictionary.

Add ES-CA dictionary to generation list.

Fix it-noun parser.

Removes mnull entries in EN-IT dictionary.

Fix typo, not sure what it fixes though.

Add commented out possible future improvements

Partial progress to fix frwiktionary parsing.

Add DE-cmn dictionary to generation list.

Fix special cases for sub-languages like Mandarin.

Support generation FR-AR dictionary.

Add missing | in pattern.

Some bugfixes for generation script.

Reset variables and fix second stop list.

Add two more languages to generation list.

Add support to generate pure translation-to-translation dictionaries.

Ignore any local .class files.

More generic run scripts.

More robust compilation script.

Fix compilation.

Fix filtering out translation from French HTML.

Re-add some English dictionaries after fixing them.

Fix for splitting Mandarin/Cantonese/...

Fix splitting of Greek/Ancient Greek.

Improve tokenizer speed.

Use default Java Collator.

Switch to newer icu4j to fix hang bugs with EN-ZH.

Fix parsing of examples with multiline foreign part.

Minor code cleanup.

Avoid replaceAll.

It uses regexp and is horribly slow, so use replace
where it works just as well.

Free some memory as early as possible.

Fix German name for latin.

Should fix almost all words missing in the DE-LA dictionary.

Fix compilation against latest newformat branch.

Encode URLs as ASCII, avoid UTF-8.

This is necessary for links to work on
Android 2.x.

Improvements to wikisplit code.

Switch script to generate version 7 zips.

Support v006 and v007 dictionary formats.

Support generating DE-JA and DE-RU dictionaries.

Support generating Ancient Greek dictionary.

Add EN-cmn generation.

Add FR-* and IT-* generation support to script.

Add forgotten dictlist files.

Update for new dictionary version URL.

Add generation of DE-* dictionaries.

Expand stoplist.

Some fixes for dictionary generation script.

Fix WiktionarySplitter breakage.

Remove dummy code that makes no sense/does not work.

Try filtering out anagrams from FR dictionary.

Generate more single-language dictionaries.

Partial support for Spanish Wiktionary.

Also accept language variants as Spanish.

Hacks to support Spanish wiktionary.