Attempt at using maven for compilation

Escape only unicode chars

Move library search to a common file

Enable single-language dictionary

Fix pathnames

Revert "Fix compile warnings."

This reverts commit 2182783b7ac6a22c23b37db4ba458ff12a6978dc.

Align with optimized Dictionary repo code.

Use optimized StringUtil.split() function.

Also optimize the function extracting entry parts
in brackets or parenthesis.

Some minor optimizations.

Minor simplification of DictFileParser.

Merge pull request #5 from christophlingg/patch-1

include dict.cc entries with subject labels

Merge pull request #3 from zorun/swedish

Add french-swedish dictionary support.

include dict.cc entries with subject labels

I used this script to turn a DE-ES dict.cc file into a quickdic compatible with my Tolino. From the original 45k entries more than 20k were dropped because they had a subject label:

> WARNING: Malformed line: Atomphysik {f} física {f} atómica noun [phys.]

This change allows lines to have 4 fields/columns: `language1`, `language2`, `word class`,  `subject labels`.

see also https://github.com/natowi/quickdic-dictionary.dictionarypc/issues/1

Add native-image.cmd to build a Windows native binary

Explicitly specify source and target for javac command.

Necessary to limit to Java 11 for compatibility with native-image.

WiktionarySplitter: implement parallel processing

Also reduce memory footprint to enable that.

Add scripts to compile a native image.

Change scripts to be able to use a native-image binary instead.

Also support CheckDictionariesMain in Runner.

Add Runner class to allow to run all of the programs.

Thus allows to provide a single runnable jar or even
native-image to provide all functionality.

Write v6 stoplist without using serialization features.

Add parallel HashMap for faster lookups.

Fix compilation.

Caused by lack of testing of the testing script :)

Avoid unnecessary use of String.format.

Optimize escapedFindEnd.

Optimize finding start of next token.

Simplify newline handling and regexes.

Optimize plaintext dispatch path.

About 11% faster.

Fix run command, commons-lang3 is still needed (by commons-text).

Optimize comparisons for TreeMap.

Minor automated code simplifications.

Avoid creating the same Matchers over and over.

Move v6 writing code here from Android code repo.

Add code to convert a Dictionary to the old v6 format.

Remove more left-overs from xerces dependency.

Get rid of xerces dependency.

Relying on the standard XML implementation is a lot slower,
but the WiktionarySplitter run still only takes a few minutes.

Update runner scripts for compilation into bin/

Consistent EOL format.

Enable all compiler warnings (-Xlint:all).

Remove long obsolete googlecode_upload.py

Put compiled .class files into bin/ directory.

Cleaner than having them all over.
Also update gitignore file.

Delete included jars, they are not the right versions anyway.

Update run command to commons-text instead of commons-lang3

Import cleanup/changes for Eclipse compatibility.

Unfortunately Eclipse insists on fiddling with imports
without knowing what it does, thus breaking compilation
and in one case causing a bug that will result in
subtly broken dictionaries.

Minor code cleanup.

Fix compile warnings.

Remove unused functions that cause warnings.

Explicitly specify encoding for compile command.

For better usability.

Switch to new dictionary path.

Also handle "paragraph end" newline character.

Replace  sections with only digits by UTF-8.

Exclude some more special titles not relevant for us.

Switch to https download URL.

Add french-swedish dictionary support.

Explicitly request 4GB RAM to run WiktionarySplitter.

Refine fix for Spanish wiktionary.

Do not hard-code path to java binary.

Improve wiktionary splitter for Spanish and Portuguese

Add french-greek dictionary support.

Add support for generating Romani dictionary.

Move several files out of Util.

Missing part of AR-ES support.

Add AR-ES dictionary generation.

Add German-Thai dictionary to generation list.

Revert accidental changes to generate_dictionaries.sh.

Reduce progress prints and optimize title check.

Minor optimizations for endPage function.

Move code out of loop that had no reason to be in it.

Compress WiktionarySplitter output files.

Saves around 60% of disk space with no significant
difference in speed on a multi-core system.

Support compressed input for parsers.

Add a write buffer to wiktionary splitter outputs.

Around 20% faster processing, and will be useful when
adding compression support as well.

Cache compiled patterns.

Add read-ahead buffer to decompress in parallel.

Allows using more than one CPU core for a good speedup.
Benchmarks:
Uncompressed files:    196.29 CPU, 5:18.34 wall clock time
xz-compressed, before: 299.19 CPU, 5:21.85 wall clock time
xz-compressed, after:  308.96 CPU, 3:29.60 wall clock time

(first was I/O limited, second was CPU-limited, now it is
almost only limited by CPU-time for XML parsing)

WiktionarySplitter: Support compressed inputs.

Unfortunately bzip2 decompression is very slow (slower
than the XML parsing in fact), so it might make sense to
re-compress the downloaded files from bzip2 to xz.
If the decompression could be done in a separate thread,
xz compression would even provide a speedup if the files
are on a slower (non-SSD) disk.

Add logic for generating DE-RO dictionary.

Update to use Dictionary Util subproject.

Switch to FileChannel and using Util from Dictionary subproject.

Add support for generating Low German dictionary.

Prevent inserting duplicate Pairs.

A rather brute-force approach and not
generic, but it's at least an improvement.

Add CollatorWrapper class to prepare for using ICU.

Android should still use java.text, since that is based
on ICU anyway.

Add AR-TR dictionary generation.

Clearer error message if newline could not be found.

Fix wikisplit of Pennsylvania German

Avoids false parse errors due to ]] vs ] ].

Another fix to really skip comments.

Make logging configurable, default to severe only.

Fix skipping of comments.

Add Old Church Slavonic and Pennsylvania German.

Add Sicilian

Update to work with latest Dictionary repo version.

Fix PT spelling for category links.

Add pt stoplist.

Generate es and pt dictionaries, too.

Fix crash in dictionary generation for PT input.

Support pt and es wiktionary in splitter.

The ES format seems to have changed so we can
now actually use it.

Add pt download, make curl follow "moved permanently" redirects.

Add FR-PT dictionary.

Apply astyle code formatting.

Add support for generating IT-RU dictionary.

Add ES-CA dictionary to generation list.