]> gitweb.fperrin.net Git - DictionaryPC.git/commitdiff
Switch script to generate version 7 zips.
authorReimar Döffinger <Reimar.Doeffinger@gmx.de>
Tue, 8 Dec 2015 05:17:48 +0000 (06:17 +0100)
committerReimar Döffinger <Reimar.Doeffinger@gmx.de>
Tue, 8 Dec 2015 05:17:48 +0000 (06:17 +0100)
generate_dictionaries.sh

index cb652a8321ee858b59f5158b4c82a432ed456d6d..b78b508d780b5842c377bb51a5b9beac1b12687f 100755 (executable)
@@ -11,6 +11,8 @@ IT_DICTS=true
 SINGLE_DICTS="en de fr it"
 #SINGLE_DICTS=""
 
+VERSION=v007
+
 #./run.sh --lang1=EN --dictOut=test --dictInfo=test --input0=data/inputs/wikiSplit/en/EN.data  --input0Name=enwikitionary --input0Format=enwiktionary --input0LangPattern=English --input0LangCodePattern=en --input0EnIndex=1 --input0WiktionaryType=EnEnglish
 
 if $EN_DICTS; then
@@ -29,22 +31,22 @@ fi
 stoplist=""
 test -e data/inputs/stoplists/${langcode}.txt && stoplist="--lang2Stoplist=data/inputs/stoplists/${langcode}.txt"
 ./run.sh --lang1=EN --lang2=$lang --lang1Stoplist=data/inputs/stoplists/en.txt $stoplist --dictOut=data/outputs/EN-${lang}.quickdic --dictInfo="(EN)Wiktionary-based EN-$lang dictionary." --input0=data/inputs/wikiSplit/en/${lang}.data  --input0Name=enwikitionary --input0Format=enwiktionary --input0LangPattern=${langname} --input0LangCodePattern=${langcode} --input0EnIndex=1 --input0WiktionaryType=EnForeign --input1=data/inputs/wikiSplit/en/EN.data --input1Name=enwikitionary --input1Format=enwiktionary --input1LangPattern=${langname} --input1LangCodePattern=${langcode} --input1EnIndex=1 --input1WiktionaryType=EnToTranslation --input2=data/inputs/wikiSplit/en/${lang}.data --input2Format=WholeSectionToHtmlParser --input2Name=enwikitionary --input2WiktionaryLang=EN --input2TitleIndex=2 --input2WebUrlTemplate=http://en.wiktionary.org/wiki/%s $reverse_dicts
-rm -f data/outputs/EN-${lang}.quickdic.v006.zip
-7z a -mx=9 data/outputs/EN-${lang}.quickdic.v006.zip ./data/outputs/EN-${lang}.quickdic
+rm -f data/outputs/EN-${lang}.quickdic.${VERSION}.zip
+7z a -mx=9 data/outputs/EN-${lang}.quickdic.${VERSION}.zip ./data/outputs/EN-${lang}.quickdic
 
 done < EN-foreign-dictlist.txt
 fi
 
 # EnEnglish only makes the dictionary cluttered
 #./run.sh --lang1=EN --lang1Stoplist=data/inputs/stoplists/en.txt --dictOut=data/outputs/EN.quickdic --dictInfo="Wiktionary-based EN dictionary." --input0=data/inputs/wikiSplit/en/EN.data  --input0Name=enwikitionary --input0Format=enwiktionary --input0LangPattern=English --input0LangCodePattern=en --input0EnIndex=1 --input0WiktionaryType=EnEnglish --input2=data/inputs/wikiSplit/en/EN.data --input2Format=WholeSectionToHtmlParser --input2Name=enwikitionary --input2WiktionaryLang=EN --input2TitleIndex=1 --input2WebUrlTemplate=http://en.wiktionary.org/wiki/%s
-#rm -f data/outputs/EN.quickdic.v006.zip
-#7z a -mx=9 data/outputs/EN.quickdic.v006.zip ./data/outputs/EN.quickdic
+#rm -f data/outputs/EN.quickdic.${VERSION}.zip
+#7z a -mx=9 data/outputs/EN.quickdic.${VERSION}.zip ./data/outputs/EN.quickdic
 
 for langcode in $SINGLE_DICTS ; do
 lang=$(echo $langcode | tr '[a-z]' '[A-Z]')
 ./run.sh --lang1=$lang --lang1Stoplist=data/inputs/stoplists/${langcode}.txt --dictOut=data/outputs/${lang}.quickdic --dictInfo="Wiktionary-based ${lang} dictionary." --input1=data/inputs/wikiSplit/${langcode}/${lang}.data --input1Format=WholeSectionToHtmlParser --input1Name=${langcode}wikitionary --input1WiktionaryLang=$lang --input1TitleIndex=1 --input1WebUrlTemplate=http://${langcode}.wiktionary.org/wiki/%s
-rm -f data/outputs/${lang}.quickdic.v006.zip
-7z a -mx=9 data/outputs/${lang}.quickdic.v006.zip ./data/outputs/${lang}.quickdic
+rm -f data/outputs/${lang}.quickdic.${VERSION}.zip
+7z a -mx=9 data/outputs/${lang}.quickdic.${VERSION}.zip ./data/outputs/${lang}.quickdic
 
 done
 
@@ -62,8 +64,8 @@ test -e data/inputs/stoplists/${langcode}.txt && stoplist="--lang2Stoplist=data/
 test -e data/inputs/wikiSplit/de/${lang}.data && input0="--input0=data/inputs/wikiSplit/de/${lang}.data --input0Name=dewikitionary --input0Format=enwiktionary --input0LangPattern=${langname} --input0LangCodePattern=${langcode} --input0EnIndex=1 --input0WiktionaryType=EnForeign"
 test -e data/inputs/wikiSplit/de/${lang}.data && input2="--input2=data/inputs/wikiSplit/de/${lang}.data --input2Format=WholeSectionToHtmlParser --input2Name=dewikitionary --input2WiktionaryLang=DE --input2TitleIndex=2 --input2WebUrlTemplate=http://de.wiktionary.org/wiki/%s"
 ./run.sh --lang1=DE --lang2=$lang --lang1Stoplist=data/inputs/stoplists/de.txt $stoplist --dictOut=data/outputs/DE-${lang}.quickdic --dictInfo="(DE)Wiktionary-based DE-$lang dictionary." $input0 --input1=data/inputs/wikiSplit/en/EN.data --input1Name=enwikitionary --input1Format=EnTranslationToTranslation --input1LangPattern1=de --input1LangPattern2=${langcode} $input2 $reverse_dicts
-rm -f data/outputs/DE-${lang}.quickdic.v006.zip
-7z a -mx=9 data/outputs/DE-${lang}.quickdic.v006.zip ./data/outputs/DE-${lang}.quickdic
+rm -f data/outputs/DE-${lang}.quickdic.${VERSION}.zip
+7z a -mx=9 data/outputs/DE-${lang}.quickdic.${VERSION}.zip ./data/outputs/DE-${lang}.quickdic
 
 done < DE-foreign-dictlist.txt
 fi
@@ -80,8 +82,8 @@ fi
 stoplist=""
 test -e data/inputs/stoplists/${langcode}.txt && stoplist="--lang2Stoplist=data/inputs/stoplists/${langcode}.txt"
 ./run.sh --lang1=FR --lang2=$lang --lang1Stoplist=data/inputs/stoplists/fr.txt $stoplist --dictOut=data/outputs/FR-${lang}.quickdic --dictInfo="(FR)Wiktionary-based FR-$lang dictionary." --input0=data/inputs/wikiSplit/fr/${lang}.data --input0Name=frwikitionary --input0Format=enwiktionary --input0LangPattern=${langname} --input0LangCodePattern=${langcode} --input0EnIndex=1 --input0WiktionaryType=EnForeign --input1=data/inputs/wikiSplit/en/EN.data --input1Name=enwikitionary --input1Format=EnTranslationToTranslation --input1LangPattern1=fr --input1LangPattern2=${langcode} --input2=data/inputs/wikiSplit/fr/${lang}.data --input2Format=WholeSectionToHtmlParser --input2Name=frwikitionary --input2WiktionaryLang=FR --input2TitleIndex=2 --input2WebUrlTemplate=http://fr.wiktionary.org/wiki/%s $reverse_dicts
-rm -f data/outputs/FR-${lang}.quickdic.v006.zip
-7z a -mx=9 data/outputs/FR-${lang}.quickdic.v006.zip ./data/outputs/FR-${lang}.quickdic
+rm -f data/outputs/FR-${lang}.quickdic.${VERSION}.zip
+7z a -mx=9 data/outputs/FR-${lang}.quickdic.${VERSION}.zip ./data/outputs/FR-${lang}.quickdic
 
 done < FR-foreign-dictlist.txt
 fi
@@ -98,8 +100,8 @@ fi
 stoplist=""
 test -e data/inputs/stoplists/${langcode}.txt && stoplist="--lang2Stoplist=data/inputs/stoplists/${langcode}.txt"
 ./run.sh --lang1=IT --lang2=$lang --lang1Stoplist=data/inputs/stoplists/it.txt $stoplist --dictOut=data/outputs/IT-${lang}.quickdic --dictInfo="(IT)Wiktionary-based IT-$lang dictionary." --input0=data/inputs/wikiSplit/it/${lang}.data --input0Name=itwikitionary --input0Format=enwiktionary --input0LangPattern=${langname} --input0LangCodePattern=${langcode} --input0EnIndex=1 --input0WiktionaryType=EnForeign --input1=data/inputs/wikiSplit/en/EN.data --input1Name=enwikitionary --input1Format=EnTranslationToTranslation --input1LangPattern1=it --input1LangPattern2=${langcode} --input2=data/inputs/wikiSplit/it/${lang}.data --input2Format=WholeSectionToHtmlParser --input2Name=itwikitionary --input2WiktionaryLang=IT --input2TitleIndex=2 --input2WebUrlTemplate=http://it.wiktionary.org/wiki/%s $reverse_dicts
-rm -f data/outputs/IT-${lang}.quickdic.v006.zip
-7z a -mx=9 data/outputs/IT-${lang}.quickdic.v006.zip ./data/outputs/IT-${lang}.quickdic
+rm -f data/outputs/IT-${lang}.quickdic.${VERSION}.zip
+7z a -mx=9 data/outputs/IT-${lang}.quickdic.${VERSION}.zip ./data/outputs/IT-${lang}.quickdic
 
 done < IT-foreign-dictlist.txt
 fi