generate_dictionaries.sh

   1 #!/bin/sh
   2 DE_DICTS=true
   3 #DE_DICTS=false
   4 EN_DICTS=true
   5 #EN_DICTS=false
   6 FR_DICTS=true
   7 #FR_DICTS=false
   8 IT_DICTS=true
   9 #IT_DICTS=false
  10 EN_TRANS_DICTS=true
  11 #EN_TRANS_DICTS=false
  12 SINGLE_DICTS="en de fr it es pt"
  13 #SINGLE_DICTS=""
  14
  15 VERSION=v007
  16
  17 #./run.sh --lang1=EN --dictOut=test --dictInfo=test --input0=data/inputs/wikiSplit/en/EN.data  --input0Name=enwikitionary --input0Format=enwiktionary --input0LangPattern=English --input0LangCodePattern=en --input0EnIndex=1 --input0WiktionaryType=EnEnglish
  18
  19 if $EN_DICTS; then
  20 # Note: using input1 seems to hang for ZH currently!
  21 while read langcode langname enlangname ; do
  22 lang=$(echo $langcode | tr '[a-z]' '[A-Z]')
  23 test "$lang" = "CY" && lang=CI
  24 test "$lang" = "CMN" && lang=cmn
  25 test "$lang" = "GRC" && lang=grc
  26 test "$lang" = "HAW" && lang=haw
  27 test "$lang" = "SCN" && lang=scn
  28 test "$lang" = "YUE" && lang=yue
  29 test "$lang" = "PDC" && lang=pdc
  30 test "$lang" = "NDS" && lang=nds
  31 test "$lang" = "CU" && lang=cu
  32 test "$lang" = "ROM" && lang=rom
  33
  34 reverse_dicts=""
  35 if test "$lang" = "DE" -o "$lang" = "FR" -o "$lang" = "IT" ; then
  36 reverse_dicts="--input3=data/inputs/wikiSplit/$langcode/EN.data --input3Format=WholeSectionToHtmlParser --input3Name=${langcode}wikitionary --input3WiktionaryLang=$lang --input3TitleIndex=1 --input3WebUrlTemplate=http://${langcode}.wiktionary.org/wiki/%s"
  37 #reverse_dicts="$reverse_dicts --input4=data/inputs/wikiSplit/$langcode/EN.data --input4Name=${langcode}wikitionary --input4Format=enwiktionary --input4LangPattern=${enlangname} --input4LangCodePattern=en --input4EnIndex=1 --input4WiktionaryType=EnForeign"
  38 fi
  39
  40 stoplist=""
  41 test -e data/inputs/stoplists/${langcode}.txt && stoplist="--lang2Stoplist=data/inputs/stoplists/${langcode}.txt"
  42 ./run.sh --lang1=EN --lang2=$lang --lang1Stoplist=data/inputs/stoplists/en.txt $stoplist --dictOut=data/outputs/EN-${lang}.quickdic --dictInfo="(EN)Wiktionary-based EN-$lang dictionary." --input0=data/inputs/wikiSplit/en/${lang}.data  --input0Name=enwikitionary --input0Format=enwiktionary --input0LangPattern=${langname} --input0LangCodePattern=${langcode} --input0EnIndex=1 --input0WiktionaryType=EnForeign --input1=data/inputs/wikiSplit/en/EN.data --input1Name=enwikitionary --input1Format=enwiktionary --input1LangPattern=${langname} --input1LangCodePattern=${langcode} --input1EnIndex=1 --input1WiktionaryType=EnToTranslation --input2=data/inputs/wikiSplit/en/${lang}.data --input2Format=WholeSectionToHtmlParser --input2Name=enwikitionary --input2WiktionaryLang=EN --input2TitleIndex=2 --input2WebUrlTemplate=http://en.wiktionary.org/wiki/%s $reverse_dicts
  43 rm -f data/outputs/EN-${lang}.quickdic.${VERSION}.zip
  44 7z a -mx=9 data/outputs/EN-${lang}.quickdic.${VERSION}.zip ./data/outputs/EN-${lang}.quickdic
  45
  46 done < EN-foreign-dictlist.txt
  47 fi
  48
  49 # EnEnglish only makes the dictionary cluttered
  50 #./run.sh --lang1=EN --lang1Stoplist=data/inputs/stoplists/en.txt --dictOut=data/outputs/EN.quickdic --dictInfo="Wiktionary-based EN dictionary." --input0=data/inputs/wikiSplit/en/EN.data  --input0Name=enwikitionary --input0Format=enwiktionary --input0LangPattern=English --input0LangCodePattern=en --input0EnIndex=1 --input0WiktionaryType=EnEnglish --input2=data/inputs/wikiSplit/en/EN.data --input2Format=WholeSectionToHtmlParser --input2Name=enwikitionary --input2WiktionaryLang=EN --input2TitleIndex=1 --input2WebUrlTemplate=http://en.wiktionary.org/wiki/%s
  51 #rm -f data/outputs/EN.quickdic.${VERSION}.zip
  52 #7z a -mx=9 data/outputs/EN.quickdic.${VERSION}.zip ./data/outputs/EN.quickdic
  53
  54 for langcode in $SINGLE_DICTS ; do
  55 lang=$(echo $langcode | tr '[a-z]' '[A-Z]')
  56 ./run.sh --lang1=$lang --lang1Stoplist=data/inputs/stoplists/${langcode}.txt --dictOut=data/outputs/${lang}.quickdic --dictInfo="Wiktionary-based ${lang} dictionary." --input1=data/inputs/wikiSplit/${langcode}/${lang}.data --input1Format=WholeSectionToHtmlParser --input1Name=${langcode}wikitionary --input1WiktionaryLang=$lang --input1TitleIndex=1 --input1WebUrlTemplate=http://${langcode}.wiktionary.org/wiki/%s
  57 rm -f data/outputs/${lang}.quickdic.${VERSION}.zip
  58 7z a -mx=9 data/outputs/${lang}.quickdic.${VERSION}.zip ./data/outputs/${lang}.quickdic
  59
  60 done
  61
  62 if $DE_DICTS; then
  63 while read langcode langname ; do
  64 lang=$(echo $langcode | tr '[a-z]' '[A-Z]')
  65 test "$lang" = "CY" && lang=CI
  66 test "$lang" = "CMN" && lang=cmn
  67 test "$lang" = "GRC" && lang=grc
  68 test "$lang" = "HAW" && lang=haw
  69 test "$lang" = "YUE" && lang=yue
  70
  71 reverse_dicts=""
  72 if test "$lang" = "FR" -o "$lang" = "IT" ; then
  73 reverse_dicts="--input3=data/inputs/wikiSplit/$langcode/DE.data --input3Format=WholeSectionToHtmlParser --input3Name=${langcode}wikitionary --input3WiktionaryLang=$lang --input3TitleIndex=1 --input3WebUrlTemplate=http://${langcode}.wiktionary.org/wiki/%s"
  74 fi
  75
  76 stoplist=""
  77 test -e data/inputs/stoplists/${langcode}.txt && stoplist="--lang2Stoplist=data/inputs/stoplists/${langcode}.txt"
  78 input0=""
  79 test -e data/inputs/wikiSplit/de/${lang}.data && input0="--input0=data/inputs/wikiSplit/de/${lang}.data --input0Name=dewikitionary --input0Format=enwiktionary --input0LangPattern=${langname} --input0LangCodePattern=${langcode} --input0EnIndex=1 --input0WiktionaryType=EnForeign"
  80 input2=""
  81 test -e data/inputs/wikiSplit/de/${lang}.data && input2="--input2=data/inputs/wikiSplit/de/${lang}.data --input2Format=WholeSectionToHtmlParser --input2Name=dewikitionary --input2WiktionaryLang=DE --input2TitleIndex=2 --input2WebUrlTemplate=http://de.wiktionary.org/wiki/%s"
  82 ./run.sh --lang1=DE --lang2=$lang --lang1Stoplist=data/inputs/stoplists/de.txt $stoplist --dictOut=data/outputs/DE-${lang}.quickdic --dictInfo="(DE)Wiktionary-based DE-$lang dictionary." $input0 --input1=data/inputs/wikiSplit/en/EN.data --input1Name=enwikitionary --input1Format=EnTranslationToTranslation --input1LangPattern1=de --input1LangPattern2=${langcode} $input2 $reverse_dicts
  83 rm -f data/outputs/DE-${lang}.quickdic.${VERSION}.zip
  84 7z a -mx=9 data/outputs/DE-${lang}.quickdic.${VERSION}.zip ./data/outputs/DE-${lang}.quickdic
  85
  86 done < DE-foreign-dictlist.txt
  87 fi
  88
  89 if $FR_DICTS; then
  90 while read langcode langname ; do
  91 lang=$(echo $langcode | tr '[a-z]' '[A-Z]')
  92 test "$lang" = "CY" && lang=CI
  93 test "$lang" = "CMN" && lang=cmn
  94 test "$lang" = "GRC" && lang=grc
  95 test "$lang" = "HAW" && lang=haw
  96 test "$lang" = "YUE" && lang=yue
  97
  98 reverse_dicts=""
  99 if test "$lang" = "DE" -o "$lang" = "IT" ; then
 100 reverse_dicts="--input3=data/inputs/wikiSplit/$langcode/FR.data --input3Format=WholeSectionToHtmlParser --input3Name=${langcode}wikitionary --input3WiktionaryLang=$lang --input3TitleIndex=1 --input3WebUrlTemplate=http://${langcode}.wiktionary.org/wiki/%s"
 101 fi
 102
 103 stoplist=""
 104 test -e data/inputs/stoplists/${langcode}.txt && stoplist="--lang2Stoplist=data/inputs/stoplists/${langcode}.txt"
 105 ./run.sh --lang1=FR --lang2=$lang --lang1Stoplist=data/inputs/stoplists/fr.txt $stoplist --dictOut=data/outputs/FR-${lang}.quickdic --dictInfo="(FR)Wiktionary-based FR-$lang dictionary." --input0=data/inputs/wikiSplit/fr/${lang}.data --input0Name=frwikitionary --input0Format=enwiktionary --input0LangPattern=${langname} --input0LangCodePattern=${langcode} --input0EnIndex=1 --input0WiktionaryType=EnForeign --input1=data/inputs/wikiSplit/en/EN.data --input1Name=enwikitionary --input1Format=EnTranslationToTranslation --input1LangPattern1=fr --input1LangPattern2=${langcode} --input2=data/inputs/wikiSplit/fr/${lang}.data --input2Format=WholeSectionToHtmlParser --input2Name=frwikitionary --input2WiktionaryLang=FR --input2TitleIndex=2 --input2WebUrlTemplate=http://fr.wiktionary.org/wiki/%s $reverse_dicts
 106 rm -f data/outputs/FR-${lang}.quickdic.${VERSION}.zip
 107 7z a -mx=9 data/outputs/FR-${lang}.quickdic.${VERSION}.zip ./data/outputs/FR-${lang}.quickdic
 108
 109 done < FR-foreign-dictlist.txt
 110 fi
 111
 112 if $IT_DICTS; then
 113 while read langcode langname ; do
 114 lang=$(echo $langcode | tr '[a-z]' '[A-Z]')
 115 test "$lang" = "CY" && lang=CI
 116 test "$lang" = "CMN" && lang=cmn
 117 test "$lang" = "GRC" && lang=grc
 118 test "$lang" = "HAW" && lang=haw
 119 test "$lang" = "YUE" && lang=yue
 120
 121 reverse_dicts=""
 122 if test "$lang" = "FR" -o "$lang" = "DE" ; then
 123 reverse_dicts="--input3=data/inputs/wikiSplit/$langcode/IT.data --input3Format=WholeSectionToHtmlParser --input3Name=${langcode}wikitionary --input3WiktionaryLang=$lang --input3TitleIndex=1 --input3WebUrlTemplate=http://${langcode}.wiktionary.org/wiki/%s"
 124 fi
 125
 126 stoplist=""
 127 test -e data/inputs/stoplists/${langcode}.txt && stoplist="--lang2Stoplist=data/inputs/stoplists/${langcode}.txt"
 128 ./run.sh --lang1=IT --lang2=$lang --lang1Stoplist=data/inputs/stoplists/it.txt $stoplist --dictOut=data/outputs/IT-${lang}.quickdic --dictInfo="(IT)Wiktionary-based IT-$lang dictionary." --input0=data/inputs/wikiSplit/it/${lang}.data --input0Name=itwikitionary --input0Format=enwiktionary --input0LangPattern=${langname} --input0LangCodePattern=${langcode} --input0EnIndex=1 --input0WiktionaryType=EnForeign --input1=data/inputs/wikiSplit/en/EN.data --input1Name=enwikitionary --input1Format=EnTranslationToTranslation --input1LangPattern1=it --input1LangPattern2=${langcode} --input2=data/inputs/wikiSplit/it/${lang}.data --input2Format=WholeSectionToHtmlParser --input2Name=itwikitionary --input2WiktionaryLang=IT --input2TitleIndex=2 --input2WebUrlTemplate=http://it.wiktionary.org/wiki/%s $reverse_dicts
 129 rm -f data/outputs/IT-${lang}.quickdic.${VERSION}.zip
 130 7z a -mx=9 data/outputs/IT-${lang}.quickdic.${VERSION}.zip ./data/outputs/IT-${lang}.quickdic
 131
 132 done < IT-foreign-dictlist.txt
 133 fi
 134
 135 if $EN_TRANS_DICTS; then
 136 while read langcode1 langname1 langcode2 langname2 ; do
 137 lang1=$(echo $langcode1 | tr '[a-z]' '[A-Z]')
 138 lang2=$(echo $langcode2 | tr '[a-z]' '[A-Z]')
 139 test "$lang1" = "CY" && lang1=CI
 140 test "$lang1" = "CMN" && lang1=cmn
 141 test "$lang1" = "GRC" && lang1=grc
 142 test "$lang1" = "HAW" && lang1=haw
 143 test "$lang1" = "YUE" && lang1=yue
 144 test "$lang2" = "CY" && lang2=CI
 145 test "$lang2" = "CMN" && lang2=cmn
 146 test "$lang2" = "GRC" && lang2=grc
 147 test "$lang2" = "HAW" && lang2=haw
 148 test "$lang2" = "YUE" && lang2=yue
 149 stoplist1=""
 150 stoplist2=""
 151 test -e data/inputs/stoplists/${langcode1}.txt && stoplist1="--lang1Stoplist=data/inputs/stoplists/${langcode1}.txt"
 152 test -e data/inputs/stoplists/${langcode2}.txt && stoplist2="--lang2Stoplist=data/inputs/stoplists/${langcode2}.txt"
 153 ./run.sh --lang1=$lang1 --lang2=$lang2 $stoplist1 $stoplist2 --dictOut=data/outputs/${lang1}-${lang2}.quickdic --dictInfo="(EN)Wiktionary-based ${lang1}-${lang2} dictionary." --input1=data/inputs/wikiSplit/en/EN.data --input1Name=enwikitionary --input1Format=EnTranslationToTranslation --input1LangPattern1=${langcode1} --input1LangPattern2=${langcode2}
 154 rm -f data/outputs/${lang1}-${lang2}.quickdic.${VERSION}.zip
 155 7z a -mx=9 data/outputs/${lang1}-${lang2}.quickdic.${VERSION}.zip ./data/outputs/${lang1}-${lang2}.quickdic
 156 done < EN-trans-dictlist.txt
 157 fi