jars/icu4j-4_4_2-src/demos/src/com/ibm/icu/dev/demo/translit/Test_Instructions.html

   1 <html>\r
   2 \r
   3 <head>\r
   4 <meta http-equiv="Content-Language" content="en-us">\r
   5 <meta http-equiv="Content-Type" content="text/html; charset=windows-1252">\r
   6 <meta name="COPYRIGHT" content="Copyright 2006-2007, International Business Machines Corporation and others. All Rights Reserved.">\r
   7 <title>New Transliteration Test Files</title>\r
   8 </head>\r
   9 \r
  10 <body bgcolor="#FFFFFF">\r
  11 \r
  12 <h2>New Transliteration Test Files</h2>\r
  13 <p>The Test_*.html files show the transliteration of characters for given\r
  14 languages. The sample for each language consists of &quot;What Is Unicode&quot;\r
  15 in Thai, followed by other available text. The text is broken apart into\r
  16 sentences for ease of viewing (note: we know of some problems with the sentence\r
  17 rules for Japanese and Chinese). The left column is the original, and the right\r
  18 is the romanization. The program also converts back to the original script. If\r
  19 there is a discrepancy between the source and the reverse transformation, that\r
  20 is indicated by making the background <font color="#FF0000"><b>red</b></font>\r
  21 from that point on.</p>\r
  22 <blockquote>\r
  23   <p><i><b>Note: </b>If you have some more text that you would like added to the\r
  24   sample, just let me know. I am particularly interested in name lists, since\r
  25   they are the typical source.</i></p>\r
  26 </blockquote>\r
  27 <h3>Standards</h3>\r
  28 <p>The goal is to follow a given standard, such as ISO* or UNGEGN wherever\r
  29 possible. We also need to round-trip, so in some cases, that means adding some\r
  30 additional accent marks to disambiguate characters. And often the source\r
  31 standards are missing some characters, such as characters with combining Hamzas\r
  32 in Arabic. Remember that the goal for these is transliteration (unambiguously\r
  33 representing all the letters in the original), not transcription (representing\r
  34 the best pronunciation).</p>\r
  35 <ul>\r
  36   <li><b><a href="Test_Thai-Latin.html">Thai</a>:</b> ISO 11940 &lt; <a href="http://homepage.mac.com/sirbinks/pdf/Thai.r2.pdf">http://homepage.mac.com/sirbinks/pdf/Thai.r2.pdf</a>\r
  37     &gt; plus a few items:\r
  38     <ul>\r
  39       <li>Accents may be added to the Latin for disambiguation.</li>\r
  40       <li>In the next release, we'd like to do the UNGEGN version &lt; <a href="http://www.eki.ee/wgrs/rom1_th.pdf">http://www.eki.ee/wgrs/rom1_th.pdf</a>\r
  41         &gt; which is probably more useful (and readable), and follows more\r
  42         closely the Thai standard.</li>\r
  43       <li>Spaces are provided at word-breaks, using the Thai BreakIterator.</li>\r
  44       <li>An inherent vowel (&#7885;) is added, as in UNGEGN. The dot is for\r
  45         disambiguation.\r
  46         <ul>\r
  47           <li><i>Note: if the inherent vowel positions cannot be algorithmically\r
  48             determined, let me know and I will remove them.</i></li>\r
  49         </ul>\r
  50       </li>\r
  51     </ul>\r
  52   </li>\r
  53   <li><b><a href="Test_Arabic-Latin.html">Arabic</a>: </b>Generally follows\r
  54     UNGEGN &lt; <a href="http://www.eki.ee/wgrs/rom1_ar.pdf">http://www.eki.ee/wgrs/rom1_ar.pdf</a>\r
  55     &gt;\r
  56     <ul>\r
  57       <li>Accents may be added to the Latin for disambiguation.</li>\r
  58       <li>Occasionally deviates in the direction of ISO 233 &lt; <a href="http://homepage.mac.com/sirbinks/pdf/Arabic.pdf">http://homepage.mac.com/sirbinks/pdf/Arabic.pdf</a>\r
  59         &gt;\r
  60         <ul>\r
  61           <li>with underdot instead of cedilla for letter like SAD, since those\r
  62             are explicitly in Unicode for transliteration of Arabic</li>\r
  63           <li>adding extra non-Arabic-language letters, like PEH. Note: not all\r
  64             extended Arabic characters are handled yet.</li>\r
  65         </ul>\r
  66       </li>\r
  67       <li>Does <i>not</i> do assimilation of &quot;al&quot;, nor hyphenation of\r
  68         it.\r
  69         <ul>\r
  70           <li>While it could be done, we need to determine whether a prefix\r
  71             &quot;al&quot; could occur other than as the definite article (since\r
  72             no space is used).</li>\r
  73         </ul>\r
  74       </li>\r
  75       <li>This is transliteration. For <i>transcription</i> one would want an\r
  76         engine that added points appropriately to the Hebrew.</li>\r
  77     </ul>\r
  78   </li>\r
  79   <li><b><a href="Test_Hebrew-Latin.html">Hebrew</a></b><b>: </b>Generally\r
  80     follows UNGEGN &lt; <a href="http://www.eki.ee/wgrs/rom1_he.pdf">http://www.eki.ee/wgrs/rom1_he.pdf</a>\r
  81     &gt;, with some exceptions:\r
  82     <ul>\r
  83       <li>Accents may be added to the Latin for disambiguation.</li>\r
  84       <li>Combinations of dagesh, shin/sin dot that would produce different\r
  85         letters are not yet called out.</li>\r
  86       <li>Note that the final forms are not preserved. Thus, when going from\r
  87         Latin to Hebrew, a character is given final form depending on its\r
  88         position.\r
  89         <ul>\r
  90           <li>E.g. &#1502;&#1501;&#1502;&#1501; =&gt; mmmm =&gt;\r
  91             &#1502;&#1502;&#1502;&#1501;</li>\r
  92         </ul>\r
  93       </li>\r
  94       <li>This is transliteration. For <i>transcription</i> one would want an\r
  95         engine that added points appropriately to the Hebrew.</li>\r
  96       <li>See also &lt; <a href="http://homepage.mac.com/sirbinks/pdf/Hebrew.r1.pdf">http://homepage.mac.com/sirbinks/pdf/Hebrew.r1.pdf</a>\r
  97         &gt; for the ISO version. The Chicago Manual of Style has a clear table\r
  98         of mappings for the vowel marks.</li>\r
  99     </ul>\r
 100   </li>\r
 101   <li><b><a href="Test_Han-Latin.html">Han</a>:</b> Uses the <a href="http://www.mandarintools.com/cedict.html">CEDICT</a>\r
 102     data plus Unicode Unihan <i>kMandarin</i> values for pinyin. Doesn't\r
 103     roundtrip!\r
 104     <ul>\r
 105       <li><i>Note: </i>the Chinese pronunciation of Han characters varies by\r
 106         context and grammar, though nowhere near as much a Japanese.\r
 107         <ul>\r
 108           <li>Ideally we'd have an underlying engine for this. In 2.4 we will\r
 109             have a plug-in interface so that people could add one, such as the\r
 110             IBM engine.</li>\r
 111           <li>The data from CEDICT and Unihan don't list the most frequent\r
 112             choice first, so we will be updating that.</li>\r
 113         </ul>\r
 114       </li>\r
 115     </ul>\r
 116   </li>\r
 117   <li><a href="Test_Greek-Latin_UNGEGN.html"><b>Greek/UNGEGN</b></a>: Uses a\r
 118     modern Greek transliteration, based on the UNGEGN rules at &lt; <a href="http://www.eki.ee/wgrs/rom1_el.pdf">http://www.eki.ee/wgrs/rom1_el.pdf</a>\r
 119     &gt;. This version will not roundtrip ancient Greek.</li>\r
 120   <li><a href="Test_Greek-Latin.html"><b>Greek</b></a>: Uses a classic Greek\r
 121     transliteration. This version will not roundtrip modern Greek.</li>\r
 122 </ul>\r
 123 <h3><b>Notes</b></h3>\r
 124 <ol>\r
 125   <li>For readability, the files have a few other things besides just the\r
 126     transliteration:\r
 127     <ul>\r
 128       <li>The first word of the sentences are titlecased, as are names (where we\r
 129         have a name-list, such as in Thai).</li>\r
 130       <li>The Latin in the original is mapped to the private-use zone before\r
 131         conversion, and then again after conversion. This does have the downside\r
 132         that any rules (such as in Han) that need to know the context (e.g. for\r
 133         inserting spaces or capitalization) will gum up a little bit. This is\r
 134         just an artifact of the test display.</li>\r
 135     </ul>\r
 136   </li>\r
 137   <li>I don't think that ISO 11940 is a particularly good way to romanize, but\r
 138     it is at least complete and a standard. So what I am interested in just for\r
 139     now is whether the samples in the file follow it (with the above\r
 140     exceptions).</li>\r
 141   <li>Some of the files also have a set of characters at the end, one character\r
 142     per row, with a following row listing the hex and name.</li>\r
 143   <li>The source rules for all of these is in the following URL. So if you want\r
 144     to know the details of how the characters are handled, that is the place to\r
 145     look.\r
 146     <ul>\r
 147       <li><a href="http://source.icu-project.org/repos/icu/icu/trunk/source/data/translit/">http://source.icu-project.org/repos/icu/icu/trunk/source/data/translit/</a></li>\r
 148     </ul>\r
 149   </li>\r
 150 </ol>\r
 151 \r
 152 </body>\r
 153 \r
 154 </html>\r