[Tamil] Incorrect normalization outputs across various test cases

[veera-puthiran-14082]

Tamil text normalization errors: what we get now vs what we want

The Tamil text normalizer produces incorrect output across several test cases. Below is a breakdown comparing the current Tamil normalizer output against the English NeMo baseline and the expected Tamil normalization.

Setup used for the comparison: indic_text_normalization 0.1.0 with lang='ta' against
nemo_text_processing 1.2.0 with lang='en'. Every output below came from actually running both
normalizers.

---

E1. Hundreds are read in a broken way

Numbers with three or more digits come out as malformed Tamil, and the same broken piece goes
inside thousands, lakhs and crores too. There are three separate mistakes here.

E1a. An extra space appears before நூற்றுப்

The prefix should join with நூறு/நூற்று into one word, but in the tens cases a space slips in.
Also நூற்றுப் is used every time, even before a vowel where plain நூற்று is right.

Input	Current Tamil output	English output	Expected Tamil
110	நூற்றுப் பத்து	one hundred and ten	நூற்றுப்பத்து
123	நூற்றுப் இருபத்துமூன்று	one hundred and twenty three	நூற்றிருபத்துமூன்று
145	நூற்றுப் நாற்பத்தைந்து	one hundred and forty five	நூற்று நாற்பத்தைந்து
210	இரு நூற்றுப் பத்து	two hundred and ten	இருநூற்றுப்பத்து
250	இரு நூற்றுப் ஐம்பது	two hundred and fifty	இருநூற்று ஐம்பது
345	முன் நூற்றுப் நாற்பத்தைந்து	three hundred and forty five	முந்நூற்று நாற்பத்தைந்து
450	நான் நூற்றுப் ஐம்பது	four hundred and fifty	நானூற்று ஐம்பது
678	அறு நூற்றுப் எழுபத்தெட்டு	six hundred and seventy eight	அறுநூற்று எழுபத்தெட்டு
765	எழு நூற்றுப் அறுபத்தைந்து	seven hundred and sixty five	எழுநூற்று அறுபத்தைந்து
910	தொள்ளாயிரத்து பத்து	nine hundred and ten	தொள்ளாயிரத்துப் பத்து
5678	ஐந்து ஆயிரம் அறு நூற்றுப் எழுபத்தெட்டு	five thousand six hundred and seventy eight	... அறுநூற்று எழுபத்தெட்டு

The 5678 row shows the same broken part sitting inside a bigger number. Its ஐந்து ஆயிரம் should
be ஐயாயிரம், but that is the known thousands problem.

E1b. No vowel joining between நூற்று and the digit word

நூற்று and the next digit word are simply stuck together, so the join sounds wrong. The code even
says 101 = நூற்றொன்று in its own comment, but gives நூற்றுஒன்று.

Input	Current Tamil output	English output	Expected Tamil
101	நூற்றுஒன்று	one hundred and one	நூற்றொன்று
105	நூற்றுஐந்து	one hundred and five	நூற்றைந்து
155	நூற்றைம்பத்துஐந்து	one hundred and fifty five	நூற்றைம்பத்தைந்து
199	நூற்றொண்ணூற்றுஒன்பது	one hundred and ninety nine	நூற்றொண்ணூற்றொன்பது

E1c. Round hundreds are missing the nasal change

The prefix is joined to நூறு without the sound change Tamil needs, so three of the eight round
hundreds are wrong. 200, 500 and 700 happen to be fine.

Input	Current Tamil output	English output	Expected Tamil
300	முன்நூறு	three hundred	முந்நூறு
400	நான்நூறு	four hundred	நானூறு
800	எண்நூறு	eight hundred	எண்ணூறு

---

E2. Any two number groups with a dash or dot are read as a phone number

The phone rule asks for one separator and no minimum digit count, and it runs before everything else.
So anything like digits<sep>digits is read one digit at a time with the separator dropped. Even
3-2 is tagged as a phone number.

Input	Current Tamil output	English output	Expected Tamil
10-20 வயது சிறுவர்கள்.	ஒன்று பூஜ்யம் இரண்டு பூஜ்யம் வயது சிறுவர்கள்.	Children aged ten - twenty.	பத்து முதல் இருபது வயது ...
12-15 நபர்கள்.	ஒன்று இரண்டு ஒன்று ஐந்து நபர்கள்.	twelve - fifteen people.	பன்னிரண்டு முதல் பதினைந்து ...
பக்கம் 45-60 படி.	பக்கம் நான்கு ஐந்து ஆறு பூஜ்யம் படி.	Read pages forty five - sixty.	... நாற்பத்தைந்து முதல் அறுபது ...
1990-2000 காலகட்டம்.	ஒன்று ஒன்பது ஒன்பது பூஜ்யம் இரண்டு பூஜ்யம் பூஜ்யம் பூஜ்யம் காலகட்டம்.	The nineteen ninety to two thousand period.	ஆயிரத்து தொள்ளாயிரத்து தொண்ணூறு முதல் இரண்டாயிரம் ...
இந்தியா 3-2 என வென்றது.	இந்தியா மூன்று இரண்டு என வென்றது.	India won three - two.	... மூன்றுக்கு இரண்டு ...
2024-01-15 தேதியில்.	இரண்டு பூஜ்யம் இரண்டு நான்கு பூஜ்யம் ஒன்று ஒன்று ஐந்து தேதியில்.	On the date january fifteenth twenty twenty four.	இரண்டாயிரத்து இருபத்துநான்கு ஜனவரி பதினைந்து ...
2023-11-05 அன்று.	இரண்டு பூஜ்யம் இரண்டு மூன்று ஒன்று ஒன்று பூஜ்யம் ஐந்து அன்று.	On november fifth twenty twenty three.	இரண்டாயிரத்து இருபத்துமூன்று நவம்பர் ஐந்து அன்று
192.168.1.1 முகவரி.	ஒன்று ஒன்பது இரண்டு ஒன்று ஆறு எட்டு ஒன்று ஒன்று முகவரி.	The address one nine two dot one six eight dot one dot one.	... புள்ளி ... kept between the parts
2.5 கிலோ அரிசி வாங்கினேன்.	இரண்டு ஐந்து கிலோ அரிசி வாங்கினேன்.	I bought two point five kilograms of rice.	இரண்டு புள்ளி ஐந்து கிலோகிராம் ...

A working ISO date rule and a working range rule (dash to முதல்) already exist in the code. Neither
one ever runs, because the phone rule wins the span first.

---

E3. Numbers with Tamil case endings are not touched at all

Tamil sticks case endings straight onto the number, and there is no rule for these forms, so the
digits reach the TTS as digits. The suffix table has only ஆம் and வது, nothing for ல்/இல்,
க்கு, ஐ, ன் or ஓடு.

Input	Current Tamil output	English output	Expected Tamil
2024ல் நடந்தது.	2024ல் நடந்தது. (no change)	It happened in twenty twenty four.	இரண்டாயிரத்து இருபத்துநான்கில் நடந்தது.
2024இல் நடந்தது.	2024இல் நடந்தது. (no change)	It happened in twenty twenty four.	இரண்டாயிரத்து இருபத்துநான்கில் நடந்தது.
500க்கு வாங்கினேன்.	500க்கு வாங்கினேன். (no change)	I bought it for five hundred.	ஐந்நூறுக்கு வாங்கினேன்.
20க்கு மேல்.	20க்கு மேல். (no change)	More than twenty.	இருபதுக்கு மேல்.
100ஐ கொடுத்தான்.	100ஐ கொடுத்தான். (no change)	He gave one hundred.	நூறை கொடுத்தான்.
10ன் மதிப்பு.	10ன் மதிப்பு. (no change)	The value of ten.	பத்தின் மதிப்பு.
5ஓடு சேர்.	5ஓடு சேர். (no change)	Add with five.	ஐந்தோடு சேர்.
கி.பி. 1000ல் சோழர் ஆட்சி.	கிறிஸ்து பிறகு 1000ல் சோழர் ஆட்சி.	Chola rule in one thousand AD.	... ஆயிரத்தில் சோழர் ஆட்சி.

In the last row கி.பி. was expanded properly, so the sentence did reach the tagger. The number was
skipped only because of the ending stuck to it.

---

E4. Ordinal endings are joined in the wrong way

The number word and the ordinal ending are put next to each other with no sound change and no space,
so the result is not a real Tamil word.

Input	Current Tamil output	English output	Expected Tamil
2வது முறையாக வந்தான்.	இரண்டுவது முறையாக வந்தான்.	He came for the second time.	இரண்டாவது முறையாக வந்தான்.
௨வது முறை.	இரண்டுவது முறை.	The second time.	இரண்டாவது முறை.
10ஆம் வகுப்பு படிக்கிறான்.	பத்துஆம் வகுப்பு படிக்கிறான்.	He studies in tenth class.	பத்தாம் வகுப்பு படிக்கிறான்.

An exceptions table holds the right irregular forms (௨ to இரண்டாவது, ௧௦ to பத்தாவது), but it
maps the bare digit only, so an input carrying an ending can never match it. The second row shows it:
௨வது still gives இரண்டுவது.

---

E5. Multiply and divide signs are not handled

The data files already define × as பெருக்கல், ÷ as வகுத்தல் and / as வகுத்தல் or
வெட்டுக்கோடு, but the math rule does not include these three signs in its operator list.

Input	Current Tamil output	English output	Expected Tamil
5×3=15 ஆகும்.	5×3=15 ஆகும். (no change)	five times three equals fifteen.	ஐந்து பெருக்கல் மூன்று சமம் பதினைந்து ஆகும்.
5×3 என்பது 15.	5×3 என்பது பதினைந்து.	5×3 is fifteen.	ஐந்து பெருக்கல் மூன்று என்பது பதினைந்து.
100÷4 என்பது 25.	100÷4 என்பது இருபத்தைந்து.	100÷4 is twenty five.	நூறு வகுத்தல் நான்கு என்பது இருபத்தைந்து.
100/4=25 ஆகும்.	100/4=25 ஆகும். (no change)	one hundred divided four equals twenty five.	நூறு வகுத்தல் நான்கு சமம் இருபத்தைந்து ஆகும்.

5×3=15 and 100/4=25 stay fully unconverted, digits included. 100/4=25 has a second problem too:
the fraction rule grabs it as numerator நூறு over நான்கு, and then hits the known bug where the
numerator is not 1.

---

E6. Tamil short forms of units are never expanded

The unit table holds only Latin symbols like kg, cm and ml, and the abbreviation table holds
only titles like டாக். and புரோ.. No Tamil unit short form exists in the data, so the number is
converted while the unit passes through with its dots.

Input	Current Tamil output	English output	Expected Tamil
5 கி.மீ. நடந்தேன்.	ஐந்து கி.மீ. நடந்தேன்.	I walked five kilometers.	ஐந்து கிலோ மீட்டர் நடந்தேன்.
30 செ.மீ. நீளம்.	முப்பது செ.மீ. நீளம்.	thirty centimeters length.	முப்பது சென்டி மீட்டர் நீளம்.
500 மி.லி. தண்ணீர்.	ஐந்நூறு மி.லி. தண்ணீர்.	five hundred milliliters of water.	ஐந்நூறு மில்லி லிட்டர் தண்ணீர்.
5 கி.கி. எடை.	ஐந்து கி.கி. எடை.	five kilograms weight.	ஐந்து கிலோ கிராம் எடை.

The leftover dot hurts later too, since it reads like the end of a sentence. The tags show the split:
one token for கி.மீ and another for ..

---

E7. Numbers that start with zeros stay as digits

Leading zeros are handled for exactly two digits and no more, so any longer run is not converted.

Input	Current Tamil output	English output	Expected Tamil
007 என்ற எண்.	007 என்ற எண். (no change)	The number zero zero seven.	பூஜ்யம் பூஜ்யம் ஏழு என்ற எண்.
(044) எண்.	( 044 ) எண்.	The code (zero four four).	பூஜ்யம் நான்கு நான்கு எண்.

---

E8. Plus and hash in front of a number are not read out

The symbol table maps + to கூட்டல் and # to ஹாஷ், but both characters are also in the
punctuation set, which is applied first and keeps them as plain characters. The tags show +91 as a
+ token followed by a cardinal token.

Input	Current Tamil output	English output	Expected Tamil
+91 என்பது குறியீடு.	+ தொண்ணூற்றொன்று என்பது குறியீடு.	plus ninety one is the code.	பிளஸ் தொண்ணூற்றொன்று என்பது குறியீடு.
#1 இடம் பிடித்தான்.	# ஒன்று இடம் பிடித்தான்.	He took the hash one place.	ஹாஷ் ஒன்று இடம் பிடித்தான்.
#5 வரிசை.	# ஐந்து வரிசை.	Row hash five.	ஹாஷ் ஐந்து வரிசை.

---

Other cases

Input	Current Tamil output	English output	Note
SBIN0001234 என்ற IFSC.	SBIN0001234 என்ற IFSC. (no change)	The IFSC is SBIN zero zero zero one two three four.	the serial rule needs a separator, so a code with letters and digits stuck together is skipped
ABC123 என்ற குறியீடு.	ABC நூற்றுப் இருபத்துமூன்று என்ற குறியீடு.	The code ABC one hundred twenty three.	double space, plus the same E1a problem
ABCDE1234F என்ற PAN.	ABCDE ஒன்று ஆயிரம் இரு நூற்றுப் முப்பத்துநான்கு F என்ற PAN.	The PAN is ABCDE one thousand two hundred thirty four F.	both read the ID digits as a full number, and Tamil also hits E1a
.5 லிட்டர் பால்.	. ஐந்து லிட்டர் பால்.	point five litres of milk.	the leading decimal point is kept as a plain .

Thanks for all the work on this library! Looking forward to hearing your thoughts on these cases. Could we expect a fix for these in an upcoming release?

[veera-puthiran-14082]

For numbers to words in indic languages, found this
just sharing here for reference