greek_lemmatized_sents.pickle contains lemmas that start with non-alphabetic characters

[whoopsedesy]

This analysis stems from sasansom/sedes#72. I am using commit 94c04ac.

greek_lemmatized_sents.pickle contains a few hundred lemmas that do not begin with an alphabetic character, for words that do begin with an alphabetic character. In most cases, it these are punctuation, or combining characters wrongly placed before the first letter of the word, not after.

An example of this is ἑκάεργον mapping to ʽἑκάεργος; where the latter string is

U+02BD MODIFIER LETTER REVERSED COMMA
U+1F11 GREEK SMALL LETTER EPSILON WITH DASIA
U+03BA GREEK SMALL LETTER KAPPA
U+03AC GREEK SMALL LETTER ALPHA WITH TONOS
U+03B5 GREEK SMALL LETTER EPSILON
U+03C1 GREEK SMALL LETTER RHO
U+03B3 GREEK SMALL LETTER GAMMA
U+03BF GREEK SMALL LETTER OMICRON
U+03C2 GREEK SMALL LETTER FINAL SIGMA

Another example is Ἄρτεμιν to ῎ἄρτεμις,

U+1FCE GREEK PSILI AND OXIA
U+1F04 GREEK SMALL LETTER ALPHA WITH PSILI AND OXIA
U+03C1 GREEK SMALL LETTER RHO
U+03C4 GREEK SMALL LETTER TAU
U+03B5 GREEK SMALL LETTER EPSILON
U+03BC GREEK SMALL LETTER MU
U+03B9 GREEK SMALL LETTER IOTA
U+03C2 GREEK SMALL LETTER FINAL SIGMA

To get a list of the affected mappings:

>>> import os.path, pickle, unicodedata
>>> with open(os.path.expanduser("~/cltk_data/grc/model/grc_models_cltk/lemmata/backoff/greek_lemmatized_sents.pickle"), "rb") as f:
...     model = pickle.load(f)
>>> len(model)
33555
>>> len([(word, lemma) for sent in model for (word, lemma) in sent if unicodedata.category(word[0]) in ("Ll", "Lu") and not unicodedata.category(lemma[0]) in ("Ll", "Lu")])
417

>>> for x in sorted((word, lemma) for sent in model for (word, lemma) in sent if unicodedata.category(word[0]) in ("Ll", "Lu") and not unicodedata.category(lemma[0]) in ("Ll", "Lu")): print(x)

('Αἴδου', 'ᾍδης')
('δ̓', '??')
('δ̓', '??')
('δ̓', '??')
('δ̓', '??')
('δ̓', '??')
('δ̓', '??')
('δ̓', '??')
('δ̓', '??')
('δ̓', '??')
('δ̓', '??')
('καὶ', '???')
('τε', '??')
('τε', '??')
('τοὐλπιανοῦ', '̓Ουλπιανός')
('ἀμφὶς', '̓ἀμφίς')
('ἁλοσύδνης', 'ʽἁλοσύδνη')
('Ἀΐδα', 'ᾍδης')
('Ἀΐδαν', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδαο', 'ᾍδης')
('Ἀΐδεω', 'ᾍδης')
('Ἀΐδης', 'ᾍδης')
('Ἀΐδης', 'ᾍδης')
('Ἀΐδης', 'ᾍδης')
('Ἀΐδου', 'ᾍδης')
('Ἀΐδῃ', 'ᾍδης')
('Ἀίδα', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδαο', 'ᾍδης')
('Ἀίδας', 'ᾍδης')
('Ἀίδεω', 'ᾍδης')
('Ἀίδεω', 'ᾍδης')
('Ἀίδεω', 'ᾍδης')
('Ἀίδεω', 'ᾍδης')
('Ἀίδεω', 'ᾍδης')
('Ἀίδεω', 'ᾍδης')
('Ἀίδη', 'ᾍδης')
('Ἀίδην', 'ᾍδης')
('Ἀίδης', 'ᾍδης')
('Ἀίδᾳ', 'ᾍδης')
('Ἀίδῃ', 'ᾍδης')
('Ἀγάθων', '̓Αγάθων')
('Ἀγαμέμνων', '̓ἀγαμέμνων')
('Ἀγχίσην', '̓ἀγχίσης')
('Ἀγῆνα', '̓Αγῆν')
('Ἀγῆνα', '̓Αγῆν')
('Ἀγῆνος', '̓Αγῆν')
('Ἀγῆνος', '̓Αγῆν')
('Ἀδαῖος', '̓Αδαῖος')
('Ἀδραμύτην', '̓Αδραμύτης')
('Ἀδὺν', '̓Αδύς')
('Ἀθήνη', '̓ἀθήνη')
('Ἀθήνη', '̓ἀθήνη')
('Ἀθήνη', '̓ἀθήνη')
('Ἀθήνη', '̓ἀθήνη')
('Ἀθήνη', '̓ἀθήνη')
('Ἀθήνη', '̓ἀθήνη')
('Ἀθήνῃ', '̓ἀθήνη')
('Ἀθήνῃ', '̓ἀθήνη')
('Ἀθανᾶς', '̓Αθήνη')
('Ἀθηναίης', '̓ἀθήνη')
('Ἀθηναίης', '̓ἀθήνη')
('Ἀθηναίης', '̓ἀθήνη')
('Ἀθηναίων', '̓ἀθηναῖος')
('Ἀθηνῶν', '̓ἀθῆναι')
('Ἀκταίη', '̓ἀκταίη')
('Ἀλέξανδρος', '̓Αλέξανδρος')
('Ἀλέξανδρος', '̓Αλέξανδρος')
('Ἀλέξανδρος', '̓Αλέξανδρος')
('Ἀλέξανδρος', '̓Αλέξανδρος')
('Ἀλέξανδρος', '̓Αλέξανδρος')
('Ἀλέξανδρος', '̓Αλέξανδρος')
('Ἀλέξανδρος', '̓Αλέξανδρος')
('Ἀλέξανδρος', '̓ἀλέξανδρος')
('Ἀλέξανδρόν', '̓Αλέξανδρος')
('Ἀλεξάνδρῳ', '̓Αλέξανδρος')
('Ἀλεξάνδρῳ', '̓ἀλέξανδρος')
('Ἀλεξάνδρῳ', '̓ἀλέξανδρος')
('Ἀλκαίου', '̓Αλκαῖος')
('Ἀλκαίου', '̓Αλκαῖος')
('Ἀλκινόου', '̓ἀλκίνοος')
('Ἀμφίμαχον', '̓ἀμφίμαχος')
('Ἀνάνιος', '̓Ανάνις')
('Ἀναβαραξάρου', '̓Αναβαραξάρος')
('Ἀνδρομάχη', '̓ἀνδρομάχη')
('Ἀνθρωπος', '̓́Ανθρωπος')
('Ἀντιλαίδι', '̓Αντιλαίς')
('Ἀντιλόχῳ', '̓ἀντίλοχος')
('Ἀπόλλων', '̓ἀπόλλων')
('Ἀπόλλων', '̓ἀπόλλων')
('Ἀπόλλων', '̓ἀπόλλων')
('Ἀπόλλωνι', '̓ἀπόλλων')
('Ἀπόλλωνος', '̓ἀπόλλων')
('Ἀράξεω', '̓Αράξης')
('Ἀράξεω', '̓Αράξης')
('Ἀράξεω', '̓Αραξης')
('Ἀρήτην', '̓ἀρήτη')
('Ἀργεία', '̓ἀργεῖος')
('Ἀργείοις', '̓ἀργεῖος')
('Ἀργείοις', '̓ἀργεῖος')
('Ἀργείοις', '̓ἀργεῖος')
('Ἀργείοισιν', '̓ἀργεῖος')
('Ἀργείοισιν', '̓ἀργεῖος')
('Ἀργείοισιν', '̓ἀργεῖος')
('Ἀργείων', '̓ἀργεῖος')
('Ἀργείων', '̓ἀργεῖος')
('Ἀργείων', '̓ἀργεῖος')
('Ἀργείων', '̓ἀργεῖος')
('Ἀργείων', '̓ἀργεῖος')
('Ἀργείων', '̓ἀργεῖος')
('Ἀργείων', '̓ἀργεῖος')
('Ἀργείων', '̓ἀργεῖος')
('Ἀργείων', '̓ἀργεῖος')
('Ἀργείᾳ', '̓ἀργεῖος')
('Ἀργείᾳ', '̓ἀργεῖος')
('Ἀργεῖον', '̓ἀργεῖος')
('Ἀργεῖον', '̓ἀργεῖος')
('Ἀρείου', '̓Αρείος')
('Ἀριστοξένην', '̓Αριστοξένη')
('Ἀριστοξένης', '̓Αριστοξένη')
('Ἀρτέμων', '̓Αρτέμων')
('Ἀρτέμων', '̓Αρτέμων')
('Ἀρχίππη', '̓Αρχίππη')
('Ἀρχίππη', '̓Αρχίππη')
('Ἀρχίππην', '̓Αρχίππη')
('Ἀρχεάνασσαν', '̓Αρχεάνασσα')
('Ἀρχεάνασσαν', '̓Αρχεάνασσα')
('Ἀσίαν', '̓Ασία')
('Ἀσίαν', '̓Ασία')
('Ἀσίαν', '̓Ασία')
('Ἀσίαν', '̓Ασία')
('Ἀσίαν', '̓Ασία')
('Ἀσίαν', '̓Ασία')
('Ἀσίαν', '̓Ασία')
('Ἀσίας', '̓Ασία')
('Ἀσίας', '̓Ασία')
('Ἀσίη', '̓ἀσία')
('Ἀσίην', '̓Ασία')
('Ἀσίην', '̓Ασία')
('Ἀσίην', '̓Ασία')
('Ἀσίην', '̓Ασία')
('Ἀσίην', '̓Ασία')
('Ἀσίης', '̓Ασία')
('Ἀσίης', '̓Ασία')
('Ἀσίης', '̓Ασία')
('Ἀσίης', '̓Ασία')
('Ἀσίης', '̓Ασία')
('Ἀσίης', '̓Ασία')
('Ἀσίης', '̓Ασία')
('Ἀσίης', '̓Ασία')
('Ἀσίῃ', '̓Ασία')
('Ἀσίῃ', '̓Ασία')
('Ἀσκληπιάδῃ', '̓ἀσκληπιάδης')
('Ἀσπασίας', '̓Ασπάσια')
('Ἀσπασίας', '̓Ασπασία')
('Ἀσπασίας', '̓Ασπασία')
('Ἀσπασίας', '̓Ασπασία')
('Ἀσωποῦ', '̓ἀσωπός')
('Ἀτρεΐδη', '̓ἀτρείδης')
('Ἀτρεΐδης', '̓ἀτρείδης')
('Ἀτρείδαις', '̓ἀτρείδης')
('Ἀτρείδαις', '̓ἀτρείδης')
('Ἀτρείδαις', '̓ἀτρείδης')
('Ἀτρείδαις', '̓ἀτρείδης')
('Ἀτρείδαισιν', '̓ἀτρείδης')
('Ἀτρειδᾶν', '̓ἀτρείδης')
('Ἀτρειδῶν', '̓ἀτρείδης')
('Ἀτρειδῶν', '̓ἀτρείδης')
('Ἀτρειδῶν', '̓ἀτρείδης')
('Ἀφροδίτας', '̓ἀφροδίτη')
('Ἀφροδίτας', '̓ἀφροδίτη')
('Ἀφροδίτης', '̓ἀφροδίτη')
('Ἀχαιοὶ', '̓ἀχαιός')
('Ἀχαιοῖς', '̓ἀχαιός')
('Ἀχαιῶν', '̓ἀχαιός')
('Ἀχαιῶν', '̓ἀχαιός')
('Ἀχαιῶν', '̓ἀχαιός')
('Ἀχαιῶν', '̓ἀχαιός')
('Ἀχαιῶν', '̓ἀχαιός')
('Ἀχελωίδες', '̓ἀχελωίδες')
('Ἀχιλεῦ', '̓ἀχιλλεύς')
('Ἁλιεῖς', '̔Αλιεύς')
('Ἄιδος', 'ᾍδης')
('Ἄιδόσδε', 'ᾍδης')
('Ἄλεξις', '̓́Αλεξις')
('Ἄμμωνα', '̓́Αμμων')
('Ἄνθις', '̓́Ανθις')
('Ἄνυτον', '̓́Ανυτος')
('Ἄνυτον', '̓́Ανυτος')
('Ἄπολλον', '̓ἀπόλλων')
('Ἄπολλον', '̓ἀπόλλων')
('Ἄππιον', '̓́Αππιος')
('Ἄππιον', '̓́Αππιος')
('Ἄππιον', '̓́Αππιος')
('Ἄργον', '῎ἄργος')
('Ἄρη', '῎Αρης')
('Ἄρηα', '῎ἄρης')
('Ἄρηα', '῎ἄρης')
('Ἄρηος', '῎ἄρης')
('Ἄρης', '῎ἄρης')
('Ἄρτεμιν', '῎ἄρτεμις')
('Ἄρτεμις', '῎ἄρτεμις')
('Ἄρτεμις', '῎ἄρτεμις')
('Ἄϊδι', 'ᾍδης')
('Ἄϊδος', 'ᾍδης')
('Ἄϊδος', 'ᾍδης')
('Ἄϊδόσδε', 'ᾍδης')
('Ἅιδα', 'ᾍδης')
('Ἅιδα', 'ᾍδης')
('Ἅιδαν', 'ᾍδης')
('Ἅιδαν', 'ᾍδης')
('Ἅιδαν', 'ᾍδης')
('Ἅιδας', 'ᾍδης')
('Ἅιδας', 'ᾍδης')
('Ἅιδην', 'ᾍδης')
('Ἅιδην', 'ᾍδης')
('Ἅιδην', 'ᾍδης')
('Ἅιδην', 'ᾍδης')
('Ἅιδην', 'ᾍδης')
('Ἅιδης', 'ᾍδης')
('Ἅιδης', 'ᾍδης')
('Ἅιδης', 'ᾍδης')
('Ἅιδης', 'ᾍδης')
('Ἅιδης', 'ᾍδης')
('Ἅιδης', 'ᾍδης')
('Ἅιδης', 'ᾍδης')
('Ἅιδης', 'ᾍδης')
('Ἅιδης', 'ᾍδης')
('Ἅιδης', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', 'ᾍδης')
('Ἅιδου', '῞ᾅδης')
('Ἅιδου', '῞ᾅδης')
('Ἅιδου', '῞ᾅδης')
('Ἅιδᾳ', '῞ᾅδης')
('Ἅιδῃ', 'ᾍδης')
('Ἆπις', '῏ἆπις')
('ἐννοσίγαιος', '̓ἐννοσίγαιος')
('ἐννοσίγαιος', '̓ἐννοσίγαιος')
('ἑκάεργον', 'ʽἑκάεργος')
('ἑκάεργος', 'ʽἑκάεργος')
('ἑκάεργος', 'ʽἑκάεργος')
('ἑκάεργος', 'ʽἑκάεργος')
('ἑκάεργος', 'ʽἑκάεργος')
('ἑκάεργος', 'ʽἑκάεργος')
('ἔντυεν', '̓ἐνψύω')
('Ἐλευσῖνι', '̓Ελευσίς')
('Ἐλλέπορον', '̓Ελλέπορος')
('Ἐπικράτης', '̓Επικράτης')
('Ἐρατώ', '̓Ερατώ')
('Ἐρατὼ', '̓Ερατώ')
('Ἐρινύν', '̓ἐρινύς')
('Ἐρινύς', '̓ἐρινύς')
('Ἐρυθραί', '̓Ερυθραί')
('Ἐφέσιος', '̓Εφέσιος')
('Ἐφίππου', '̓́Εφιππος')
('Ἐφεσίοισι', '̓Εφέσιος')
('Ἐφεσίων', '̓Εφέσιος')
('Ἐφεσίων', '̓Εφέσιος')
('Ἐφεσιακοῖς', '̓Εφεσιακός')
('Ἑκτορίδην', 'ʽἑκτορίδης')
('Ἑλικῶνος', 'ʽἑλικών')
('Ἑλλάδα', 'ʽἑλλάς')
('Ἑλλάδι', 'ʽἑλλάς')
('Ἑλλάδος', 'ʽἑλλάς')
('Ἑλλάνων', '῞ἕλλην')
('Ἑλλήνων', '῞ἕλλην')
('Ἑλλήνων', '῞ἕλλην')
('Ἑλλήνων', '῞ἕλλην')
('Ἑρβησόν', '̔Ερβησός')
('Ἑρμείαο', 'ʽἑρμῆς')
('Ἑρμῆ', 'ʽἑρμῆς')
('Ἑρμῆς', 'ʽἑρμῆς')
('Ἑρμῇ', 'ʽἑρμῆς')
('Ἑρμῇ', '̔Ερμῆς')
('Ἔκνομον', '̓́Εκνομος')
('Ἔπαφος', '῎ἔπαφος')
('Ἔφεσον', '̓́Εφεσος')
('Ἕλληνες', '῞ἕλλην')
('Ἕλλησιν', '῞ἕλλην')
('Ἡρακλέος', '̓Ηρακλῆς')
('Ἡρακλέος', '̔Ηρακλέης')
('Ἡρακλέος', '̔Ηρακλῆς')
('Ἥρας', '῞ἥρα')
('Ἥρας', '῞ἥρα')
('Ἥρην', '῞ἥρα')
('Ἥρῃ', '῞ἥρα')
('Ἰάνων', '̓ἰάν')
('Ἰάνων', '̓ἰάν')
('Ἰάνων', '̓ἰάν')
('Ἰάνων', '̓ἰάν')
('Ἰαονίοισι', '̓ἰαόνιος')
('Ἰασίωνι', '̓ἰασίων')
('Ἰαόνιον', '̓ἰαόνιος')
('Ἰαόνων', '̓ἰάων')
('Ἰδαία', '̓ἰδαῖος')
('Ἰδαίας', '̓ἰδαῖος')
('Ἰδαίου', '̓ἰδαῖος')
('Ἰδαῖα', '̓ἰδαῖος')
('Ἰδομενεὺς', '̓ἰδομενεύς')
('Ἰδομενεὺς', '̓ἰδομενεύς')
('Ἰλίου', '῎ἴλιος')
('Ἰλίου', '῎ἴλιος')
('Ἰλίου', '῎ἴλιος')
('Ἰλίου', '῎ἴλιος')
('Ἰλίῳ', '῎ἴλιος')
('Ἰλίῳ', '῎ἴλιος')
('Ἰλιάδος', '̓ἰλιάς')
('Ἰνάχῳ', '῎ἴναχος')
('Ἰνδικῶν', '̓Ινδικός')
('Ἰξίονος', '̓ἰξίων')
('Ἰοῦν', '̓Ιώ')
('Ἰοῦν', '̓Ιώ')
('Ἱέρων', '̔Ιέρων')
('Ἱέρων', '̔Ιέρων')
('Ἱέρων', '̔Ιέρων')
('Ἱερόκλεια', '̓Ιερόκλεια')
('Ἱερώνυμος', '̔Ιερώνυμος')
('Ἱερώνυμος', '̔Ιερώνυμος')
('Ἱερώνυμὸν', '̔Ιερώνυμος')
('Ἱπποκράτεϊ', '̔Ιπποκράτης')
('Ἱπποκράτεϊ', '̔Ιπποκράτης')
('Ἴδῃ', '̓́Ιδη')
('Ἴλιον', '῎ἴλιος')
('Ἴλιον', '῎ἴλιος')
('Ἴτυν', '῎ἴτυς')
('Ἴτυν', '῎ἴτυς')
('Ἴωσι', '̓́Ιων')
('Ἴωσι', '̓́Ιωνες')
('Ἴωσι', '̓́Ιωνες')
('Ἵππη', '̔́Ιππη')
('Ἵππην', '̔́Ιππη')
('ὀλυμπιάδα', '̓Ολυμπιάς')
('ὀλυμπιὰς', '̓Ολυμπιιάς')
('Ὀδάτι', '̓Οδάτις')
('Ὀδάτι', '̓Οδάτις')
('Ὀδυσσέα', '̓ὀδυσσεύς')
('Ὀδυσσεύς', '̓ὀδυσσεύς')
('Ὀδυσσεύς', '̓ὀδυσσεύς')
('Ὀδυσσεύς', '̓ὀδυσσεύς')
('Ὀδυσσεύς', '̓ὀδυσσεύς')
('Ὀδυσσεὺς', '̓ὀδυσσεύς')
('Ὀδυσσεῖ', '̓ὀδυσσεύς')
('Ὀδυσσεῦ', '̓ὀδυσσεύς')
('Ὀδυσσῆος', '̓ὀδυσσεύς')
('Ὀδυσσῆος', '̓ὀδυσσεύς')
('Ὀδυσῆα', '̓ὀδυσσεύς')
('Ὀδυσῆα', '̓ὀδυσσεύς')
('Ὀδυσῆος', '̓ὀδυσσεύς')
('Ὀλύμπιος', '̓ὀλύμπιος')
('Ὀλύμπου', '῎ὄλυμπος')
('Ὀλύμπου', '῎ὄλυμπος')
('Ὀνόκαρσιν', '̓Ονόκαρσις')
('Ὁμάρτην', '̔Ομάρτης')
('Ὁμάρτης', '̔Ομάρτης')
('Ὁμάρτης', '̔Ομάρτης')
('Ὁμάρτῃ', '̔Ομάρτης')
('Ὑδρίᾳ', '̔Υδρία')
('Ὑπερείδῃ', '̓Υπερείδης')
('ὠγυγίαν', '̓ὠγύγιος')
('ὠγυγίοισιν', '̓ὠγύγιος')
('ὠγυγίους', '̓ὠγύγιος')
('ὡς', 'ʽὡς')
('Ὠγυγίην', '̓ὠγυγία')
('Ὠκίμου', '̓́Ωκιμον')
('Ὠκίμου', '̓́Ωκιμων')
('Ὠκεανοῖο', '̓ὠκεανός')
('Ὠκεανοῖο', '̓ὠκεανός')
('Ὠκεανὸν', '̓ὠκεανός')
('Ῥωσσῷ', '̔Ρώσσος')
('Ῥωσσῷ', '̔Ρῶσσος')