README(gr).txt

Το βίντεο στο φάκελο Results που ανέβασα περιέχει δεξιά την εφαρμογή του 2nd moment DIstortion Field, το οποίο αποτελεί προσωπικός μου αλγόριθμος για την εξαγωγή της μάσκας του χεριού. Αριστερά είναι η εξαγόμενη μάσκα. Στο κέντρο εμφανίζεται το τελικό αποτέλεσμα, στο οποίο έχει εφαρμοστεί μια γεωμετρική μοντελοποίηση του χεριού για την εξαγωγή της παλάμης. Στον ίδιο φάκελο υπαρχει μια πρότυπη μάσκα και το εξαγόμενο απότελεσμα, κατόπιν της γεωμετρικής μοντελοποιήσης, καθώς επίσης και μια εικόνα, στην οποία εμφανίζονται τα cells, τα οποία χρησιμοποιώ στον αλγόριθμο του 2nd moment Distortion Field. Να αναφέρω στο σημείο αυτό ότι όλα τα παραπάνω είναι προσωπική μου δουλειά και δεν είναι βασισμένα εξ ολοκλήρου σε κάποια πρώτερη εργασία ή paper.  Αυτή την περίοδο ασχολούμαι με την εφαρμογή του paper, που βρίσκεται στο φάκελο 'Papers in use', το οποίο περιγράφει έναν αλγόριθμο one-shot action learning με χρήση sparse coding και linear SVMs. Στον φάκελο 'Sparse Coding' υπάρχει ένα δείγμα της ποιότητας του sparse coding που επιτυγχάνεται. Στόχος μου είναι να εξαγάγω τα απαραίτητα dictionaries για κάθε χαρακτηριστικό που περιγράφεται στο paper (GHOG,3DHOF) μέσω της ψευδοαντιστροφής των λαμβανόμενων πινάκων έτσι ,ώστε το sparse coding να γίνεται realtime για οποιαδήποτε χειρονομία, παλιά ή νέα, πράγμα που θα επιφέρει δυνατότητα online εκπαίδευσης κατά της διάρκεια χρήσης του εργαλείου. Τώρα βρίσκομαι στο στάδιο της υλοποιήσης του action learning. Μελλοντικά προβλήματα που θα με απασχολήσουν είναι τα ακόλουθα:
α. Εύρεση/Δημιουργία κάποιου dataset
Έως τώρα χρησιμοποιώ το dataset Dexter 1(http://handtracker.mpi-inf.mpg.de/projects/handtracker_iccv2013/dexter1.htm), το οποίο όμως αφορά actions οι οποίες γίνονται με την παλάμη να βλέπει προς την κάμερα. Επιπλέον οι ενέργειες αυτές δεν μπορούν εύκολα να αντιστοιχιστούν σε κάποια πράξη ζωγραφικής. Για το λόγο αυτό και λόγω της αδυναμίας εύρεσης hand actions depth data στο διαδίκτυο το οποίο να έχει ληφθεί κοιτάζοντας στη ράχη του χεριού, σκέφτομαι να δημιουργήσω το δικό μου dataset. Λόγω του one-shot action learning κάτι τέτοιο πιστεύω θα είναι εύκολο και ανώδυνο.
β. Προσθήκη χρονικής συσχέτισης στο γεωμετρικό μοντέλο του χεριού
Αν δει κανείς το βίντεο, θα καταλάβει πως η γεωμετρική μοντελοποίηση απέχει αρκετά από την τελειότητα. Θεωρώ ότι με την προσθήκη κάποιας μεταβλητής που να εκφράζει χρονικά την θέση του χεριού και με κάποιο γρήγορο tracking, κάποια από τα παρατηρούμενα προβλήματα μπορούν να διορθωθούν.
γ. Βελτίωση αλγορίθμου "2nd moment distortion field"
Αυτό αποτελεί ένα λεπτό σημείο της εργασίας μου, το οποίο πρέπει σίγουρα να γίνει. Πρακτικά, έχω δώσει μικρή ευαισθησία στον αλγόριθμο, για να ανιχνεύονται μόνο οξείες μεταβολές στην ένταση της  εικόνας βάθους. Αυτό δουλεύει σε περίπτωση που το background και το χέρι έχουν μεγάλη διαφορά βάθους, το οποίο δεν ισχύει στην περίπτωση όπου ο χρήστης επιθυμεί πχ. να πατήσει με το δείκτη του πάνω σε μια οιαδήποτε επιφάνεια. Προς το παρόν δεν έχει βρεθεί κάποιος τρόπος να διορθωθεί αυτό το πρόβλημα, χωρίς να ενταχθεί θόρυβος στα αποτελέσματα αλλά εξακολουθώ να είμαι αισιόδοξος.

Στο μακρύτερο μέλλον θα υπάρξουν κάποια άλλα ζητήματα, όπως κατασκευή του GUI και επίτευξη calibration μεταξύ kinect και projector (θα χρειαστεί hardware που δεν διαθέτω = ο προτζέκτορας) και κάποια περαιτέρω βελτίωση του αλγορίθμου για προσθήκη δεύτερου χεριού μέσα στην εικόνα (προς το παρόν η γεωμετρική μοντελοποιηση προϋποθέτει ένα χέρι να εισέρχεται μέσα στην εικόνα από κάποια ακμή τη και όχι περισσότερα) και ανίνχευση αντικειμένων πέρα από χέρι, η οποία θεωρώ ότι θα επιβραδύνει τον αλγόιρθμο χωρίς GPU και για το λόγο αυτό δεν έχω ασχοληθεί ακόμα με αυτό το κομμάτι.

Τέλος, υπάρχει και κάτι άλλο που με απασχολεί. Γενικά, δεν βιάζομαι με την ολοκλήρωση της εργασίας. Βέβαια η αφοσίωσή μου είναι καθημερινή, αφού εργάζομαι πάνω στο πρότζεκτ 4-10 ώρες καθημερινά για τους τελευταίους 4 μήνες (το μόττο μου είναι δουλειά και χαρά). Το debugging είναι το κυριότερο σημείο που με καθυστερεί θα έλεγα. Παρ'όλ'αυτά, επειδή ενδιαφέρομαι για διδακτορικό μετέπειτα στο εξωτερικό, κατά προτίμηση στην Ευρώπη, χωρίς να χάσω χρόνο, θα ήθελα να έχω τελειώσει πριν το Μάρτιο με την εργασία, γιατί πρέπει να ξεκινήσω την επικοινωνία μου με κάποια πανεπιστήμια και ελπίζω ότι θα έχω κάποια υποστήριξη και από το τμήμα σε αυτό το κομμάτι. Αυτή η υποστήριξη πιστεύω θα υπάρξει μετά την περάτωση της εργασίας. Λόγω του προσωπικού έργου ευελπιστώ ακόμα ότι η εργασία θα μπορούσε να αποκτήσει και το δικό της paper αν πάνε όλα καλά.  Αρα πρέπει να γίνουν όλα αυτά σύντομα. Συμπερασμα αποτελεί ότι έχω αγχωθεί λίγο με τα χρονικά περιθώρια που έχω θέσει, τα οποία όμως θέλω να τηρήσω και εξακολουθώ να στοχεύω σε αυτό. Θα βοηθούσε αν κάποιος σχετικός από το τμήμα μου προσέφερε κάποια περαιτέρω βοήθεια, όντας πλήρως ενημερωμένος για την εργασία μου και την εξέλιξή της. Όμως ξέρω ότι κάτι τέτοιο είναι σχεδόν αδύνατο στο παρόν στάδιο και δεν μπορώ να σας το ζητήσω. Απλώς θα ήθελα να γνωρίζετε και λίγο το "ψυχολογικό" μου υπόβαθρο, για αυτό και έθιξα το συγκεκριμένο ζήτημα.