اعلنت جامعة مصر للمعلوماتية عن برنامج تقني جديد للترجمة الفورية للغة الإشارة، مما يسهم في دمج شريحة كبيرة من أصحاب الهمم في المجتمع المصري وييسر حياتهم، حيث يسمح لمستخدمي البرنامج التفاهم مع اي شخص فقد القدرة على التحدث سواء من المصابين بالصمم أو ضعاف السمع لكنهم يجيدون لغة الإشارة، وهو الحاجز الذي يؤثر على هذه الشريحة من ذوي الهمم، ويسبب لبعضهم صعوبات في التعامل مع الخدمات الحكومية وحتى في ممارسة حياتهم اليومية بشكل طبيعي.
واكدت الأستاذة الدكتورة هدى مختار عميد كلية علوم الحاسب والمعلومات ان فكرة المشروع تتوافق مع رؤية وأهداف الكلية والتي تهدف لتشجيع طلابها وخريجيها على الاستفادة من المحتوى العلمي في تطبيقات عملية ذات مردود اقتصادي واجتماعي على المجتمع.
وأضافت ان البرنامج الالكتروني صممه فريق من طلاب كلية علوم الحاسب والمعلومات يضم أربع طلاب من الفرقة الثالثة وهم أحمد سامح، نور هاني، ليلى خالد، ياسمين محمد، وأطلق على البرنامج اسم مترجم لغة الإشارة (SLI) وهو نموذج تعلم عميق لترجمة لغة الإشارة باستخدام تقنيات الذكاء الاصطناعي التي ساعدت في بناء نظام سريع ودقيق يعمل في الوقت الفعلي(Real Time)، تحويل لغة الإشارة إلى نصوص مكتوبة، حيث يعاني المصابين بالصم وضعاف السمع من تحديات كبيرة في التواصل مع باقي الأفراد ممن لا يجيدون لغة الإشارة خاصة ان الأدوات الحالية للتعامل بينهما غير كافية لسد هذه الفجوة مما يتطلب البحث عن تقنيات الكترونية اكثر فعالية.
وقالت ان الكلية دعما لمشاريع طلابها وباحثيها فقد اتاحت للفريق الطلابي استخدام معامل الكلية المتخصصة والتي توفر الموارد الحاسوبية المطلوبة للبحث خاصة وان تلك المعامل مجهزة بأفضل المعدات والبرامج التقنية، مما ساعدهم في استكمال البحث وتطوير هذا البرنامج الجديد، وتحقيق نتائج متميزة.
من جانبها اشارت نور هاني أحد أعضاء الفريق البحثي والطالبة بالفرقة الثالثة بكلية علوم الحاسب والمعلومات الي ان المشروع البحثي اعتمد على نهج من مرحلتين هما:
– التعرف على الحروف باستخدام تقنيات الرؤية الحاسوبية (Computer Vision) لتحديد الإشارات اليدوية لكل حرف على حده.
– التعرف على الكلمات من خلال تحليل مقاطع الفيديو لاستخراج إيماءات اليد وحركات الجسم لتنميطها باستخدام الذكاء الاصطناعي (AI) ومعالجة البيانات الزمنية.
وقالت ان البرنامج الجديد يتعرف حاليا على جميع الحروف الإنجليزية وعدد كبير من الكلمات الإنجليزية، حيث يعتمد على قاعدة بيانات تحتوي على ٢٢٦٨ صورة تمت معالجتها لتصغير حجمها وتطبيعها، حيث استخدمنا نموذج ميديابايب(Mediapipe) وشبكة عصبية (Neural Networks) مما حقق درجة دقة بنسبة ٩٣٫٣٣٪.
وأضافت انه للتعرف على الكلمات فقد استخدم الفريق البحثي قاعدة بيانات تحتوي على أكثر من ١٢ ألف فيديو مما أوجد ٤٦ فيديو لكل كلمة، وبعد تجربة العديد من آليات الانتباه توصلنا الي آلية انتباه إل إس تي إم (LSTM with Attention) تفوقت على جميع النماذج الأخرى بنسبة دقة ٩٠٪.
وأوضحت ان الفريق البحثي يعمل حاليا على توسيع قاعدة بيانات البرنامج لزيادة دقة النتائج، وتكملة العمل لترقية البرنامج الي المستوي التالي مع تدريبه على لغة الإشارة المصرية، حيث نسعى لتعريب البرنامج في مرحلته المقبلة بحيث تكون الترجمة ثنائية عربي وإنجليزي حيث ان لغة الإشارة الإنجليزية هي أحد أشهر لغات الاشارة المتعارف عليها دوليا مما يسهل تسويق البرنامج في الخارج مستقبلا إلى جانب خدمته للسائحين الأجانب من الصم وضعاف السمع خلال زيارتهم لمصر.
