Тіл тек адамзаттың коммуникация құралы болған күн – тарих қойнауында, енді темір де адамша сөйлеуді үйрене бастады. Жасанды интеллект өміріміздің түрлі аспектілеріне сыналап еніп, қарым-қатынас пен байланыс тәсілін өзгертіп жатыр. Алгоритмдер мен лингвистиканың тоғысуы тіл мен жасанды интеллект арасындағы күрделі байланысты бекіте түсуде. Қазақ тілі де көштен қалмай жаңа дәуірге ақырындап қадам басып барады.
Жақында Kazakh Named Entity Recognition атты қазақша аудионы мәтінге айналдыратын жасанды интеллектке негізделген қосымша шықты. Бұған дейін, керісінше мәтінді оқып беретін функция қолданысқа енген еді. Жобаларды Назарбаев университеті жанындағы Жасанды интеллект пен ақылды жүйелер институтының ғалымдары әзірлеген. Осы орайда институттың ғылыми қызметкері, «Қазақ тілінің сөйлеу корпусы» жобасы авторларының бірі Рүстем Ешпановпен сұхбаттастық. «Қолданбалы лингвистика және екінші тілді меңгеру» мамандығы бойынша Оксфорд университетін үздік тәмамдаған ғылым магистрімен жасанды интеллект, IT саласындағы қазақ тілінің болашағы, тілді цифрлық технологияларға бейімдеуде тілдің қолданыс аясына әсері туралы әңгіме өрбіттік.
– Айтқан сөзді айнытпай жазып беретін сапалы қосымшаның керек екені бұрыннан сезілетін, себебі ағылшын, орыс тілдерінде мұндай қосымшалар көптен бері қолданыста жүр. Шатаспасам, бұған дейін де осы секілді жобалар болды, дегенмен Kazakh Named Entity Recognition жобасы үдеден шығып отыр. Жобаны әзірлеуге не түрткі болды? Жұмыс кезінде тіл жағынан қандай да бір қиындықтар болды ма?
– Иә, Kazakh Named Entity Recognition жобасына тоқталар болсақ, қазақ тіліндегі атаулы мәндерді анықтауда (АМА) біз алғашқы зерттеушілер емеспіз. Бұған дейін елімізде басқа ғылыми топтар мен зерттеу ұйымдары табиғи тілді өңдеудің бұл түріне өз күш-жігерін салғанын атап өткен жөн. Қазақ тілінде дыбысталған сөздерді мәтінге айналдыру бойынша аннотацияланған корпустар құрастырылды. Алайда, осыған қарамастан, біздің білуімізше, құрастырылған корпустардың ешқайсысына ашық түрде қол жеткізу мүмкін емес еді. Бұған қоса, қазақ тілінде АМА зерттеулерінің ешқайсысында қазақ тілінің ерекшелігі ескерілген аннотациялау нұсқаулығы болмады. Осыған байланысты жұмыс кезінде мәселе туындады. Сөйтіп, аннотацияланған корпустардың жоғын ескеріп, зерттеуіміз арқылы осы салада бар олқылықтың орнын толтыруға және осылайша одан әрі дамытуға үлес қосуға үміттенген болатынбыз. Нәтижесінде, қазақ тіліндегі АМА-ға арналған KazNERD корпусын құрдық. Ол 25 атаулы мән түрін, 112 мыңнан астам сөйлемді және 136 мыңнан астам аннотацияны қамтиды. Корпусты құрастыру үшін АМА-ға арналған қазақ тіліндегі тұңғыш нұсқаулық әзірленді. Еңбегіміз жоғары бағаланды. Осы корпус пен соның негізінде дыбысталған атаулы мәндерді анықтай алатын автоматтандырылған модель жобасымен былтыр Францияның Марсель қаласында өткен LREC атты сөйлеу және табиғи тілді өңдеу технологияларына арналған әлемдегі танымал және беделді конференцияға қатыстық. Сол жақта институтымыздың жұмысы саладағы мамандар мен сарапшылардың жоғары бағасына ие болды.