С каждым годом на Ближнем Востоке обнаруживается все больше древних надписей на иврите и арамейском языках. Анализ этих текстов чрезвычайно важен для исследователей, изучающих культуру и историю региона, пишет журналистка «The Jerusalem Post» Джуди Зигель-Ицкович.

Поскольку многие из этих текстов со временем повреждаются из-за землетрясений, пожаров, политических конфликтов и других природных и антропогенных причин, эпиграфисты – эксперты, которые отвечают за реконструкцию, перевод и датировку надписей. А также за поиск любых соответствующих обстоятельств, оставляя определение и интерпретацию записанных событий историкам, – до сих пор используются трудоемкие ручные процедуры для оценки недостающего контента. Это было серьезной проблемой при восстановлении недостающих частей этих ценных надписей. Теперь студенты факультета разработки программного обеспечения и информационных систем Университета Бен-Гуриона в Негеве (BGU) в Беэр-Шеве подошли к решению этой задачи как к задаче расширенного моделирования замаскированного языка, в которой поврежденный контент может содержать отдельные символы, n-граммы (статистические модели, которые предсказывают следующий символ или слово после N-1 слов на основе вероятности их сочетания) символов (неполные слова), отдельные полные слова и многоязычные тексты со словами n-граммами.

Это исследование является первой попыткой применить подход к моделированию скрытого языка к искаженным надписям на иврите и арамейском языках, в которых используется еврейский алфавит, состоящий в основном из согласных символов. В своем последнем проекте под руководством профессора Марка Ласта студенты четвертого курса Нив Фоно, Харел Мошайоф, Эльдар Кароль и Итай Ашраф применили метод моделирования замаскированного языка к поврежденным надписям на иврите и арамейском. Их модель, получившая название «Embible», была представлена на последнем заседании Европейского отделения Ассоциации компьютерной лингвистики (ACL) в прошлом месяце. Они опубликовали свои выводы в журнале ACL «Anthology» под названием ««Embible»: реконструкция древнееврейских и арамейских текстов с использованием трансформеров».

Система проанализировала тысячи предложений из еврейской Библии. Студенты обучили систему работе с 22 144 предложениями из еврейской Библии. Система была протестирована на остальных 536 предложениях и добилась значительного успеха. Набор моделей предсказания слов и символов показал высочайшую точность. Мы можем помочь историкам, которые посвятили свою жизнь максимально точному воссозданию этих древних текстов. Более того, я считаю, что модель может быть расширена и охватывать другие морфологически богатые древние языки», – заключил Ласт.