ОБНАРУЖЕНИЕ ОСКОРБИТЕЛЬНОГО КОНТЕНТА С ИСПОЛЬЗОВАНИЕМ МОДЕЛИ BERT И МЕХАНИЗМОВ ВНИМАНИЯ

Аннотация

В данной исследовательской работе рассматриваются методы автоматического обнаружения нецензурной лексики и агрессивных комментариев в казахских социальных сетях. Актуальность исследования обусловлена ​​растущим объемом нецензурных комментариев в интернете и отсутствием эффективных автоматизированных решений для языков с ограниченными ресурсами. Казахский язык характеризуется сложной морфологией и контекстной спецификой, что затрудняет использование традиционных методов обработки естественного языка. В представленной исследовательской работе предложена гибридная модель на основе архитектуры трансформера BERT, сочетающая многоголовочный механизм внимания и сверточные нейронные сети. Эта архитектура позволяет эффективно выявлять нецензурные тексты, включая как явные, так и скрытые формы комментариев, обсуждаемых курсантами и офицерами онлайн. Для обучения и тестирования модели был создан корпус казахскоязычных комментариев, аннотированных экспертами, который включает мнения курсантов, командиров и личного состава. Качество аннотации оценивалось с помощью коэффициента Каппа Флейсса, который составил 0,6649, с общим уровнем согласованности 91,67%, что указывает на высокую надежность данных. Результаты экспериментов показали, что предложенная модель превосходит базовые методы (наивный байесовский классификатор, LSTM, FastText) по точности, F1-мере и ROC-AUC. Полученное значение ROC-AUC составило 0,95. Результаты исследования подтверждают эффективность трансформерных моделей с механизмом внимания для обнаружения ненормативной лексики в казахском языке и могут быть использованы при разработке автоматизированных систем модерации контента и мониторинга информационной безопасности.