Annotating Appraisal in English and Spanish product reviews from mobile application storesa contrastive study for linguistic and computational purposes

Abstract

La evaluación, la opinión y la subjetividad son fenómenos relacionados que están recibiendo atención tanto por la comunidad lingüística como de la computacional bajo diferentes perspectivas y acercamientos. Una de las teorías más influyentes que tratan estos conceptos es la teoría de `Appraisal¿ (Valoración), una aproximación lingüística para describir y explicar la forma en que se usa el lenguaje para evaluar, indicar una postura y administrar los posicionamientos interpersonales. Esta teoría propone que las expresiones lingüísticas de significados evaluativos como la emoción, la actitud y la opinión se pueden divide en tres ejes diferentes: Actitud, Intervención y Graduación. Este trabajo es un intento de validar un conjunto de categorías de la teoría de la Valoración de manera contrastiva (comparando inglés y español), y proporcionar una caracterización de un nuevo género de críticas, las publicadas en tiendas de aplicaciones para móvil, de acuerdo con los rasgos de la Valoración en ambas lenguas. Para llevar a cabo esta tarea, este estudio se ha estructurado en dos partes: la validación empírica de las categorías de la Valoración y la anotación de un corpus más extenso. Para la primera tarea, se diseñaron tres experimentos de anotación sobre un corpus de entrenamiento de 50 críticas de aplicaciones de móvil publicadas en la tienda de aplicaciones Play Store sobre aplicaciones, juegos, libros, películas y música para móviles. En estos experimentos se pedía a los anotadores la identificación y posterior etiquetación de las realizaciones de Valoración. El nivel de acuerdo alcanzado en estos estudios de fiabilidad fue moderado o alto, por lo que se validaron todas las categorías anotadas y se pudieron usar para anotar el corpus más extenso. Este corpus consiste de una compilación de 200 textos sobre los mismos tipos de productos. Además de obtener resultados globales, se compararon tres aspectos: diferencias en cuanto al idioma, diferencias en cuanto al producto criticado (aplicaciones, juegos, libros, películas y música) y diferencias en cuanto a la polaridad (textos positivos y negativos). Los resultados mostraron que estos textos son especialmente ricos en realizaciones de Actitud mientras que la Graduación ocurría con mucha menos frecuencia. Esta distribución refleja el propósito comunicativo de estos textos: presentar las opiniones de los usuarios sobre un producto dado. Los textos en español mostraron recursos de Actitud en mayor grado que los ingleses, mientras que estos tuvieron en mayor medida elementos de Intervención y Graduación. De este modo, los textos en español se apoyan en los sentimientos y cualidades con mayor frecuencia que los ingleses. Las críticas en inglés modulan su voz dentro del texto a través de la Intervención, además de otras palabras utilizadas mediante la Graduación. La mayoría de las realizaciones lingüísticas eran compartidas en ambos idiomas como las más utilizadas. Se puede decir que los autores utilizaron un lenguaje muy simple con un gran uso de palabras recurrentes del inglés y español informales, en lugar de una jerga específica del campo. Se observaron dos grupos de productos: aplicaciones y juegos frente a libros y películas. La música comparte algunas características con ambos grupos, pero también tiene las suyas propias. Estas pequeñas similitudes pueden apuntar a una distinción entre los productos criticados tradicionalmente (libros y películas) y los nuevos (aplicaciones y juegos). Los textos positivos mostraron en mayor medida sentimientos de felicidad o satisfacción, y los negativos más infelicidad, insatisfacción y una mayor proporción de negación. Estos textos también incluyeron aspectos criticados habitualmente cuando no cumplen las expectativas del autor pero pasados por alto si las cumplen, como los elementos de juicio. Algunos otros aspectos se alabaron habitualmente cuando satisfacían a los usuarios, como el rendimiento o la ejecución.