Negación: No soy un experto en redes neuronales o de aprendizaje automático. Después de haber escrito originalmente este artículo, muchas personas con mucho más experiencia en estos campos que yo han indicado que, aunque impresionante, lo que Google ha logrado es evolutivo, no revolucionario. En por lo menos, que es justo decir que soy culpable de Anthropomorphizing en algunas partes del texto.
He dejado el contenido del artículo sin cambios, porque creo que es interesante comparar la reacción visceral que tuve con los comentarios posteriores de expertos en el campo. Le recomiendo a los lectores a navegar por los comentarios después de leer el artículo para algunas perspectivas más sobrios e informadas que la mía.
En las últimas semanas de 2016, Google publicó un artículo que navegaba tranquilamente bajo los radares de la gente. Lo cual es una lástima, ya que sólo puede ser el artículo más sorprendente de aprendizaje automático que leí el año pasado.
No se sienta mal si se lo perdieron. No sólo el artículo compitiendo con la pre-Christmas Rush que la mayoría de nosotros navegaban - que también estaba escondido en el Blog de Investigación de Google, bajo el título geektastic traducción Zero-Shot con sistema de la máquina de traducción multilingüe neuronal de Google .
Esto no exactamente gritar debe leer, ¿verdad? Especialmente cuando se tiene proyectos para terminar, regalos para comprar, y disputas familiares que resolverse - al mismo tiempo el calendario de adviento cuenta sin descanso los días hasta la Navidad como una especie de reloj del fin del mundo navideño rellena de chocolate.
Por suerte, estoy aquí para traer a la velocidad. Aquí está el trato.
Hasta septiembre del año pasado, Google Translate traducción basada en la frase usada. Básicamente, hizo lo mismo que tú y yo hacer cuando miramos palabras y frases clave en nuestras guías de idioma Lonely Planet. Es lo suficientemente eficaz y rápida en comparación blisteringly a hojear con torpeza su camino a través de un montón de páginas que buscan el equivalente francés de “por favor, tráeme la totalidad de su queso y no se detienen hasta que me quede terminado.” Pero carece de los matices.
traducción basada en la frase es un instrumento romo. Se hace el trabajo lo suficientemente bien como para salir del paso. Pero el mapeo de las palabras y frases más o menos equivalentes sin una comprensión de las estructuras lingüísticas sólo puede producir resultados crudo.
Este enfoque también está limitada por la extensión de un vocabulario disponible. traducción basada en la frase no tiene la capacidad de hacer conjeturas en palabras que no reconoce, y no puede aprender de nueva entrada.
Todo eso cambió en septiembre, cuando Google dio a su herramienta de traducción de un nuevo motor: el sistema de la máquina de traducción de Google Neural (GNMT). Este nuevo motor viene totalmente equipado con todas las palabras de moda calientes de 2016, al igual que la red neuronal y aprendizaje automático.
La versión corta es que Google Traducir consiguió inteligente. Se desarrolló la capacidad de aprender de las personas que lo utilizan. Se aprendió a hacer conjeturas sobre el contenido, el tono y el significado de frases basadas en el contexto de otras palabras y frases que les rodean. Y - aquí está la parte que debe hacer estallar su cerebro - se puso creativo.
Traductor Google inventó su propio lenguaje para ayudar a traducir de manera más eficaz.
Lo que es más, nadie dijo que lo haga. No desarrolló un lenguaje (o interlingua , como Google lo llama), ya que fue codificado para. Se desarrolló un nuevo lenguaje, porque el software determina con el tiempo que esta era la forma más eficiente para resolver el problema de la traducción.
Deténgase y piense en eso por un momento. Dejar que se hunda. Un sistema de computación neuronal diseñado para traducir el contenido de un idioma a otro ser humano desarrollado su propio lenguaje interno para que la tarea sea más eficiente. Sin ser que así lo indique. En cuestión de semanas.
Para entender lo que está pasando, tenemos que entender lo que cero-shot es la capacidad de traducción. Aquí está de Google Mike Schuster, Nikhil Thorat, y Melvin Johnson del poste original del blog:
Digamos que formamos un sistema multilingüe con Japanese⇄English y ejemplos Korean⇄English. Nuestro sistema multilingüe, con el mismo tamaño que un solo sistema GNMT, comparte sus parámetros para traducir entre estos cuatro pares de idiomas diferentes. Este intercambio permite que el sistema para transferir el “conocimiento traducción” de un par de idiomas a los otros. Este aprendizaje transferencia y la necesidad de traducir entre varios idiomas obliga al sistema a un mejor uso de su poder de modelado.
Esto nos inspiró a hacer la siguiente pregunta: ¿Se puede traducir entre un par lengua que el sistema nunca ha visto antes? Un ejemplo de esto sería traducciones entre Corea y Japón, donde los ejemplos Korean⇄Japanese pero no establecía el sistema. Sorprendentemente, la respuesta es sí - que puede generar traducciones Korean⇄Japanese razonables, a pesar de que nunca se ha enseñado a hacerlo.
Aquí se puede ver una ventaja de la nueva máquina neuronal de Google sobre el antiguo enfoque basado en la frase. El GMNT es capaz de aprender a traducir entre dos lenguas sin ser enseñados de manera explícita. Esto no sería posible en un modelo basado en la frase, donde la traducción depende de un diccionario explícita para mapear las palabras y frases entre cada par de lenguas en proceso de traducción.
Y esto lleva a los ingenieros de Google sobre ese verdaderamente asombroso descubrimiento de la creación:
El éxito de la traducción en cero-shot plantea otra cuestión importante: ¿Está el sistema de aprendizaje de una representación común en el que las frases con el mismo significado están representados de manera similar sin importar el idioma - es decir, un “interlingua”? Usando una representación en 3 dimensiones de los datos de la red interna, hemos sido capaces de echar un vistazo en el sistema, ya que traduce un conjunto de oraciones entre todos los pares posibles de los japoneses, coreano e inglés.
Dentro de un mismo grupo, vemos una frase con el mismo significado, pero a partir de tres idiomas diferentes. Esto significa que la red debe estar codificando algo acerca de la semántica de la frase, en lugar de simplemente memorizar traducciones Frase-a frase. Interpretamos esto como una señal de la existencia de una interlingua en la red.
Así que ahí lo tienen. En las últimas semanas de 2016, como Journos de todo el mundo empezaron escribiendo su “fue este el peor año en la memoria viva” thinkpieces, los ingenieros de Google estaban documentando en silencio un avance realmente sorprendente en ingeniería de software y la lingüística.
Sólo pensé que tal vez te gustaría saber.
Ok, para entender realmente lo que está pasando probablemente necesitamos múltiples informática y lingüística grados. Estoy apenas raspando la superficie aquí. Si usted tiene tiempo para conseguir unos pocos grados (o si ya los tienes) por favor, mándenme una línea y explicar todo a mí. Despacio.
Actualización 1: en mi emoción, que es justo decir que he exagerado la idea de esto como un sistema 'inteligente' - por lo menos en lo que podríamos pensar en la inteligencia humana y la toma de decisiones. Asegúrese de leer comentarios de Chris McDonald después de que el artículo para una perspectiva más sobria.
Actualización 2: excelente, la respuesta detallada del Nafrondel también es una lectura obligada para una explicación experta de cómo funcionan las redes neuronales.
This is dummy text. It is not meant to be read. Accordingly, it is difficult to figure out when to end it. But then, this is dummy text. It is not meant to be read. Period.