{"id":7044,"date":"2021-08-26T17:58:54","date_gmt":"2021-08-26T15:58:54","guid":{"rendered":"https:\/\/www.ibidemgroup.com\/edu\/?p=7044"},"modified":"2024-03-04T12:37:26","modified_gmt":"2024-03-04T11:37:26","slug":"bert-nlp-machine-translation","status":"publish","type":"post","link":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/","title":{"rendered":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy."},"content":{"rendered":"\n<p class=\"has-text-align-left wp-block-paragraph\">Descubre BERT (Representaci\u00f3n de Codificador Bidireccional de Transformadores), un modelo lingu\u00edstico basado en redes neuronales para el pre-entrenamiento del procesamiento del lenguaje natural, creado y publicado en 2018 por Jacob Devlin y sus compa\u00f1eros en Google. <\/p>\n\n\n\n<p class=\"has-text-align-left wp-block-paragraph\"><strong>Un texto original escrito por Rani Horev y publicado en <a href=\"https:\/\/towardsdatascience.com\/bert-explained-state-of-the-art-language-model-for-nlp-f8b21a9b6270\">https:\/\/towardsdatascience.com<\/a><\/strong><\/p>\n\n\n\n\n\n<p class=\"wp-block-paragraph\">BERT (Bidirectional Encoder Representations from Transformers) es un reciente documento t\u00e9cnico <a href=\"https:\/\/arxiv.org\/pdf\/1810.04805.pdf\">publicado <\/a>por investigadores de Google AI Language. Ha causado un gran revuelo en la comunidad de Aprendizaje Autom\u00e1tico al presentar resultados de vanguardia en una amplia variedad de tareas PNL, como la respuesta a preguntas (SQuAD v1.1), inferencia del lenguaje natural (MNLI) y otras muchas.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La principal innovaci\u00f3n t\u00e9cnica de BERT es la aplicaci\u00f3n del entrenamiento bidireccional de Transformer, un popular modelo de atenci\u00f3n, al modelado del lenguaje. Esto contrasta con los esfuerzos anteriores, que examinaban una secuencia de texto de izquierda a derecha o combinaban el entrenamiento de izquierda a derecha y de derecha a izquierda. Los resultados del art\u00edculo demuestran que un modelo ling\u00fc\u00edstico entrenado bidireccionalmente puede tener un sentido m\u00e1s profundo del contexto y el flujo del lenguaje que los modelos ling\u00fc\u00edsticos de una sola direcci\u00f3n. En el art\u00edculo, los investigadores detallan una novedosa t\u00e9cnica denominada Masked LM (MLM) que permite el entrenamiento bidireccional en modelos en los que antes era imposible.<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\"><p><em><span style=\"color:#0693e3\" class=\"color\">Disclaimer: Esta es una traducci\u00f3n gratuita no profesional realizada por un traductor amateur. Si necesitas <a href=\"https:\/\/www.ibidemgroup.com\/traducciones-tecnicas.php\">traducciones t\u00e9cnicas<\/a> de art\u00edculos cient\u00edficos o <a href=\"https:\/\/www.ibidemgroup.com\/traducciones.php\">servicios ling\u00fc\u00edsticos<\/a> de cualquier tipo, es mejor que contactes con nuestra <a href=\"https:\/\/www.ibidemgroup.com\/traducciones-madrid.php\">agencia de traducci\u00f3n en Madrid<\/a> o nuestra <a href=\"https:\/\/www.ibidemgroup.com\/traducciones-barcelona.php\">oficina de traducci\u00f3n en Barcelona<\/a>. Ibidem Group es una red de empresas de traducci\u00f3n con <a href=\"https:\/\/www.ibidemgroup.com\/traductor-nativo.php\">traductores profesionales<\/a> de idiomas en todo el mundo.<\/span><\/em><\/p><\/blockquote>\n\n\n\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_89 counter-hierarchy ez-toc-counter ez-toc-light-blue ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\"><p class=\"ez-toc-title\" style=\"cursor:inherit\">INDICE<\/p>\n<\/div><nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#Antecedentes\" >Antecedentes<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#Como_funciona_BERT\" >C\u00f3mo funciona BERT<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#LM_enmascarado_MLM\" >LM enmascarado\n(MLM)<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#Prediccion_de_la_siguiente_frase_NSP\" >Predicci\u00f3n de la\nsiguiente frase (NSP)<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#Como_utilizar_BERT_ajustes\" >C\u00f3mo utilizar BERT (ajustes)<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#Conclusiones\" >Conclusiones<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#Consideraciones_computacionales_entrenamiento_y_aplicacion\" >Consideraciones computacionales (entrenamiento y aplicaci\u00f3n)<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#Conclusion\" >Conclusi\u00f3n<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#Apendice_A_%E2%80%93_Enmascaramiento_de_palabras\" >Ap\u00e9ndice A &#8211;\nEnmascaramiento de palabras<\/a><\/li><\/ul><\/nav><\/div>\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Antecedentes\"><\/span>Antecedentes<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">En el\ncampo de la visi\u00f3n por ordenador, los investigadores han demostrado\nrepetidamente el valor del aprendizaje por transferencia, es decir, el\npreentrenamiento de un modelo de red neuronal en una tarea conocida, por\nejemplo, ImageNet, y la posterior puesta a punto, utilizando la red neuronal\nentrenada como base de un nuevo modelo de prop\u00f3sito espec\u00edfico. En los \u00faltimos\na\u00f1os, los investigadores han demostrado que una t\u00e9cnica similar puede ser \u00fatil\nen muchas tareas de lenguaje natural.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Un\nenfoque diferente, que tambi\u00e9n es popular en las tareas de PNL y que se\nejemplifica en el reciente documento ELMo, es el entrenamiento basado en\ncaracter\u00edsticas. En este enfoque, una red neuronal preentrenada produce\nincrustaciones de palabras que luego se utilizan como caracter\u00edsticas en los\nmodelos de PNL.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Como_funciona_BERT\"><\/span>C\u00f3mo funciona BERT<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">BERT\nutiliza Transformer, un mecanismo de atenci\u00f3n que aprende las relaciones\ncontextuales entre las palabras (o subpalabras) de un texto. En su forma\nsimple, Transformer incluye dos mecanismos separados: un codificador que lee el\ntexto de entrada y un decodificador que produce una predicci\u00f3n para la tarea.\nDado que el objetivo de BERT es generar un modelo ling\u00fc\u00edstico, s\u00f3lo es\nnecesario el mecanismo codificador. El funcionamiento detallado de Transformer\nse describe en un <a href=\"https:\/\/arxiv.org\/pdf\/1706.03762.pdf\">documento <\/a>de Google.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A\ndiferencia de los modelos direccionales, que leen la entrada de texto\nsecuencialmente (de izquierda a derecha o de derecha a izquierda), el\ncodificador Transformer lee toda la secuencia de palabras a la vez. Por eso se\nconsidera bidireccional, aunque ser\u00eda m\u00e1s exacto decir que es no direccional.\nEsta caracter\u00edstica permite al modelo aprender el contexto de una palabra\nbas\u00e1ndose en todo su entorno (izquierda y derecha de la palabra).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">El\ngr\u00e1fico siguiente es una descripci\u00f3n de alto nivel del codificador Transformer.\nLa entrada es una secuencia de tokens, que primero se incrustan en vectores y\nluego se procesan en la red neuronal. La salida es una secuencia de vectores de\ntama\u00f1o H, en la que cada vector corresponde a un token de entrada con el mismo\n\u00edndice.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cuando\nse entrenan modelos ling\u00fc\u00edsticos, existe el reto de definir un objetivo de\npredicci\u00f3n. Muchos modelos predicen la siguiente palabra de una secuencia (por\nejemplo, \u00abEl ni\u00f1o lleg\u00f3 a casa de ___\u00bb), un enfoque direccional que\nlimita intr\u00ednsecamente el aprendizaje del contexto. Para superar este reto,\nBERT utiliza dos estrategias de entrenamiento:<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"LM_enmascarado_MLM\"><\/span>LM enmascarado\n(MLM)<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Antes\nde introducir las secuencias de palabras en el BERT, el 15% de las palabras de\ncada secuencia se sustituye por un token [MASK]. A continuaci\u00f3n, el modelo\nintenta predecir el valor original de las palabras enmascaradas, bas\u00e1ndose en\nel contexto proporcionado por las dem\u00e1s palabras no enmascaradas de la\nsecuencia. En t\u00e9rminos t\u00e9cnicos, la predicci\u00f3n de las palabras de salida\nrequiere:<\/p>\n\n\n\n<ol class=\"wp-block-list\"><li>A\u00f1adir una\ncapa de clasificaci\u00f3n sobre la salida del codificador.<\/li><li>Multiplicar\nlos vectores de salida por la matriz de incrustaci\u00f3n, transform\u00e1ndolos en la\ndimensi\u00f3n del vocabulario.<\/li><li>C\u00e1lculo de\nla probabilidad de cada palabra en el vocabulario con softmax.<\/li><\/ol>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/miro.medium.com\/max\/700\/0*ViwaI3Vvbnd-CJSQ.png\" alt=\"\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">La\nfunci\u00f3n de p\u00e9rdida BERT s\u00f3lo tiene en cuenta la predicci\u00f3n de los valores\nenmascarados e ignora la predicci\u00f3n de las palabras no enmascaradas. Como\nconsecuencia, el modelo converge m\u00e1s lentamente que los modelos direccionales,\nuna caracter\u00edstica que se ve compensada por su mayor conocimiento del contexto\n(v\u00e9ase el punto 3).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Nota: En la pr\u00e1ctica, la implementaci\u00f3n del BERT es ligeramente m\u00e1s\nelaborada y no sustituye todas las palabras enmascaradas del 15%. V\u00e9ase <\/em><a href=\"https:\/\/www.lyrn.ai\/2018\/11\/07\/explained-bert-state-of-the-art-language-model-for-nlp\/#appendix-A\"><em>el\nAp\u00e9ndice A <\/em><\/a><em>para m\u00e1s informaci\u00f3n.<\/em><\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Prediccion_de_la_siguiente_frase_NSP\"><\/span>Predicci\u00f3n de la\nsiguiente frase (NSP)<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">En el\nproceso de entrenamiento del BERT, el modelo recibe pares de frases como\nentrada y aprende a predecir si la segunda frase del par es la siguiente del\ndocumento original. Durante el entrenamiento, el 50% de las entradas son un par\nen el que la segunda frase es la frase posterior del documento original,\nmientras que en el otro 50% se elige una frase aleatoria del corpus como\nsegunda frase. Se supone que la frase aleatoria estar\u00e1 desconectada de la\nprimera frase.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Para\nayudar al modelo a distinguir entre las dos frases en el entrenamiento, la\nentrada se procesa de la siguiente manera antes de entrar en el modelo:<\/p>\n\n\n\n<ol class=\"wp-block-list\"><li>Se inserta\nuna ficha [CLS] al principio de la primera frase y una ficha [SEP] al final de\ncada frase.<\/li><li>A cada\ntoken se le a\u00f1ade una incrustaci\u00f3n de frase que indica la frase A o la frase B.\nLas incrustaciones de frases son similares a las incrustaciones de tokens con\nun vocabulario de 2.<\/li><li>Se a\u00f1ade\nuna incrustaci\u00f3n posicional a cada ficha para indicar su posici\u00f3n en la\nsecuencia. El concepto y la implementaci\u00f3n de la incrustaci\u00f3n posicional se\npresentan en el documento Transformer.<\/li><\/ol>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/miro.medium.com\/max\/700\/0*m_kXt3uqZH9e7H4w.png\" alt=\"\"\/><figcaption> <br> Fuente: <a href=\"https:\/\/arxiv.org\/abs\/1810.04805\">BERT <\/a><em>[Devlin et al<\/em>., 2018], con modificaciones.  <\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Para\npredecir si la segunda frase est\u00e1 efectivamente conectada con la primera, se\nrealizan los siguientes pasos:<\/p>\n\n\n\n<ol class=\"wp-block-list\"><li>Toda la\nsecuencia de entrada pasa por el modelo Transformer.<\/li><li>La salida\ndel token [CLS] se transforma en un vector de forma 2\u00d71, utilizando una capa de\nclasificaci\u00f3n simple (matrices aprendidas de pesos y sesgos).<\/li><li>C\u00e1lculo de\nla probabilidad de IsNextSequence con softmax.<\/li><\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Cuando\nse entrena el modelo BERT, la LM enmascarada y la predicci\u00f3n de la siguiente\nfrase se entrenan juntas, con el objetivo de minimizar la funci\u00f3n de p\u00e9rdida\ncombinada de las dos estrategias.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Como_utilizar_BERT_ajustes\"><\/span>C\u00f3mo utilizar BERT (ajustes)<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Utilizar\nel BERT para una tarea espec\u00edfica es relativamente sencillo:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">BERT\npuede utilizarse para una gran variedad de tareas ling\u00fc\u00edsticas, a\u00f1adiendo s\u00f3lo\nuna peque\u00f1a capa al modelo central:<\/p>\n\n\n\n<ol class=\"wp-block-list\"><li>Las tareas\nde clasificaci\u00f3n, como el an\u00e1lisis de sentimientos, se realizan de forma\nsimilar a la clasificaci\u00f3n de frases siguientes, a\u00f1adiendo una capa de\nclasificaci\u00f3n sobre la salida del transformador para el token [CLS].<\/li><li>En las\ntareas de respuesta a preguntas (por ejemplo, SQuAD v1.1), el software recibe\nuna pregunta relativa a una secuencia de texto y debe marcar la respuesta en la\nsecuencia. Mediante BERT, se puede entrenar un modelo de preguntas y respuestas\naprendiendo dos vectores adicionales que marcan el principio y el final de la\nrespuesta.<\/li><li>En el\nreconocimiento de entidades con nombre (NER), el software recibe una secuencia\nde texto y se le pide que marque los distintos tipos de entidades (persona,\norganizaci\u00f3n, fecha, etc.) que aparecen en el texto. Utilizando el BERT, se\npuede entrenar un modelo NER alimentando el vector de salida de cada token en\nuna capa de clasificaci\u00f3n que predice la etiqueta NER.<\/li><\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">En el\nentrenamiento de ajuste fino, la mayor\u00eda de los hiperpar\u00e1metros son los mismos\nque en el entrenamiento BERT, y el documento ofrece una gu\u00eda espec\u00edfica\n(Secci\u00f3n 3.5) sobre los hiperpar\u00e1metros que requieren ajuste. El equipo del\nBERT ha utilizado esta t\u00e9cnica para obtener resultados de vanguardia en una\namplia variedad de tareas de lenguaje natural, detalladas en la secci\u00f3n 4 del\ndocumento.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Conclusiones\"><\/span>Conclusiones<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<ol class=\"wp-block-list\"><li><em>El tama\u00f1o del modelo importa, incluso a gran escala.<\/em> BERT_large, con 345 millones de par\u00e1metros, es el mayor modelo de su clase. En las tareas a peque\u00f1a escala es manifiestamente superior a BERT_base, que utiliza la misma arquitectura con \u00abs\u00f3lo\u00bb 110 millones de par\u00e1metros.<\/li><li><em>Con suficientes datos de entrenamiento, a m\u00e1s pasos de entrenamiento, mayor precisi\u00f3n.<\/em> Por ejemplo, en la tarea MNLI, la precisi\u00f3n de BERT_base mejora en un 1,0% cuando se entrena con un lote de 1M de pasos (128.000 palabras de tama\u00f1o de lote) en comparaci\u00f3n con 500K pasos con el mismo tama\u00f1o de lote.<\/li><li><em>El enfoque bidireccional de BERT (MLM) converge m\u00e1s lentamente que los enfoques de izquierda a derecha <\/em>(porque s\u00f3lo se predice el 15% de las palabras en cada lote), pero el entrenamiento bidireccional sigue superando al entrenamiento de izquierda a derecha tras un peque\u00f1o n\u00famero de pasos de preentrenamiento.<\/li><\/ol>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/miro.medium.com\/max\/700\/0*KONsqvDohE7ytu_E.png\" alt=\"\"\/><figcaption> Fuente: <a href=\"https:\/\/arxiv.org\/abs\/1810.04805\">BERT <\/a><em>[Devlin et al<\/em>., 2018] <\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Consideraciones_computacionales_entrenamiento_y_aplicacion\"><\/span>Consideraciones computacionales (entrenamiento y aplicaci\u00f3n)<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<figure class=\"wp-block-image\"><img decoding=\"async\" src=\"https:\/\/miro.medium.com\/max\/700\/1*LgbpLsRUGbtTPmMSUO2Drw.png\" alt=\"Gr\u00e1fico, Gr\u00e1fico de l\u00edneas\n\nDescripci\u00f3n generada autom\u00e1ticamente\"\/><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Conclusion\"><\/span>Conclusi\u00f3n<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">BERT es\nsin duda un avance en el uso del aprendizaje autom\u00e1tico para el procesamiento\ndel lenguaje natural. El hecho de que sea accesible y permita un r\u00e1pido ajuste\nfino permitir\u00e1 probablemente una amplia gama de aplicaciones pr\u00e1cticas en el\nfuturo. En este resumen, hemos intentado describir las ideas principales del\nart\u00edculo sin ahogarnos en excesivos detalles t\u00e9cnicos. Para quienes deseen\nprofundizar en el tema, recomendamos encarecidamente la lectura del art\u00edculo\ncompleto y de los art\u00edculos complementarios a los que se hace referencia en \u00e9l.\nOtra referencia \u00fatil es el <a href=\"https:\/\/github.com\/google-research\/bert\">c\u00f3digo fuente <\/a>y los modelos de <a href=\"https:\/\/github.com\/google-research\/bert\">BERT<\/a>, que cubren 103 lenguajes y fueron generosamente liberados como c\u00f3digo\nabierto por el equipo de investigaci\u00f3n.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Apendice_A_%E2%80%93_Enmascaramiento_de_palabras\"><\/span>Ap\u00e9ndice A &#8211;\nEnmascaramiento de palabras<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">El\nentrenamiento del modelo ling\u00fc\u00edstico en BERT se realiza mediante la predicci\u00f3n\ndel 15% de los tokens de la entrada, que fueron elegidos al azar. Estos tokens\nse preprocesan de la siguiente manera: el 80% se sustituye por un token\n\u00ab[MASK]\u00bb, el 10% por una palabra aleatoria y el 10% utiliza la\npalabra original. La intuici\u00f3n que llev\u00f3 a los autores a elegir este enfoque es\nla siguiente (gracias a Jacob Devlin, de Google, por la intuici\u00f3n):<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Si\nutiliz\u00e1ramos [MASK] el 100% de las veces, el modelo no producir\u00eda\nnecesariamente buenas representaciones de tokens para las palabras no\nenmascaradas. Los tokens no enmascarados se segu\u00edan utilizando para el contexto,\npero el modelo estaba optimizado para predecir las palabras enmascaradas.<\/li><li>Si\nutilizamos [M\u00c1SCARA] el 90% de las veces y palabras al azar el 10%, esto\nense\u00f1ar\u00eda al modelo que la palabra observada <em>nunca es <\/em>correcta.<\/li><li>Si\nutiliz\u00e1ramos [MASK] el 90% de las veces y mantuvi\u00e9ramos la misma palabra el 10%\nde las veces, entonces el modelo podr\u00eda copiar trivialmente la incrustaci\u00f3n no\ncontextual.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">No se\nrealiz\u00f3 ninguna ablaci\u00f3n de las proporciones de este enfoque, y puede haber\nfuncionado mejor con diferentes proporciones. Adem\u00e1s, el rendimiento del modelo\nno se prob\u00f3 simplemente enmascarando el 100% de las fichas seleccionadas.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Para ver m\u00e1s res\u00famenes sobre las recientes investigaciones de\naprendizaje autom\u00e1tico, consulte <\/em><a href=\"https:\/\/www.lyrn.ai\/\"><em>Lyrn.AI<\/em><\/a><em>.<\/em><\/p>\n\n\n<div class=\"kk-star-ratings kksr-auto kksr-align-right kksr-valign-bottom\"\n    data-payload='{&quot;align&quot;:&quot;right&quot;,&quot;id&quot;:&quot;7044&quot;,&quot;slug&quot;:&quot;default&quot;,&quot;valign&quot;:&quot;bottom&quot;,&quot;ignore&quot;:&quot;&quot;,&quot;reference&quot;:&quot;auto&quot;,&quot;class&quot;:&quot;&quot;,&quot;count&quot;:&quot;0&quot;,&quot;legendonly&quot;:&quot;&quot;,&quot;readonly&quot;:&quot;&quot;,&quot;score&quot;:&quot;0&quot;,&quot;starsonly&quot;:&quot;&quot;,&quot;best&quot;:&quot;5&quot;,&quot;gap&quot;:&quot;5&quot;,&quot;greet&quot;:&quot;Rate this post&quot;,&quot;legend&quot;:&quot;0\\\/5 - (0 votos)&quot;,&quot;size&quot;:&quot;24&quot;,&quot;title&quot;:&quot;Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy.&quot;,&quot;width&quot;:&quot;0&quot;,&quot;_legend&quot;:&quot;{score}\\\/{best} - ({count} {votes})&quot;,&quot;font_factor&quot;:&quot;1.25&quot;}'>\n            \n<div class=\"kksr-stars\">\n    \n<div class=\"kksr-stars-inactive\">\n            <div class=\"kksr-star\" data-star=\"1\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"2\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"3\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"4\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" data-star=\"5\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n    <\/div>\n    \n<div class=\"kksr-stars-active\" style=\"width: 0px;\">\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n            <div class=\"kksr-star\" style=\"padding-right: 5px\">\n            \n\n<div class=\"kksr-icon\" style=\"width: 24px; height: 24px;\"><\/div>\n        <\/div>\n    <\/div>\n<\/div>\n                \n\n<div class=\"kksr-legend\" style=\"font-size: 19.2px;\">\n            <span class=\"kksr-muted\">Rate this post<\/span>\n    <\/div>\n    <\/div>\n","protected":false},"excerpt":{"rendered":"Breve introducci\u00f3n a BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para Procesamiento de lenguaje (NLP) y Traducci\u00f3n Autom\u00e1tica (MT), de la mano de Rani Horev.","protected":false},"author":3,"featured_media":7046,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[619],"tags":[285,279,328],"class_list":["post-7044","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-traduccion-automatica","tag-bert","tag-machine-translation","tag-nlp"],"acf":[],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"Breve introducci\u00f3n a BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para Procesamiento de lenguaje (NLP) y Traducci\u00f3n Autom\u00e1tica (MT), de la mano de Rani Horev\" \/>\n\t<meta name=\"robots\" content=\"max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n\t<meta name=\"author\" content=\"Chema Bescos\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"es_ES\" \/>\n\t\t<meta property=\"og:site_name\" content=\"IBIDEM EDU |\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy\" \/>\n\t\t<meta property=\"og:description\" content=\"Breve introducci\u00f3n a BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para Procesamiento de lenguaje (NLP) y Traducci\u00f3n Autom\u00e1tica (MT), de la mano de Rani Horev\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2021-08-26T15:58:54+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2024-03-04T11:37:26+00:00\" \/>\n\t\t<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n\t\t<meta name=\"twitter:title\" content=\"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy\" \/>\n\t\t<meta name=\"twitter:description\" content=\"Breve introducci\u00f3n a BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para Procesamiento de lenguaje (NLP) y Traducci\u00f3n Autom\u00e1tica (MT), de la mano de Rani Horev\" \/>\n\t\t<script type=\"application\/ld+json\" class=\"aioseo-schema\">\n\t\t\t{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#article\",\"name\":\"Todo sobre BERT, el modelo ling\\u00fc\\u00edstico m\\u00e1s avanzado para NLP a d\\u00eda de hoy\",\"headline\":\"Todo sobre BERT, el modelo ling\\u00fc\\u00edstico m\\u00e1s avanzado para NLP a d\\u00eda de hoy.\",\"author\":{\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/author\\\/chema\\\/#author\"},\"publisher\":{\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/#organization\"},\"image\":{\"@type\":\"ImageObject\",\"url\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/wp-content\\\/uploads\\\/2021\\\/08\\\/bert-nlp-machine-learning.jpg\",\"width\":1140,\"height\":380,\"caption\":\"BERT el modelo ling\\u00fc\\u00edstico m\\u00e1s avanzado para NPL.\"},\"datePublished\":\"2021-08-26T17:58:54+02:00\",\"dateModified\":\"2024-03-04T12:37:26+01:00\",\"inLanguage\":\"es-ES\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#webpage\"},\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#webpage\"},\"articleSection\":\"Traduccion Automatica, bert, machine translation, NLP\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#breadcrumblist\",\"itemListElement\":[{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/#listItem\",\"position\":1,\"name\":\"Inicio\",\"item\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/traduccion-automatica\\\/#listItem\",\"name\":\"Traduccion Automatica\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/traduccion-automatica\\\/#listItem\",\"position\":2,\"name\":\"Traduccion Automatica\",\"item\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/traduccion-automatica\\\/\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#listItem\",\"name\":\"Todo sobre BERT, el modelo ling\\u00fc\\u00edstico m\\u00e1s avanzado para NLP a d\\u00eda de hoy.\"},\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/#listItem\",\"name\":\"Inicio\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#listItem\",\"position\":3,\"name\":\"Todo sobre BERT, el modelo ling\\u00fc\\u00edstico m\\u00e1s avanzado para NLP a d\\u00eda de hoy.\",\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/traduccion-automatica\\\/#listItem\",\"name\":\"Traduccion Automatica\"}}]},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/#organization\",\"name\":\"IBIDEM EDU\",\"url\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/author\\\/chema\\\/#author\",\"url\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/author\\\/chema\\\/\",\"name\":\"Chema Bescos\",\"image\":{\"@type\":\"ImageObject\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#authorImage\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/953506883190e283b6bb05284141f6c30cdf4df316a9d7113feb85e55ea1d31e?s=96&d=mm&r=g\",\"width\":96,\"height\":96,\"caption\":\"Chema Bescos\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#webpage\",\"url\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/\",\"name\":\"Todo sobre BERT, el modelo ling\\u00fc\\u00edstico m\\u00e1s avanzado para NLP a d\\u00eda de hoy\",\"description\":\"Breve introducci\\u00f3n a BERT el modelo ling\\u00fc\\u00edstico m\\u00e1s avanzado para Procesamiento de lenguaje (NLP) y Traducci\\u00f3n Autom\\u00e1tica (MT), de la mano de Rani Horev\",\"inLanguage\":\"es-ES\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/#website\"},\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#breadcrumblist\"},\"author\":{\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/author\\\/chema\\\/#author\"},\"creator\":{\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/author\\\/chema\\\/#author\"},\"image\":{\"@type\":\"ImageObject\",\"url\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/wp-content\\\/uploads\\\/2021\\\/08\\\/bert-nlp-machine-learning.jpg\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#mainImage\",\"width\":1140,\"height\":380,\"caption\":\"BERT el modelo ling\\u00fc\\u00edstico m\\u00e1s avanzado para NPL.\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/bert-nlp-machine-translation\\\/#mainImage\"},\"datePublished\":\"2021-08-26T17:58:54+02:00\",\"dateModified\":\"2024-03-04T12:37:26+01:00\"},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/#website\",\"url\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/\",\"name\":\"IBIDEM EDU\",\"inLanguage\":\"es-ES\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.ibidemgroup.com\\\/edu\\\/#organization\"}}]}\n\t\t<\/script>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy","description":"Breve introducci\u00f3n a BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para Procesamiento de lenguaje (NLP) y Traducci\u00f3n Autom\u00e1tica (MT), de la mano de Rani Horev","canonical_url":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/","robots":"max-snippet:-1, max-image-preview:large, max-video-preview:-1","keywords":"","webmasterTools":{"miscellaneous":""},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#article","name":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy","headline":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy.","author":{"@id":"https:\/\/www.ibidemgroup.com\/edu\/author\/chema\/#author"},"publisher":{"@id":"https:\/\/www.ibidemgroup.com\/edu\/#organization"},"image":{"@type":"ImageObject","url":"https:\/\/www.ibidemgroup.com\/edu\/wp-content\/uploads\/2021\/08\/bert-nlp-machine-learning.jpg","width":1140,"height":380,"caption":"BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NPL."},"datePublished":"2021-08-26T17:58:54+02:00","dateModified":"2024-03-04T12:37:26+01:00","inLanguage":"es-ES","mainEntityOfPage":{"@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#webpage"},"isPartOf":{"@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#webpage"},"articleSection":"Traduccion Automatica, bert, machine translation, NLP"},{"@type":"BreadcrumbList","@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#breadcrumblist","itemListElement":[{"@type":"ListItem","@id":"https:\/\/www.ibidemgroup.com\/edu\/#listItem","position":1,"name":"Inicio","item":"https:\/\/www.ibidemgroup.com\/edu\/","nextItem":{"@type":"ListItem","@id":"https:\/\/www.ibidemgroup.com\/edu\/traduccion-automatica\/#listItem","name":"Traduccion Automatica"}},{"@type":"ListItem","@id":"https:\/\/www.ibidemgroup.com\/edu\/traduccion-automatica\/#listItem","position":2,"name":"Traduccion Automatica","item":"https:\/\/www.ibidemgroup.com\/edu\/traduccion-automatica\/","nextItem":{"@type":"ListItem","@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#listItem","name":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy."},"previousItem":{"@type":"ListItem","@id":"https:\/\/www.ibidemgroup.com\/edu\/#listItem","name":"Inicio"}},{"@type":"ListItem","@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#listItem","position":3,"name":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy.","previousItem":{"@type":"ListItem","@id":"https:\/\/www.ibidemgroup.com\/edu\/traduccion-automatica\/#listItem","name":"Traduccion Automatica"}}]},{"@type":"Organization","@id":"https:\/\/www.ibidemgroup.com\/edu\/#organization","name":"IBIDEM EDU","url":"https:\/\/www.ibidemgroup.com\/edu\/"},{"@type":"Person","@id":"https:\/\/www.ibidemgroup.com\/edu\/author\/chema\/#author","url":"https:\/\/www.ibidemgroup.com\/edu\/author\/chema\/","name":"Chema Bescos","image":{"@type":"ImageObject","@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#authorImage","url":"https:\/\/secure.gravatar.com\/avatar\/953506883190e283b6bb05284141f6c30cdf4df316a9d7113feb85e55ea1d31e?s=96&d=mm&r=g","width":96,"height":96,"caption":"Chema Bescos"}},{"@type":"WebPage","@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#webpage","url":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/","name":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy","description":"Breve introducci\u00f3n a BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para Procesamiento de lenguaje (NLP) y Traducci\u00f3n Autom\u00e1tica (MT), de la mano de Rani Horev","inLanguage":"es-ES","isPartOf":{"@id":"https:\/\/www.ibidemgroup.com\/edu\/#website"},"breadcrumb":{"@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#breadcrumblist"},"author":{"@id":"https:\/\/www.ibidemgroup.com\/edu\/author\/chema\/#author"},"creator":{"@id":"https:\/\/www.ibidemgroup.com\/edu\/author\/chema\/#author"},"image":{"@type":"ImageObject","url":"https:\/\/www.ibidemgroup.com\/edu\/wp-content\/uploads\/2021\/08\/bert-nlp-machine-learning.jpg","@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#mainImage","width":1140,"height":380,"caption":"BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NPL."},"primaryImageOfPage":{"@id":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/#mainImage"},"datePublished":"2021-08-26T17:58:54+02:00","dateModified":"2024-03-04T12:37:26+01:00"},{"@type":"WebSite","@id":"https:\/\/www.ibidemgroup.com\/edu\/#website","url":"https:\/\/www.ibidemgroup.com\/edu\/","name":"IBIDEM EDU","inLanguage":"es-ES","publisher":{"@id":"https:\/\/www.ibidemgroup.com\/edu\/#organization"}}]},"og:locale":"es_ES","og:site_name":"IBIDEM EDU |","og:type":"article","og:title":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy","og:description":"Breve introducci\u00f3n a BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para Procesamiento de lenguaje (NLP) y Traducci\u00f3n Autom\u00e1tica (MT), de la mano de Rani Horev","og:url":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/","article:published_time":"2021-08-26T15:58:54+00:00","article:modified_time":"2024-03-04T11:37:26+00:00","twitter:card":"summary_large_image","twitter:title":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy","twitter:description":"Breve introducci\u00f3n a BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para Procesamiento de lenguaje (NLP) y Traducci\u00f3n Autom\u00e1tica (MT), de la mano de Rani Horev"},"aioseo_meta_data":{"post_id":"7044","title":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy","description":"Breve introducci\u00f3n a BERT el modelo ling\u00fc\u00edstico m\u00e1s avanzado para Procesamiento de lenguaje (NLP) y Traducci\u00f3n Autom\u00e1tica (MT), de la mano de Rani Horev","keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"limit_modified_date":false,"created":"2023-09-12 16:27:36","updated":"2024-03-04 11:51:24","focus_keyword":null,"additional_keywords":null,"truseo_locale":null,"ai":null,"breadcrumb_settings":null,"seo_analyzer_scan_date":null},"aioseo_breadcrumb":"<div class=\"aioseo-breadcrumbs\"><span class=\"aioseo-breadcrumb\">\n\t\t\t<a href=\"https:\/\/www.ibidemgroup.com\/edu\/\" title=\"Inicio\">Inicio<\/a>\n\t\t<\/span><span class=\"aioseo-breadcrumb-separator\">\u00bb<\/span><span class=\"aioseo-breadcrumb\">\n\t\t\t<a href=\"https:\/\/www.ibidemgroup.com\/edu\/traduccion-automatica\/\" title=\"Traduccion Automatica\">Traduccion Automatica<\/a>\n\t\t<\/span><span class=\"aioseo-breadcrumb-separator\">\u00bb<\/span><span class=\"aioseo-breadcrumb\">\n\t\t\tTodo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy.\n\t\t<\/span><\/div>","aioseo_breadcrumb_json":[{"label":"Inicio","link":"https:\/\/www.ibidemgroup.com\/edu\/"},{"label":"Traduccion Automatica","link":"https:\/\/www.ibidemgroup.com\/edu\/traduccion-automatica\/"},{"label":"Todo sobre BERT, el modelo ling\u00fc\u00edstico m\u00e1s avanzado para NLP a d\u00eda de hoy.","link":"https:\/\/www.ibidemgroup.com\/edu\/bert-nlp-machine-translation\/"}],"_links":{"self":[{"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/posts\/7044","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/comments?post=7044"}],"version-history":[{"count":20,"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/posts\/7044\/revisions"}],"predecessor-version":[{"id":11522,"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/posts\/7044\/revisions\/11522"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/media\/7046"}],"wp:attachment":[{"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/media?parent=7044"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/categories?post=7044"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ibidemgroup.com\/edu\/wp-json\/wp\/v2\/tags?post=7044"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}