GIF AI Model: Fast, Cheap Decisions — Full Breakdown & Transcript

[00:00] Hace unos cuantos días atrás ha surgido un nuevo modelo llamado GIF, que básicamente podrían pensar que es un modelo que también genera texto, al igual que GPT, Cloud y muchos otros más. Pero en realidad está bastante interesante y yo diría que es un modelo que está mucho más enfocado en desarrolladores, principalmente porque su uso no es generar texto y utilizarse en un chat, sino que es un modelo que realmente está pensado para tomar decisiones, es decir, para poder utilizarse en aplicaciones.

[00:23] Y aunque esto suena más de lo mismo, en realidad se va a impresionar tanto por la velocidad, el costo, y también porque puede ser que sea una nueva categoría de modelos inteligentes que ahora se va a empezar a ver en los siguientes meses,

[00:35] sobre todo porque este modelo está siendo muy bien recibido. Y bueno, de forma sencilla, este modelo permite poder tomar decisiones autónomas como si fuera una condicional, pero basada en IA. Y bueno, lo genial es que ustedes pueden integrarlo en aplicaciones existentes y donde antes ustedes pensaban que utilizar un modelo inteligente era caro,

[00:50] ahora se puede hacer utilizando este modelo. Pero bueno, como la gran mayoría no sabe utilizar este modelo, en este video lo que voy a hacer es mostrarles algunos ejemplos, también les voy a decir cómo es que se genera código, y si bien aún no está abierto al público, ya se puede pedir acceso anticipado y te están regalando algunos créditos para que puedas probarlo.

[01:04] De hecho el día de hoy voy a utilizarlo para generar un par de aplicaciones y explicarles también cómo funciona. Pero el tema principal de este modelo, para aquellos que les pueda llegar a interesar, es que justamente les va a poder resolver lo que vendría a ser las decisiones inteligentes en una aplicación,

[01:17] como para poder clasificar, hacer que un agente responda cosas de forma rápida, además de también poder generar aplicaciones inteligentes con un bajo coste. Entonces, esto les puede interesar mucho si están generando aplicaciones al día de hoy utilizando IA. Vamos a empezar.

[01:31] Actualmente tu agente de IA ya te puede armar una aplicación en una tarde, conformada por backend, base de datos, funciones Chrome y todo funcionamiento Laptop. Pero justamente después de esto es donde viene el problema, y es el subirlo, porque hoy puedes desplegar en cualquier plataforma y el precio puede decir cero, lo cual será perfecto hasta que el proyecto crece, y es que muchas nubes te van a cobrar por peticiones, por ancho de banda, por invocaciones y por cosas que no sabías que cobraban, haciéndote que termines revisando ese dashboard de facturación muchas veces en lugar de escribir código.

[01:58] Es por eso que debes conocer a Synode, el cual funciona al revés. Esta es una plataforma que te cobra un precio mensual fijo para que puedas desplegar una aplicación fácilmente. Por ejemplo, con 4 dólares al mes puedes tener una base de datos de post de SQL o malla SQL administrada

[02:11] y con otros 4 puedes desplegar una aplicación web. Y si necesitas ejecutar aplicaciones en segundo plano, como son los tan llamados workers, también los puedes hacer desde ese mismo plan. Es decir que con 12 dólares ya puedes tener todo un stack completo desplegado en la misma plataforma

[02:23] y ese número no se mueve. Y esto no importa, así tu aplicación se vuelve muy popular y llega a miles de personas. Porque el tráfico no encarece la cuenta. El precio del paquete es lo máximo que vas a pagar. Además la plataforma funciona por créditos.

[02:35] Es decir, que tienes que recargar siempre algo de saldo para poder utilizarlo. Y se descuentan a diario según lo que tengas ejecutándose. Además estos créditos no expiran. Y si paras un proyecto, tu saldo va a seguir allí para que lo puedas utilizar en otras aplicaciones.

[02:47] Además si quieres que también tu guía pueda desplegar en CNode, esto también tiene soporte a los MTP. Es decir que vas a poder conectar tu agente de día como Cloud, Code, Cursor y muchos otros más para que tu misma ya puedas subir el proyecto y que puedas crear la base de datos, configure tu backend y puedas hacer todo el trabajo y dejar tu proyecto funcionando.

[03:04] Además esta plataforma te deja probarlo durante 7 días de forma gratuita sin utilizar ninguna tarjeta para saber si realmente cubres tus necesidades. Así que si quieres probar Sino por ti mismo también te dejo el enlace en la descripción. Muy bien, hace unos cuantos días atrás ha surgido un nuevo modelo llamado Jet que viene por parte de una empresa nueva llamada Scythe API.

[03:20] Esta empresa está liderada por uno de los creadores o inventores de Chess.pt y lo nuevo que están promoviendo es un nuevo tipo de modelo que podría catalogarse como RLCD, que viene de Reinforcement Learning for Calibrated Decisions.

[03:32] Y bueno, la idea de este tipo de modelos es que justamente le puedas dar como un prompt a un modelo inteligente, similar como lo hacemos siempre, solamente que en lugar de darte un texto generado allí como Cloud o GPT en el que te genera texto tras texto, en el caso de TypeSafe ya te devuelve una respuesta estructurada, es decir, te da como unos valores que dependiendo de tu pregunta pueden que sea true o false o puede ser que sea un puntaje de cero a algo o pueden ser múltiples decisiones con múltiples porcentajes para ver a cuál más se le acerca.

[03:58] y con eso básicamente podrían hacer muchas de las aplicaciones inteligentes que existen al día de hoy, pero a una velocidad mucho más rápida. Y es que este modelo no solamente procesa algo y da una respuesta, sino que lo hace de una forma tan veloz que al día de hoy ya se está empezando a utilizar en tareas

[04:12] que antes, por ejemplo, modelos como Cloud o GPT podrían ser muy lentos. Por ejemplo, automatizaciones de navegador, o el poder hacer que un juego vaya en tiempo real, o simplemente clasificar grandes cantidades de datos, porque obviamente si lo pasas con Cloud o GPT eso puede costar mucho.

[04:27] Bueno, en el caso de este modelo está muy bueno porque básicamente te ofrece el poder tener un modelo inteligente que procese algo a un bajo coste más una velocidad que realmente llama bastante la atención. Pero bueno, en este video también les voy a mostrar cómo utilizarlo y también qué cosas se podrían hacer con él.

[04:41] Porque justo ahora hay muchos ejemplos de lo que podrías hacer. Pero antes de explicarles código, primero voy a explicarles brevemente de qué se trata y cuál es la diferencia también con otros modelos inteligentes. Porque a partir de esto es donde realmente van a poder ver su uso y también sus limitaciones.

[04:53] Para empezar, cuando nosotros utilizamos un modelo inteligente típico, como puede ser por ejemplo Cloud, GPT, Gemini y básicamente todos los modelos, puede ser cualquiera, básicamente todos tienen la misma idea, das un prompt, le añades un contexto y a partir de eso como que el modelo empieza a procesar algo y te da una respuesta.

[05:09] Pero la respuesta que te da digamos que es un texto y ya sabemos que típicamente ustedes pueden preguntar cualquier cosa. Por ejemplo ustedes pueden preguntar algo histórico y en este caso el PRON como el modelo inteligente va a llegar a procesar algo,

[05:21] les va a devolver una respuesta y puede redactar ese evento histórico ocurrió en tal momento y así. Y ya sabemos el típico texto que genera el chat GPT y todos los modelos inteligentes que utilizamos a diario. Y de hecho si ustedes han utilizado un modelo en crudo pues saben que también simplemente pueden pasar el PRON y a partir de allí con el modelo inteligente pueden generar texto.

[05:36] Y eso funciona, incluso para poder responder preguntas, generar código, está bastante bien. Pero hay cierto tipo de aplicaciones donde ese enfoque es un poco difícil de poder utilizar. Y ese entorno vendría a ser las aplicaciones.

[05:48] En las aplicaciones, por ejemplo, cuando tú necesitas mover un botón, necesitas, por ejemplo, que una interfaz cambie de estado, sabes que no necesitas texto, necesitas un valor. Por ejemplo, si tienes un select y este está conformado por múltiples categorías, sabes que necesitas marcar un identificador,

[06:02] sabes que necesitas poder quizás seleccionar algo, y son acciones. Y por lo general esperaría que sean rápidas. O no solo eso, sino que por ejemplo también puedes tener una aplicación para poder hacer trading y sabes que los stocks van cambiando rápidamente,

[06:14] entonces por ejemplo quieres comprar algún valor dentro de un tiempo y también quieres que el modelo lo ejecute rápidamente. Bueno, ahí es donde necesitas también modelos rápidos. O quizá no necesitas velocidad, pero necesitas a un buen precio. Por ejemplo, tienes una enorme cantidad de tickets o digamos trabajas en un call center

[06:28] o algún tipo de sistema donde tienes muchos datos para clasificar y una persona se demora demasiado en hacerlo, también puedes utilizar un modelo inteligente y el modelo puede ir uno por uno leyendo y digitándolo. Ahora, el tema con Cloud y GPT es que eso funciona, de hecho tú puedes utilizar un modelo como Cloud Gimp

[06:43] y va a ir leyendo mensaje por mensaje y va a ir, digamos, categorizándolos o va a ir cambiándolos. Pero es lento y no solamente es lento, es caro. Entonces, en este caso lo que propone este nuevo modelo llamado GIF es que no te va a generar texto,

[06:55] sino que te va a generar una salida estructurada. Suena complicado, pero en realidad básicamente lo que te va a devolver es un objeto JSON, es decir, con la salida que ya espera tu aplicación. Parece muy sencillo, pero si ustedes lo piensan, si han desarrollado aplicaciones antes, básicamente cuando ustedes tienen una interfaz y le consultan a algún API, la API que te devuelve, te devuelve un JSON con valores para que puedas aplicar esa interfaz y inmediatamente reacciona.

[07:15] Bueno, en este caso justamente el modelo inteligente te devuelve un JSON con lo que hayas preguntado, de tal forma que tu aplicación puede cambiar de inmediato. Este es el uso más común que se le está dando a Jeff y en realidad está bastante bueno, porque con esto, básicamente tú podrías hacer que tu aplicación realmente sea inteligente y no solamente sea inteligente, sino que sea rápido y barato.

[07:31] Es decir, en el ejemplo donde tienes muchos datos para clasificar, como pueden ser correos, tickets o errores, en lugar de que una persona lo haga Jeff lo que va a hacer es hacerlo de inmediato en cuesti de segundos Y de eso lo vamos a ver en ejemplos Y lo mejor de todo es que te va a costar centavos de d A diferencia de lo que cuesta un modelo inteligente que puede llegar a costarte 40 d por mill de tokens

[07:50] En este caso Jeff cuesta 40 dólares por ejemplo por billón de tokens. Esto quiere decir que al consultar algo te sale 0.00 algo de centavos de dólar. Y para grandes cantidades de datos es realmente barato.

[08:02] Y lo van a comparar incluso y lo van a ver en el ejemplo. Pero bueno, algo muy importante con esto que les explico es que justamente con esto se dan cuenta que tampoco se puede utilizar para todo. Es decir, si lo tuyo va a ser generar, por ejemplo, artículos o quizás vas a necesitar generar múltiples textos,

[08:15] pues obviamente necesitas Cloud, GPT y esos modelos que ya utilizamos a diario. Pero si lo tuyo es generar algún tipo de agente o quieres hacer una automatización, controlar una ventana, o que al momento de pedir algo la aplicación cambie inmediatamente, pues obviamente necesitas algún tipo de lógica inteligente.

[08:30] Entonces allí Jeff te puede ayudar. De hecho, yo lo veo más a mi modo de ver como una condicional con IA, básicamente. Pero lo van a ver en el momento de uso que es bastante sencillo de entenderlo. Y la forma en la que Jeff lo logra, de hecho, es bastante interesante.

[08:42] Porque, de hecho, este no es un modelo que sabe de todo. Es decir, a diferencia de Cloud y CPT, que son modelos gigantes, donde obviamente tú le preguntas un hecho histórico, le preguntas un dato antiguo y te lo va a responder. En el caso de Jeff, no.

[08:54] Jeff es un modelo muy pequeño, que incluso tiene muy poco contexto. Tiene creo alrededor de 300.000 de ventanas de contexto. es decir, no es para cargar una enorme cantidad de información, pero la idea con Jeff es que justamente cuando vas a hacer una pregunta, este prompt básicamente es tu pregunta, es decir, qué es lo que quieres preguntar a la IA.

[09:09] Y luego el contexto, ellos le llaman un estado. Ahora, ¿por qué no le llaman contexto? Porque algo muy interesante que tiene Jeff es que no solamente puedes hacer una pregunta, sino que puedes hacer en un solo prompt, digamos, en una sola llamada a la API, puedes hacer múltiples preguntas, y Jeff te va a cobrar justamente por esa pregunta nada más,

[09:24] no te cobra por la salida, lo cual es muchísimo más barato. Y el otro punto del state vendría a ser también la información que Jeff necesita para poder tomar decisiones. En otras palabras, básicamente estas son lo que le preguntas al modelo y el state vendría a ser los datos que tiene que saber Jeff para poder decidir

[09:39] si esa pregunta se acerca a lo que tienes que clasificar o a lo que tienes que responder. Y bueno, yo sé que de momento no lo vas a entender porque no lo has visto en la práctica, pero básicamente de una forma muy sencilla, lo que hace Jeff es enterarse un poquito de la información que le puedes dar,

[09:53] luego le haces preguntas acerca de esa información y te va dando porcentajes. Ah, ok, esta pregunta puede ser al 90%. Esta pregunta no tiene nada que ver, es 0%. Esta pregunta puede tener múltiples opciones. Entonces, te da unas opciones, te puede decir este es 10%, este es 70%, este es 20% y así.

[10:09] Entonces, es muy interesante la forma en la que puedes llegar a preguntarla. Y de hecho, para empezar con el ejemplo, algo que deben entender es que GERD tiene tres formas de hacer preguntas. O digamos que tiene tres formas de poder tomar decisiones. La primera son preguntas de sí o no. En GERD le puedes preguntar algo muy puntual.

[10:22] Luego, los siguientes vendrían a ser opciones. Le llama Choice. Es decir, puedes hacer una pregunta y esa puede responder con múltiples opciones, en donde cada una puede tener una probabilidad mucho mayor que otra. Y la tercera vendría a ser un puntaje o un score, que básicamente vendría a ser que de todo lo que has preguntado, ¿qué tanto se le acerca a un valor?

[10:38] Y bueno, por darles un ejemplo del primer caso de CIO.NO, supongamos que ustedes tienen una aplicación de atención al cliente y supongamos que alguien de sus clientes reporta un error, te envía un correo y necesitas clasificarlo. Entonces tu aplicación puede preguntar algo como, ¿es una queja por parte del usuario?

[10:50] Y esta pregunta se la pasas a Jeff y Jeff lo que va a hacer es darte no un texto, como podría ser Cloud o GPT, sino lo que te da es básicamente un puntaje. Es decir, 0.95 o 95% de que el mensaje que te están enviando es una queja.

[11:03] Entonces ya a partir de allí tú puedes tomar una acción como priorizarlo, es decir, ejecutar códigos, una llamada de API y así. Luego en el caso de las opciones tú podrías preguntar, por ejemplo, a qué equipo asignar. Por ejemplo, en tu empresa puedes tener equipo técnico, puedes tener contadores, puedes tener administración.

[11:19] Entonces, por ejemplo, no sabrías a quién enviarle ese mensaje o a quién delegarle ese error. Entonces, podrías preguntarle a Jeff a qué equipo lo delego. Y de hecho, tienes que pasarle esa información a Jeff, porque no, Jeff no sabe nada, básicamente. Entonces, tú tendrías que decir, ok, en mi empresa tengo equipo técnico, tengo soporte, tengo IP, tengo ventas y así.

[11:37] Entonces, lo que va a hacer Jeff es, dependiendo del error, va a decir, ok, este mensaje quedaría mucho mejor en soporte, por ejemplo. O quizás es un error técnico y lo envía a IT, o quizás es un dado de baja porque alguien no pagó, entonces lo envía a facturación y así.

[11:51] Pero el tema es que el mismo modelo lo clasifica. Entonces es una queja porque supongamos que le cortaron el servicio, entonces eso podría clasificarse dentro de la categoría de facturación. Y luego tenemos la otra opción que vendría a ser el puntaje. Aquí, por ejemplo, lo que podríamos hacer es que podríamos preguntar qué tan frustrado está el cliente.

[12:08] Es decir, a partir del mensaje que envía el usuario, nosotros podríamos detectar qué tan frustrado está en una escala de un número. Entonces, por ejemplo, tú podrías decirle en una escala del 1 al 10 cuánto estás frustrado y te podría decir, ok, me he frustrado 7 de 10. O también te podría decir en un porcentaje, te podría decir en un 95% de que estás más cercano a estar frustrado o en realidad es un mensaje calmado, etc.

[12:27] El tema está en que justamente estas preguntas que ustedes están viendo, lo interesante es que todas se pueden hacer en una sola llamada de API. Es decir, no tengo que consultarle constantemente al modelo inteligente. Todas estas preguntas que estoy haciendo justo ahora se pueden hacer en una llamada y es lo interesante de ello.

[12:41] Es por eso que en este caso yo creo que este modelo ya se va a quedar y si bien puede ser que no hablemos de Jeff de aquí quizás a otros años, los otros laboratorios de guía estoy seguro que van a sacar modelos similares que van a ofrecer también ese tipo de características o quizás un nuevo modo de trabajo por parte de los modelos.

[12:55] Pero bueno, justo ahora como muchos van a querer desarrollar aplicaciones utilizando esto, ahora les voy a explicar justamente cómo se utiliza. Ahora, algo muy importante para aquellos que quieran probar el modelo, de momento aún no está público, pero está en una lista de espera. Entonces, si ustedes quieren probarlo, simplemente vienen a su página, que les voy a dejar en la descripción, y vienen aquí donde dice Join White List.

[13:11] Y de esta forma les van a regalar créditos para que puedan probar la API, obviamente esperando que les den acceso. Pero bueno, con esto dicho, ahora les voy a mostrar de qué se trata. Ok, entonces ahora vamos a probarlo y ver cómo funciona. De momento, esta es la cuenta que te dan cuando te aprueban, digamos, el White List.

[13:25] Y a partir de aquí lo que te dan es como una especie de resumen acerca de qué se trata el modelo. Por ejemplo, lo primero que resumen la salida estructurada que te da, por ejemplo, que te da un número en lugar de solamente darte un texto. Luego también es el poder ejecutar lo que vendría a ser consultas paralelas, es decir, poder evaluar múltiples preguntas al mismo tiempo sin la necesidad de esperar a que finalice una pregunta previa.

[13:45] Y el otro sería darte resultados que son probabilísticos, es decir, qué tan cercano es que sea cierta tu pregunta o que realmente se acerque a la respuesta que esperas. Y bueno, algo muy importante aquí para tomar en cuenta, y que es justamente una repetición a lo que les mencioné al inicio, es que esto no es bueno para hacer tareas de sistema 2.

[14:01] Es decir, si vas a utilizar grandes razonamientos o vas a necesitar una respuesta mucho más elaborada, obviamente ya están los modelos que ya venimos utilizando durante bastante tiempo. Lo otro es que tampoco está entrenado en dominios especializados. La idea del GIF es simplemente darse como una certeza rápida a partir de un contexto que le vas a pasar.

[14:17] Entonces, por ejemplo, tú le puedes preguntar algo, pero si él no sabe eso, vas a tener que ayudarle utilizando algún contexto. Para que pueda decir en base a eso qué tan cerca está de darte una respuesta. Y obviamente esto no es un chat generativo, entonces esto no es para poder generar un artículo o texto para decir que tienen los otros modelos.

[14:32] Y bueno, en base a esto, como pueden ver, es de 20 a 200 veces más rápido dependiendo del modelo que comparemos. Y obviamente también es muy barato. Entonces la idea es para utilizarse en tareas de Sistema 1. Y vamos a entrar en la consola. Me incluye un poquito como una demo de qué es lo que puede hacer.

[14:44] Y en realidad sí puede generar texto, pero no digamos en el nivel de un modelo al estilo de cloud o GPT, que obviamente todo lo responde en un stream bastante grande. Y cuando eliges te da como una especie de cuestionario, en donde por ejemplo te dice, por ejemplo,

[14:57] ¿Puedes shatear con Jers? Aquí te lo puede decir que sí, y aquí te va a decir no, Typhain solamente responde con decisiones de datos estructurados. Entonces vamos a decirle que no, y allí pasas a tu pregunta, y allí pasas a la siguiente pregunta. Y aquí te da un ejemplo.

[15:09] Tú puedes preguntar algo de ese estilo, puedes shatear con Jers, y aquí te puede decir 3% de verdad o 97% falsa. Y bueno, a partir de aquí vamos a ver en el Playground lo que sería como una especie de recuadro. En la parte superior izquierda deber ver lo que ellos llaman el estado que digamos que es la informaci o el contexto que t le das al modelo Es decir t le puedes preguntar por ejemplo si alg tipo de informaci es correcta o incorrecta pero para que el modelo decida necesitas darle informaci entonces aqu est esa informaci este es el

[15:33] estado el contexto luego debajo están las preguntas que esto es lo que nosotros tendríamos en una aplicación que ya lo vamos a generar incluso por aparte pero básicamente aquí le está dando como varias preguntas es decir cada una de estas es una pregunta no sé si lo notan para que se

[15:46] de desarrollo, este es un objeto JSON, aquí hay un primer objeto, luego hay un segundo objeto, bueno cada uno de estos vendría a ser una pregunta y aquí están los distintos tipos que ofrece Jeff. El primero por ejemplo es la pregunta ¿Puede shatear con Jeff? Entonces aquí le dice tipo null, el tipo null significa que ok, es sí o no y bueno aquí está la duda, literalmente dice ¿Puede shatear con Jeff TypeSafe, el nuevo modelo de TypeSafe?

[16:08] Y bueno, aquí si tú lo ejecutas, le das el run, la respuesta que te dice Jeff es 3, es decir, 3%, lo que significa que es demasiado bajo, entonces él no es verdad. Incluso, simplemente para darle a su idea, vamos a colocarle en español, porque el modelo en sí no tendría ningún problema.

[16:21] Aquí me está dando rojo que se está repitiendo, pero podemos decirle, puede Jeff generar texto, vamos a colocarle. Aquí es un tipo null, y aquí le colocan su pregunta, por ejemplo, podríamos decirle tal cual. Entonces aquí le digo, Jeff es bueno para generar textos largos.

[16:34] Y bueno, aquí le voy a dar en Run y pueden ver que aquí me dice, ¿Puede Jeff tener textos largos? y me dice 3%. Es la misma pregunta en realidad, pero es para que entiendan la sintaxis. Por otro lado, si ustedes le colocan algo como Jeff puede combinarse con otro CRLM. En este caso la respuesta es mucho más acertada, por ejemplo pueden ver que está al 39%,

[16:49] o por ejemplo para que llegue al 100% o a lo que ya sabemos que es verdad. Por ejemplo aquí le voy a decir Jeff está desarrollado por Type6, entonces esto es 95% porque es una verdad. Ahora, esto que parece tan simple, que es como un if si lo consideran, pues básicamente es la idea del modelo principalmente.

[17:04] Ahora, este no es el único, como pueden ver también tenemos otro tipo que es el Choice, que básicamente aquí está tu pregunta, por ejemplo aquí le puedes decir de qué tipo de salida puedes producir 10, y el primero puede ser un criterio, puedes darle por ejemplo, Free Form Text Generalization, por ejemplo, puede generar generación de textos libres,

[17:18] o también está la otra opción de generar decisiones estructuradas para máquinas. Y bueno, la razón de darle bastantes opciones es justamente para que a medida que va respondiendo, si lo notan y se vendría a hacer su respuesta, al que más se le acerca le coloque como varias respuestas,

[17:31] Es decir, es como la probabilidad que se le acerque más una de estas opciones. Y esta es justamente la que nos da como resultado 69%, 31%, 0%. Y bueno, aquí hay otros ejemplos, también hay por similitud. Y bueno, luego está el siguiente tipo de datos, que sería el score, que vendría desde el 0 al 1, es decir, del 0 al 100%.

[17:47] Y aquí la pregunta que le da es, por ejemplo, ¿qué tan similar es la arquitectura de Jeff a un LLM o a un Bramford LLM? Que se le da un prompt y también tiene que responder la estructura en JSON. Es decir, ¿qué tanto se le parece, digamos, la forma en la que le damos el prompt a los otros modelos que ya conocemos?

[18:01] Bueno, y aquí, por ejemplo, la respuesta es 67%. Y después usted deja un clip también como que les da las opciones, porque en este caso, como el score puede llegar a abarcar distintos tipos de criterios, aquí le da, por ejemplo, como un puntaje cada uno.

[18:14] Entonces, al que más se le acerca, vendría a ser a este segundo de aquí, que dice, es ligeramente conceptual o es, digamos, similar, pero fundamentalmente difiere de forma interna cómo está trabajando. Y bueno, es de forma bastante sencilla cómo funciona.

[18:26] Pero para darles una idea, vamos a crear algo. Y es que, por lo general, esto es para aplicaciones de nuevo. Y bueno, si vienen aquí, lo que van a ver es el usage o el uso. Y van a ver que aquí, por ejemplo, está la cantidad de tokens que he consumido y la cantidad de peticiones.

[18:38] Es decir, he hecho 5 consultas. Y bueno, las 5 consultas no son individuales. Recuerden que es todo ese bloque de preguntas que hemos hecho al mismo tiempo. Y bueno, como les he ejecutado 5 veces, son 5 peticiones. Y el gasto que he hecho de eso es básicamente 0.01 centavo de dólar.

[18:50] De hecho, en el caso de que ustedes utilicen o estén pidiendo acceso anticipado, lo que les regalan básicamente son 5 dólares para que puedan probar. Y bueno, son 7000 tokens. En realidad es una API muy barata. Y bueno, lo que vamos a hacer aquí es simplemente darle en crear clave.

[19:03] Aquí vamos a colocar el nombre, vamos a colocarle TFJ, por ejemplo. Y bueno, con esta clave ya podemos empezar a utilizarlo desde la aplicación. Ahora, muy importante, si ustedes tienen acceso, en el caso de TypeSafe, ellos también proveen una documentación.

[19:15] Y aquí como que les da algunos ejemplos de casos de uso. Por ejemplo, pueden utilizarlo para automatizar software, para utilizar la aplicación en tiempo real, también para procesar dataset, es decir, si tienes enormes cantidades de datos y quieres empezar a clasificarlos.

[19:27] Obviamente utilizar un LLM siempre ha sido costoso. pero de esta forma ahora tienes un método rápido para poder clasificar a un bajo costo. Y el otro que también me interesa, que incluso espero que algún harness aparezca por ahí que lo implementen, ya sea a través de flying o incluso nativamente,

[19:40] ya que justamente vamos a ver algunos ejemplos después de esto de cómo lo están utilizando también. Y bueno, en realidad aquí hay muchos más casos, así que también pueden darse una idea. Si ustedes, por ejemplo, pertenecen a uno de esas áreas, por ejemplo, hay un área de finanza, de seguros, de atención al cliente,

[19:55] bueno, todas esas al final requieren algún tipo de IA que pueda decidir algo. Entonces este vendría a ser un modelo mucho más barato para poder ejecutar algo Y bueno, lo que me interesa mostrarles también de la documentación es que tiene un skill De hecho, si ustedes van a utilizarlo con cualquier agente de IA

[20:07] Pueden utilizar este que dice IAMSKILL Y de esta forma, por ejemplo, tiene incluso hasta plugins para CloudTalk Y para otros agentes también tiene la instalación con NTFSKILL Es decir, desde la web de SKILL.ch Pero bueno, voy a copiar esto Y en una terminada simplemente vamos a pegar estos dos comandos

[20:21] Y listo, con esto ya tenemos los skills instalados Y bueno, a partir de allí, si entran en CloudTalk Pueden volver a cargar los skills escribiendo RELOAD SKILL y para activar el plugin puedes escribir plugin y si escriben type save van a ver que allí aparece justamente este plugin de aquí

[20:34] le damos enter, le dan instalar y listo, ahora si venimos aquí y escribimos por ejemplo type save ahí aparece justamente este skill, pero bueno primero vamos a crear un ejemplo de en donde podríamos necesitarlo y bueno para darles un primer ejemplo vamos a generar primero lo que sería un juego

[20:47] de hecho vamos a colocar algo de ese estilo, crear una aplicación en XGS vamos a decirle que utilice el skill de lo que sería type save, entonces le podemos pasar también la url Igual yo les voy a dejar este programa allí en un artículo que he escrito para que puedan copiar y pegarlo.

[21:00] Pero la idea es generar un juego de Snake, el juego de la culebrita, solamente que en este caso no se va a jugar por nosotros, sino que la misma guía va a tratar de decidir. Y como en este caso va a tener opciones, es decir, va a tener opciones de arriba, abajo, derecha, izquierda, que es bueno para este tipo de modelos, vamos a ver que lo va a poder resolver relativamente rápido.

[21:16] Y eso también le estoy pidiendo como algunas flechas para que pueda mostrar, por ejemplo, la probabilidad de cada dirección. Es decir, a medida que el modelo va respondiendo, le va a decir, por ejemplo, arriba es 80%, la derecha es 0%, abajo es 0% y así.

[21:29] Y bueno, después de un rato lo que vamos a generar es algo como esto. Y bueno, como pueden ver aquí en una parte de arriba tengo el puntaje, es decir, lo que el juego va recolectando. Luego la confianza, que es la respuesta de Jeff. La latencia, que es la respuesta de la API, justo en los momentos después de darle la pregunta o la decisión que trata de tomar, en este caso, la serpiente.

[21:44] Y luego tengo por ejemplo el costo acumulado Ahora para que esto no parezca programado Vamos a refrescarlo y pueden ver que la pelota Como que siempre está aleatoriamente Vamos a colocarlo un poco lejos, allí por ejemplo Entonces en este caso vamos a darle en el modo manual

[21:57] En el modo manual nosotros por ejemplo podemos Mover nosotros mismos Y pueden ver que aquí funciona Pero vamos a darle ahora la facultad de que Jeff lo tome Entonces vamos a seleccionar Jeff allí Le vamos a dar en play y a partir de aquí Lo que están viendo es la ejecución del modelo

[22:11] Paso a paso, es decir, esto parecería Como que ya se ha entrenado un modelo y demás Pero no, las consultas se están haciendo en tiempo real Es decir, cada movimiento del juego vendría a ser un puntaje Y eso continúa en como un loop Hasta el siguiente paso y al siguiente paso

[22:24] Es un ejemplo de hecho bastante simple Pero si ustedes eso lo tratan de entender para un juego mucho más complejo Recuerden que pueden pasarle todo el contexto actual de un juego Y de esa forma pueden tomar decisiones Entonces el gaming es una de las áreas en las que este modelo puede realmente ser aprovechado

[22:40] Y pueden ver que es bastante rápido Ahora, obviamente no es excesivamente rápido pero recuerden que este es un modelo inteligente procesando cada petición en el momento y es tan rápido que después ve incluso al momento de ejecutar un juego obviamente esto puede mejorar

[22:52] hay quien dice que esto también se puede utilizar por ejemplo para poder tener conducción autónoma en autos y así pero de momento yo diría que no es lo excesivamente rápido como para poder utilizarlo de esa forma a as pueden ver que en este caso como que el modelo trata de solucionar all y pueden ver que ah como que se est bueno las reglas de los juegos en este caso no est bien hechas Si no ya podr haber fallado Pero bueno esto es b Jeff en ejecuci

[23:14] Y como pueden ver, aquí también obviamente va el gasto que voy a hacer en la API. Y aquí la latencia. Como pueden ver, es de 355 milisegundos. Y bueno, si ustedes quieren ver también las respuestas, aquí hay como un recuadro. Donde puedo darle en VeriJSON. Y bueno, solamente para darles una idea.

[23:26] En este caso, le coloca como el estado. Para informarle en cada momento que se hace una petición. le indica de qué se trata la decisión. Por ejemplo, dice, estaba aquí en un claro juego de la culebra. Luego lo siguiente es el movimiento, que se va a mover hacia arriba, por ejemplo.

[23:40] Luego el estado de qué tan lejos está la comida, por ejemplo, puede decirte que arriba, a la derecha y demás. Y luego tiene el caso de que la ola ha colocado hasta el estado del propio cuerpo de la serpiente. Pero bueno, las preguntas vienen aquí, y es justamente la elección, y es que justamente se preguntan varias cosas a la vez.

[23:53] El primero es escoger hacia dónde se va a mover la serpiente. Luego el objetivo, que es obviamente permanecer vivo. Y luego ir acercándose al punto o a la comida. Y el tercero, que vendría a ser otra pregunta, que vendría a ser, por ejemplo, otra instrucción de nunca acercarse a las paredes.

[24:07] Y luego a partir de allí tienen las siguientes opciones. Moverse arriba, abajo, izquierda o derecha. Y bueno, a partir de allí es donde devolveríamos lo que vendría a ser la pregunta completa. Es decir, a diferencia de un LLM donde siempre le preguntas una cosa a la vez, en este caso puedes preguntarle múltiples cosas, como pueden ver.

[24:20] Y esa es la razón por la que se define como un estado. Y bueno, por ejemplo, aquí me da el 99% hacia arriba. Y bueno, luego dice, ok, hacia la derecha, luego hacia arriba y así. Es decir, una decisión que podríamos nosotros, por ejemplo, escribir un código, Jeff lo va escribiendo en tiempo real, por así decirlo.

[24:35] Entonces, básicamente una condicional, pero eso se va haciendo en tiempo real con una IA. Y bueno, como segundo ejemplo, vamos a pedir algo de este estilo, en donde voy a generar una aplicación, que es como un panel de atención al cliente. Y bueno, lo voy a generar simplemente con datos falsos, por ejemplo, alrededor de 300 mensajes falsos,

[24:50] en donde por ejemplo van a estar datos de clientes, correos, si te han pagado algún plan, por qué medio estén comunicados, si es por correo, por chat o por un formulario y así. Y por ejemplo lo que pasa en atención al cliente es que se tiene que clasificar.

[25:03] Muchas veces llega mensaje que pueden ser cobros, que quizás ya se pagaron, pueden ser reembolsos, pueden ser errores que ocurren en una aplicación o en algún servicio y así. Entonces como eso lo tiene que atender una persona, típicamente la persona tiene que leerlo y tiene que categorizarlo,

[25:16] saber si el mensaje que está llegando es una queja, es un error o simplemente es una consulta y así. Entonces vamos a generar primero esta aplicación y vamos a ver qué es lo que obtenemos. Y bueno, esto es lo que ha generado y como pueden ver es una aplicación con una tabla allí

[25:28] con una enorme cantidad de tickets para revisar. Son 300 para poder revisar y obviamente la persona tendría que ir leyendo uno a uno. Entonces, por ejemplo, en un call center, en un tipo de aplicación de servicio al cliente o si incluso trabajas con una empresa de desarrollo, tienes tickets por resolver,

[25:43] bueno, das un clic y tienes que leer el error. entonces tienes que ver qué te dicen y aquí por ejemplo me da un error técnico el que tiene facturas allí pendientes y el sistema no procesa, entonces lo elevo a un nivel técnico y le coloco una prioridad alta y le doy guardar y siguiente y listo ya califique el primero

[25:59] y así tendría que pasar con el resto de procesos, obviamente solamente para leer esto probablemente ya iría con unos cuantos segundos y así, pero vamos a ver qué tal lo hace Jeff entonces en este caso voy a pasarle este prompt que básicamente le voy a decir que de nuevo utilice la skill de Jeff

[26:13] y vamos a decirle que en cada llamada, es decir, que trate de colocar en categorías, si pertenece a uno de esas áreas técnicas, es decir, si pertenece a facturación, a la área técnica, a ventas, a cuentas, eso de aquí ustedes lo obtendrían justamente quizás de su base de datos.

[26:26] Eso se tendría que crear incluso si ustedes tienen una base de datos, podrían consultarlo, arman el PROM, y es fácil de allí, pues si modifican la base de datos, eso se modificaría en tiempo real. Luego la otra es la prioridad, que también es una buena forma de mostrar los tres niveles,

[26:38] es decir, de poder darle como un puntaje a cuál pertenecería. Y algo muy importante que no les había mencionado es que por lo general dependiendo de lo que nosotros vamos obteniendo como respuesta a nuestras preguntas, obviamente nosotros vamos a obtener este porcentaje a través de estos puntos, es decir, 0.algo.

[26:53] Entonces vamos a tener que categorizarlos y eso lo hace también a nivel de código. De hecho, al final de esto sí. De hecho, vamos a esperar a que lo generen y le damos una revisada también a esos archivos. Y bueno, si esperamos un poco lo que vamos a obtener ahora, vendría a ser este botón que dice clasificar todo con 10. Entonces simplemente vamos a darle un clic.

[27:06] y a medida que vamos dando un clic pueden ver que se van clasificando uno a uno en tiempo real cada uno de estos errores, estos reportes, que al final obviamente a una persona le tomaría mucho tiempo y de nuevo parecería algo muy interesante si incluso fueran con datos de una base de datos de verdad.

[27:24] Pero recuerda que todo esto en realidad ya ha existido antes, es decir, los modelos inteligentes ya permitían hacer esto, pero no a esta velocidad. Principalmente porque obviamente si tú se lo das a un modelo empieza a cargar, luego empieza a analizar el siguiente y el siguiente. En el caso del Jeff no necesita producirte una enorme cantidad de texto y lo hace bastante rápido.

[27:39] Entonces ya terminas tu trabajo, ya se clasificó todo en cuestión de segundos y es por eso que se ven tantos ejemplos al día de hoy. Entonces imagínense, en 37 segundos hemos clasificado 300 datos que a una persona le podría haber tomado horas y días, incluso dependiendo de que tanto conozca el negocio o el asunto.

[27:54] Y bueno, entre algunos ejemplos, otros lo que están haciendo por ejemplo es automatizar el navegador, pidiéndole con instrucciones de voz que pueda navegar por ejemplo. Y como utiliza quizás un modelo para que pueda transcribir y luego se lo pasa a Jeff, esa transcripción, él puede tomar una acción.

[28:08] Por ejemplo, cambiar de página, dar un clic y así. Otra idea también es poder darle como un bloque de código y que lo analicen para saber, por ejemplo, si cumple con ciertas condiciones de seguridad o escritura de código o review. Incluso dice que algunos lo utilizan como una especie de validador de código en tiempo real porque es muy rápido realmente que te dé una respuesta.

[28:25] O lo último que también podrían hacer es aplicar los stocks. Es decir, si ustedes están haciendo trading y quieren un bot que pueda hacer cálculos y poder comprar y vender rápidamente en distintos stocks, probablemente pueden utilizarlo también para ese tipo de tareas.

[28:38] Obviamente esto ya es un desafío de nuevo, pero no era lo que se esperaba. Ahora con este modelo que es muy rápido y para ese tipo de acciones que uno quisiera que una gente haga, pues justamente viene bastante bien para ese tipo de aplicaciones. Entonces, para un usuario normal, yo no creo que esto le vaya a impactar, pero para un desarrollador o personas que desarrollen aplicaciones, esto realmente está muy bueno.

[28:55] Ahora, este modelo en realidad ha introducido algo que está bastante llamativo, incluso yo creo que esto ya se va a quedar, pero yo también creo que las otras empresas, es decir, las empresas chinas, los laboratorios que están desarrollando modelos que en el día a día utilizamos, es decir, Cloud, CPP, pues ya habrán visto esto.

[29:09] y es probable que en los siguientes meses o quizás semanas, ya no sabemos qué tan rápido lanzan, pues básicamente también podrían generar estos modelos que solamente envían respuestas. Incluso ya estoy viendo por allí uno que otro proyecto open source que está basado en esta idea.

[29:23] Pero bueno, de momento es una API bastante barata y bueno, si ustedes quieren resolver algo, esto se puede conectar a su aplicación y es bastante fácil de integrar como han podido ver. Pero bueno, para la gran mayoría solamente queda esperar. Y de forma resumida, a mi modo de ver, pues se me ocurren muchas otras formas también

[29:38] de cómo utilizarlo en aplicaciones. Hay muchas personas que no solamente quieren chat, sino quieren agentes y obviamente quieren tener un chat ahí que haga tareas, pues ahora puedes generar un agente de una forma mucho más rápida y que quizás puede llegar a cumplir ese ras que se te hacía complicado y caro, ahora de una forma mucho más accesible. Pero

[29:53] bueno, este es un muy buen modelo, es una muy buena idea y para todos aquellos que están escogiendo aplicaciones, les recomiendo que le echen un vistazo o pidan el acceso temprano. Y bueno, si quieren hacer eso, pedir acceso, también les voy a dejar un enlace en la descripción

[30:05] para que puedan hacerlo. Y bueno, este es básicamente Jeff, está bastante interesante y los recomiendo que lo prueben por ustedes mismos si tienen la oportunidad pero en cuestión de días estoy seguro que ya va a salir al público, entonces es básicamente eso. Y bueno, si tienen una duda o cualquier otra idea

[30:17] de cómo pueden utilizar esto o lo que han visto por allí también lo pueden dejar en los comentarios. Nos vemos en un siguiente video. Y eso ha sido todo por el video del día de hoy. Si quieres conocer más te dejo en pantalla mis enlaces sociales y mi web faz.es en donde puedes reservar asesorías

[30:29] personalizadas de cualquier tema. Y no te olvides de dejarme un comentario de si hay una duda o una sugerencia para el siguiente video. Nos vemos en un próximo video.