Chat With RTX: ¿Un chatbot personalizado local o un proyecto experimental?

Nvidia lanzó recientemente Chat With RTX, un chatbot gratuito de IA similar a ChatGPT, pero con la particularidad de funcionar localmente en PCs con tarjetas gráficas Nvidia RTX. Este chatbot utiliza modelos de lenguaje abierto de gran tamaño (LLMs) como Mistral o Llama y puede buscar en archivos locales para responder preguntas sobre ellos.

Un enfoque diferente a la IA conversacional:

A diferencia de herramientas como ChatGPT, que dependen de servidores remotos, Chat With RTX funciona directamente en tu PC. Esto permite mayor privacidad, ya que tus datos no se envían a la nube. Además, aprovecha la tecnología de trazado de rayos (RTX) para acelerar la generación de texto y la búsqueda de información local.

Capacidades y limitaciones:

Chat With RTX permite conversar con el modelo de IA sobre diversos temas, pedirle que resuma o analice datos, e incluso incorpora información de vídeos de YouTube sin necesidad de conexión a internet. Es compatible con varios formatos de archivo y permite dirigir las búsquedas a carpetas específicas.

Sin embargo, la aplicación aún está en desarrollo. La descarga ocupa 35GB debido a los modelos LLM incluidos y la instalación no es tan sencilla como con otros software. Requiere una tarjeta gráfica RTX 30 o 40 Series con al menos 8GB de VRAM y puede fallar en ocasiones. En cuanto a su capacidad, si bien se desempeña similar a un GPT-3 de principios de 2022, no alcanza el nivel de herramientas como GPT-4 Turbo o Google Gemini Pro/Ultra.

¿El futuro de la IA conversacional?

Chat With RTX plantea un acercamiento novedoso a la IA conversacional local. Si bien tiene limitaciones y está en etapas tempranas, demuestra el potencial de esta tecnología para ofrecer experiencias con mayor privacidad y acceso a contenido local. Su evolución y la competencia con otros proyectos similares definirán su impacto futuro en el campo de la comunicación asistida por IA.

Además de lo anterior, puedes considerar:

• Mencionar brevemente las implicaciones de privacidad de las soluciones basadas en la nube frente a las locales.
• Discutir la potencialidad de la tecnología para aplicaciones fuera del ámbito personal, como educación o atención al cliente.
• Ofrecer una visión personal sobre el futuro de las herramientas de conversación de IA y su desarrollo a nivel local.

Requisitos del sistema:

Requisitos del sistema