¡Resulta que la ingeniería rápida es diferente para los LLM de código abierto! En realidad, sus indicaciones deben diseñarse al cambiar de cualquier LLM, incluso cuando OpenAI cambia las versiones detrás de escena, razón por la cual la gente se confunde por qué sus indicaciones ya no funcionan. La transparencia de todo el mensaje es fundamental para extraer eficazmente el rendimiento del modelo. La mayoría de los marcos luchan con esto, ya que intentan abstraer todo u oscurecer el mensaje para que parezca que están administrando algo detrás de escena.
Pero la ingeniería rápida no es ingeniería de software, por lo que el flujo de trabajo es completamente diferente para tener éxito. Finalmente, RAG, una forma de ingeniería rápida, es una manera fácil de mejorar el rendimiento mediante la tecnología de búsqueda. De hecho, solo necesita 80 líneas de código para implementar todo y obtener más del 80% de lo que necesita (enlace al repositorio de código abierto). Aprenderá cómo ejecutar RAG a escala en millones de documentos.
