Una estrategia de particionamiento que puedes defender en una revisión

Comience desde el fallo que está previniendo

La segmentación en trozos tiene exactamente dos direcciones de fallo. Los trozos que son demasiado pequeños pierden el contexto necesario para interpretarlos, por lo que el paso de recuperación encuentra el pasaje correcto y el modelo lo malinterpreta. Los trozos que son demasiado grandes diluyen la incrustación, por lo que el paso de recuperación pierde el pasaje porque un párrafo de texto irrelevante domina el vector.

La dirección que más duele depende del tipo de documento, y esa es la decisión de diseño completa. Los documentos narrativos toleran trozos más grandes porque el significado está distribuido. Los documentos de referencia —políticas, contratos, tablas de especificaciones— necesitan trozos más pequeños porque cada cláusula es autocontenida y debe recuperarse sola.

Divida en función de la estructura antes de dividir en longitud

La división basada en la longitud es una fallback, no una estrategia. Los documentos ya tienen estructura: títulos, secciones, cláusulas numeradas, filas de tablas. Dividir en función de esa estructura da trozos que corresponden a unidades que un ser humano citaría, y las citas son lo que la respuesta necesita para sonar creíble.

• Divida en los títulos y los límites de las cláusulas primero. Utilice la longitud como una restricción sobre eso, con un solapamiento lo suficientemente grande como para llevar una oración a través del límite.
• Mantenga las tablas completas cuando sean pequeñas, y divídalas por fila con el encabezado repetido cuando no lo sean. Un valor separado de su encabezado de columna es peor que un valor que falta.
• Nunca divida una regla de su excepción. Si la excepción es una oración siguiente o una subcláusula, pertenecen al mismo trozo incluso si eso hace que sea más largo que el objetivo.
• Anteponga la ruta de sección a cada trozo —título del documento, sección, subsección. Un trozo se recupera fuera de contexto y debe ser legible en aislamiento, en la ventana de contexto del modelo, sin el original alrededor.

Elegir un tamaño, no un valor predeterminado

Tome una muestra representativa de documentos reales, divídalos con dos o tres configuraciones candidatas, e inspeccione los trozos resultantes leyéndolos. La pregunta a responder mientras lee es concreta: ¿podría una persona competente responder a una pregunta desde este trozo solo? Si la respuesta es no para una parte significativa de los trozos, la configuración es incorrecta independientemente de lo que diga la puntuación de evaluación.

Luego verifique la interacción con la recuperación. Los trozos cortos mejoran la precisión en preguntas específicas y perjudican las preguntas que requieren contexto circundante. Si el corpus contiene ambos tipos de preguntas, esa es la argumentación honesta para la segmentación estructural con tamaño variable en lugar de un número global.

Qué escribir para que la elección sobreviva

• La configuración, el motivo por el que se eligió y las familias de documentos para las que se eligió.
• Las dos o tres preguntas que motivaron la elección, conservadas como elementos de evaluación para que un cambio futuro se mida en relación con ellas.
• Qué hacer para una nueva familia de documentos, ya que la configuración es una decisión sobre el contenido, no una constante global.
• La fecha y el corpus en el que se ajustó, porque la segmentación configurada contra un corpus no es automáticamente correcta para otro.