Parámetros

• html_strings (str, list[str]) — La cadena HTML o el lote de cadenas HTML de las que se extraerán los nodos y los xpaths correspondientes.

Parámetros

• token_ids_0 (list[int]) — Lista de IDs a los que se les añadirán los tokens especiales.
• token_ids_1 (list[int], opcional) — Segunda lista de IDs opcional para pares de secuencias.

Parámetros

• token_ids_0 — Lista de IDs de la secuencia (posiblemente ya formateada).
• token_ids_1 — No se usa cuando already_has_special_tokens=True. Debe ser None en ese caso.
• already_has_special_tokens — Indica si la secuencia ya está formateada con tokens especiales.

Parámetros

• token_ids_0 (list[int]) — Lista de IDs.
• token_ids_1 (list[int], opcional) — Segunda lista de IDs opcional para pares de secuencias.

Parámetros

• token_ids_0 (list[int]) — Lista de IDs a los que se les añadirán los tokens especiales.
• token_ids_1 (list[int], opcional) — Segunda lista de IDs opcional para pares de secuencias.

Parámetros

• token_ids_0 (list[int]) — Lista de IDs.
• token_ids_1 (list[int], opcional) — Segunda lista de IDs opcional para pares de secuencias.

Parámetros

• text (str, list[str], list[list[str]]) — La primera secuencia que se codificará. Puede ser una cadena, una lista de cadenas o una lista de listas de cadenas.
• text_pair (list[str] o list[int], opcional) — Segunda secuencia opcional que se codificará. Puede ser una lista de cadenas de texto (palabras de un solo ejemplo) o una lista de listas de cadenas de texto (palabras de un lote de ejemplos).
• add_special_tokens (bool, opcional, valor predeterminado True) — Indica si se deben o no añadir tokens especiales al codificar las secuencias. Esto utilizará la función subyacente PretrainedTokenizerBase.build_inputs_with_special_tokens, que define qué tokens se añaden automáticamente a los ids de entrada. Esto es útil si deseas añadir tokens bos o eos automáticamente.
• padding (bool, str o PaddingStrategy, opcional, el valor predeterminado es False) — Activa y controla el relleno. Acepta los siguientes valores:
  • True o 'longest': Rellena hasta la secuencia más larga del lote (o no aplica relleno si solo se proporciona una secuencia).
  • 'max_length': Rellena hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento.
  • False o 'do_not_pad' (predeterminado): Sin relleno (es decir, puede generar un lote con secuencias de diferentes longitudes).
• truncation (bool, str o TruncationStrategy, opcional, por defecto False) — Activa y controla la truncación. Acepta los siguientes valores:
  • True o 'longest_first': Trunca hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto truncará token a token, eliminando un token de la secuencia más larga de la pareja si se proporciona una pareja de secuencias (o un lote de parejas).
  • 'only_first': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la primera secuencia de un par si se proporciona un par de secuencias (o un lote de pares).
  • 'only_second': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la segunda secuencia de un par si se proporciona un par de secuencias (o un lote de pares).
  • False o 'do_not_truncate' (predeterminado): sin truncamiento (es decir, se puede generar un lote con longitudes de secuencia mayores que el tamaño máximo de entrada admisible por el modelo).
• max_length (int, opcional) — Controla la longitud máxima que se utilizará mediante uno de los parámetros de truncamiento/relleno.

  Si se deja sin definir o se establece en None, se utilizará la longitud máxima predefinida del modelo si uno de los parámetros de truncamiento/relleno lo requiere. Si el modelo no tiene una longitud máxima de entrada específica (como XLNet), el truncamiento/relleno a una longitud máxima se desactivará.

• stride (int, opcional, valor predeterminado 0) — Si se establece en un número junto con max_length, los tokens de desbordamiento devueltos cuando return_overflowing_tokens=True contendrán algunos tokens del final de la secuencia truncada devuelta para proporcionar cierta superposición entre las secuencias truncadas y las de desbordamiento. El valor de este argumento define el número de tokens superpuestos.
• is_split_into_words (bool, opcional, valor predeterminado False) — Indica si la entrada ya está pretokenizada (por ejemplo, dividida en palabras). Si se establece en True, el tokenizador asume que la entrada ya está dividida en palabras (por ejemplo, dividiéndola por espacios en blanco) y las tokenizará. Esto es útil para NER o clasificación de tokens.
• pad_to_multiple_of (int, opcional) — Si se establece, se rellenará la secuencia hasta un múltiplo del valor proporcionado. Requiere que padding esté activado. Esto es especialmente útil para habilitar el uso de Tensor Cores en hardware de NVIDIA con capacidad de cálculo >= 7.5 (Volta).
• padding_side (str, opcional) — El lado en el que el modelo debe aplicar el relleno. Debe seleccionarse entre [‘right’, ‘left’]. El valor predeterminado se elige a partir del atributo de clase con el mismo nombre.
• return_tensors (str o TensorType, opcional) — Si se establece, devolverá tensores en lugar de una lista de enteros de Python. Los valores aceptables son:
  • 'pt': Devuelve objetos torch.Tensor de PyTorch.
  • 'np': Devuelve objetos Numpy np.ndarray.
• add_special_tokens (bool, opcional, valor predeterminado True) — Si se codifican o no las secuencias con los tokens especiales relativos a su modelo.
• padding (bool, str o PaddingStrategy, opcional, el valor predeterminado es False) — Activa y controla el padding. Acepta los siguientes valores:
  • True o 'longest': Rellena hasta la secuencia más larga del lote (o no aplica relleno si solo se proporciona una secuencia).
  • 'max_length': Rellena hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento.
  • False o 'do_not_pad' (predeterminado): Sin relleno (es decir, puede generar un lote con secuencias de diferentes longitudes).
• truncation (bool, str o TruncationStrategy, opcional, por defecto False) — Activa y controla la truncación. Acepta los siguientes valores:
  • True o 'longest_first': Trunca hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto truncará token a token, eliminando un token de la secuencia más larga de la pareja si se proporciona una pareja de secuencias (o un lote de parejas).
  • 'only_first': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la primera secuencia de un par si se proporciona un par de secuencias (o un lote de pares).
  • 'only_second': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la segunda secuencia de un par si se proporciona un par de secuencias (o un lote de pares).
  • False o 'do_not_truncate' (predeterminado): sin truncamiento (es decir, se puede generar un lote con longitudes de secuencia mayores que el tamaño máximo de entrada admisible por el modelo).
• max_length (int, opcional) — Controla la longitud máxima que utilizará uno de los parámetros de truncamiento/relleno. Si se deja sin establecer o se establece en None, se utilizará la longitud máxima predefinida del modelo si uno de los parámetros de truncamiento/relleno requiere una longitud máxima. Si el modelo no tiene una longitud de entrada máxima específica (como XLNet), el truncamiento/relleno a una longitud máxima se desactivará.
• stride (int, opcional, valor predeterminado 0) — Si se establece en un número junto con max_length, los tokens de desbordamiento devueltos cuando return_overflowing_tokens=True contendrán algunos tokens del final de la secuencia truncada devuelta para proporcionar cierta superposición entre las secuencias truncadas y las de desbordamiento. El valor de este argumento define el número de tokens superpuestos.
• is_split_into_words (bool, opcional, valor predeterminado False) — Indica si la entrada ya está pretokenizada (p. ej., dividida en palabras). Establezca este valor en True si está pasando entradas pretokenizadas para evitar una tokenización adicional.
• pad_to_multiple_of (int, opcional) — Si se establece, se rellenará la secuencia hasta un múltiplo del valor proporcionado. Esto es especialmente útil para habilitar el uso de Tensor Cores en hardware de NVIDIA con capacidad de cálculo >= 7.5 (Volta).
• return_tensors (str o TensorType, opcional) — Si se establece, devolverá tensores en lugar de una lista de enteros de Python. Los valores aceptables son:
  • 'pt': Devuelve objetos torch.Tensor de PyTorch.
  • 'np': Devuelve objetos Numpy np.ndarray.

Parámetros

• html_strings (str o list[str], opcional) — Cadenas HTML sin procesar para analizar y procesar. Cuando parse_html=True (valor predeterminado), estas cadenas se analizan para extraer automáticamente los nodos y los xpaths. Si se proporciona, nodes, xpaths y node_labels no deben proporcionarse. Obligatorio cuando parse_html=True.
• nodes (list[list[str]], opcional) — Nodos HTML preextraídos como una lista de listas, donde cada lista interna contiene el contenido de texto de los nodos para un solo documento. Obligatorio cuando parse_html=False. No debe proporcionarse cuando parse_html=True.
• xpaths (list[list[str]], opcional) — Expresiones XPath preextraídas que corresponden a los nodos. Debe ser una lista de listas con la misma estructura que nodes, donde cada XPath identifica la ubicación del nodo correspondiente en el árbol HTML. Obligatorio cuando parse_html=False. No debe proporcionarse cuando parse_html=True.
• node_labels (list[list[int]], opcional) — Etiquetas para los nodos, utilizadas típicamente para tareas de entrenamiento o ajuste fino. Debe ser una lista de listas con la misma estructura que nodes, donde cada etiqueta corresponde a un nodo. Opcional y solo se utiliza cuando parse_html=False.
• questions (str o list[str], opcional) — Cadenas de preguntas para tareas de respuesta a preguntas. Cuando se proporciona, el tokenizador procesa las preguntas como la primera secuencia y los nodos como la segunda secuencia (text_pair). Si se proporciona una sola cadena, se convierte en una lista para coincidir con la dimensión del lote del HTML analizado.
• add_special_tokens (bool, opcional, valor predeterminado True) — Indica si se deben o no añadir tokens especiales al codificar las secuencias. Esto utilizará la función subyacente PretrainedTokenizerBase.build_inputs_with_special_tokens, que define qué tokens se añaden automáticamente a los ids de entrada. Esto es útil si deseas añadir tokens bos o eos automáticamente.
• padding (bool, str o PaddingStrategy, opcional, por defecto False) — Activa y controla el padding. Acepta los siguientes valores:
  • True o 'longest': Rellena hasta la secuencia más larga del lote (o no aplica relleno si solo se proporciona una secuencia).
  • 'max_length': Rellena hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento.
  • False o 'do_not_pad' (predeterminado): Sin relleno (es decir, puede generar un lote con secuencias de diferentes longitudes).
• truncation (bool, str o TruncationStrategy, opcional) — Activa y controla la truncación. Acepta los siguientes valores:
  • True o 'longest_first': Trunca hasta una longitud máxima especificada con el argumento max_length o hasta la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto truncará token a token, eliminando un token de la secuencia más larga de la pareja si se proporciona una pareja de secuencias (o un lote de parejas).
  • 'only_first': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la primera secuencia de un par si se proporciona un par de secuencias (o un lote de pares).
  • 'only_second': Trunca a una longitud máxima especificada con el argumento max_length o a la longitud de entrada máxima aceptable para el modelo si no se proporciona dicho argumento. Esto solo truncará la segunda secuencia de un par si se proporciona un par de secuencias (o un lote de pares).
  • False o 'do_not_truncate' (predeterminado): sin truncamiento (es decir, se puede generar un lote con longitudes de secuencia mayores que el tamaño máximo de entrada admisible por el modelo).
• max_length (int, opcional) — Controla la longitud máxima que se utilizará mediante uno de los parámetros de truncamiento/relleno.

  Si se deja sin definir o se establece en None, se utilizará la longitud máxima predefinida del modelo si uno de los parámetros de truncamiento/relleno lo requiere. Si el modelo no tiene una longitud máxima de entrada específica (como XLNet), el truncamiento/relleno a una longitud máxima se desactivará.

• stride (int, opcional, valor predeterminado 0) — Si se establece en un número junto con max_length, los tokens sobrantes devueltos cuando return_overflowing_tokens=True contendrán algunos tokens del final de la secuencia truncada devuelta para proporcionar cierta superposición entre las secuencias truncadas y las sobrantes. El valor de este argumento define el número de tokens superpuestos.
• pad_to_multiple_of (int, opcional) — Si se establece, se rellenará la secuencia hasta un múltiplo del valor proporcionado. Requiere que padding esté activado. Esto es especialmente útil para habilitar el uso de Tensor Cores en hardware de NVIDIA con capacidad de cálculo >= 7.5 (Volta).
• return_token_type_ids (bool, opcional) — Si se deben devolver los IDs de tipo de token. Si se deja en el valor predeterminado, se devolverán los IDs de tipo de token según el valor predeterminado del tokenizador específico, definido por el return_outputs atributo.

  ¿Qué son los IDs de tipo de token?

• return_attention_mask (bool, opcional) — Si se debe devolver la máscara de atención. Si se deja en el valor predeterminado, se devolverá la máscara de atención según el valor predeterminado del tokenizador específico, definido por el return_outputs atributo.

  ¿Qué son las máscaras de atención?

• return_overflowing_tokens (bool, opcional, valor predeterminado False) — Indica si se deben devolver las secuencias de tokens que exceden el límite. Si se proporciona un par de secuencias de ids de entrada (o un lote de pares) con truncation_strategy = longest_first o True, se genera un error en lugar de devolver los tokens que exceden el límite.
• return_special_tokens_mask (bool, opcional, valor predeterminado False) — Indica si se debe o no devolver información de la máscara de tokens especiales.
• return_offsets_mapping (bool, opcional, por defecto False) — Si se devuelve o no (char_start, char_end) para cada token.

  Esto solo está disponible en los tokenizadores rápidos que heredan de PreTrainedTokenizerFast; si se utiliza el tokenizador de Python, este método lanzará NotImplementedError.

• return_length (bool, opcional, valor predeterminado False) — Indica si se deben devolver las longitudes de las entradas codificadas.
• verbose (bool, opcional, valor predeterminado True) — Si se imprime más información y advertencias.
• return_tensors (Union[str, ~utils.generic.TensorType], opcional) — Si se establece, devolverá tensores de un marco de trabajo específico. Los valores aceptables son:
  • 'pt': Devuelve objetos torch.Tensor de PyTorch.
  • 'np': Devuelve objetos np.ndarray de NumPy.

Parámetros

• input_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.

  Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.

  ¿Qué son los IDs de entrada?

• xpath_tags_seq (torch.LongTensor de forma (batch_size, sequence_length, config.max_depth), opcional) — IDs de etiquetas para cada token en la secuencia de entrada, rellenos hasta config.max_depth.
• xpath_subs_seq (torch.LongTensor de forma (batch_size, sequence_length, config.max_depth), opcional) — Identificadores de subíndice para cada token en la secuencia de entrada, rellenos hasta config.max_depth.
• attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en [0, 1]:
  • 1 para los tokens que no están enmascarados,
  • 0 para los tokens que están enmascarados.

  ¿Qué son las máscaras de atención?

• token_type_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en [0, 1]:
  • 0 corresponde a un token de sentence A,
  • 1 corresponde a un token de sentence B.

  ¿Qué son los IDs de tipo de token?

• position_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Índices de las posiciones de los tokens de cada secuencia de entrada en los embeddings de posición. Seleccionados en el rango [0, config.n_positions - 1].

  ¿Qué son los IDs de posición?

• inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasar input_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de input_ids en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.

Parámetros

• input_ids (torch.Tensor de forma (batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.

  Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.

  ¿Qué son los IDs de entrada?

• xpath_tags_seq (torch.LongTensor de forma (batch_size, sequence_length, config.max_depth), opcional) — IDs de etiquetas para cada token en la secuencia de entrada, rellenos hasta config.max_depth.
• xpath_subs_seq (torch.LongTensor de forma (batch_size, sequence_length, config.max_depth), opcional) — Identificadores de subíndice para cada token en la secuencia de entrada, rellenos hasta config.max_depth.
• attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en [0, 1]:
  • 1 para los tokens que no están enmascarados,
  • 0 para los tokens que están enmascarados.

  ¿Qué son las máscaras de atención?

• token_type_ids (torch.Tensor de forma (batch_size, sequence_length), opcional) — Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en [0, 1]:
  • 0 corresponde a un token de sentence A,
  • 1 corresponde a un token de sentence B.

  ¿Qué son los IDs de tipo de token?

• position_ids (torch.Tensor de forma (batch_size, sequence_length), opcional) — Índices de las posiciones de los tokens de cada secuencia de entrada en los embeddings de posición. Seleccionados en el rango [0, config.n_positions - 1].

  ¿Qué son los IDs de posición?

• inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasar input_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de input_ids en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.
• labels (torch.LongTensor de forma (batch_size,), opcional) — Etiquetas para calcular la pérdida de clasificación/regresión de secuencia. Los índices deben estar en [0, ..., config.num_labels - 1]. Si config.num_labels == 1 se calcula una pérdida de regresión (pérdida de error cuadrático medio), si config.num_labels > 1 se calcula una pérdida de clasificación (entropía cruzada).

Parámetros

• input_ids (torch.Tensor de forma (batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.

  Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.

  ¿Qué son los IDs de entrada?

• xpath_tags_seq (torch.LongTensor de forma (batch_size, sequence_length, config.max_depth), opcional) — IDs de etiquetas para cada token en la secuencia de entrada, rellenos hasta config.max_depth.
• xpath_subs_seq (torch.LongTensor de forma (batch_size, sequence_length, config.max_depth), opcional) — Identificadores de subíndice para cada token en la secuencia de entrada, rellenos hasta config.max_depth.
• attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en [0, 1]:
  • 1 para los tokens que no están enmascarados,
  • 0 para los tokens que están enmascarados.

  ¿Qué son las máscaras de atención?

• token_type_ids (torch.Tensor de forma (batch_size, sequence_length), opcional) — Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en [0, 1]:
  • 0 corresponde a un token de sentence A,
  • 1 corresponde a un token de sentence B.

  ¿Qué son los IDs de tipo de token?

• position_ids (torch.Tensor de forma (batch_size, sequence_length), opcional) — Índices de las posiciones de los tokens de cada secuencia de entrada en los embeddings de posición. Seleccionados en el rango [0, config.n_positions - 1].

  ¿Qué son los IDs de posición?

• inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasar input_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de input_ids en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.
• labels (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Etiquetas para calcular la pérdida de clasificación de tokens. Los índices deben estar en [0, ..., config.num_labels - 1].

Parámetros

• input_ids (torch.Tensor de forma (batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.

  Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.

  ¿Qué son los IDs de entrada?

• xpath_tags_seq (torch.LongTensor de forma (batch_size, sequence_length, config.max_depth), opcional) — IDs de etiquetas para cada token en la secuencia de entrada, rellenos hasta config.max_depth.
• xpath_subs_seq (torch.LongTensor de forma (batch_size, sequence_length, config.max_depth), opcional) — Identificadores de subíndice para cada token en la secuencia de entrada, rellenos hasta config.max_depth.
• attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en [0, 1]:
  • 1 para los tokens que no están enmascarados,
  • 0 para los tokens que están enmascarados.

  ¿Qué son las máscaras de atención?

• token_type_ids (torch.Tensor de forma (batch_size, sequence_length), opcional) — Índices de tokens de segmento para indicar las primeras y segundas partes de las entradas. Los índices se seleccionan en [0, 1]:
  • 0 corresponde a un token de sentence A,
  • 1 corresponde a un token de sentence B.

  ¿Qué son los IDs de tipo de token?

• position_ids (torch.Tensor de forma (batch_size, sequence_length), opcional) — Índices de las posiciones de los tokens de cada secuencia de entrada en los embeddings de posición. Seleccionados en el rango [0, config.n_positions - 1].

  ¿Qué son los IDs de posición?

• inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasar input_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de input_ids en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.
• start_positions (torch.Tensor de forma (batch_size,), opcional) — Etiquetas para la posición (índice) del inicio del span etiquetado para calcular la pérdida de clasificación de tokens. Las posiciones se limitan a la longitud de la secuencia (sequence_length). Las posiciones fuera de la secuencia no se tienen en cuenta para calcular la pérdida.
• end_positions (torch.Tensor de forma (batch_size,), opcional) — Etiquetas para la posición (índice) del final del span etiquetado para calcular la pérdida de clasificación de tokens. Las posiciones se limitan a la longitud de la secuencia (sequence_length). Las posiciones fuera de la secuencia no se tienen en cuenta para calcular la pérdida.