Funciones de activación de una red neuronal

domingo, 3 de set. de 2023

Funciones de activación de una red neuronal

Las funciones de activación son funciones matemáticas que se utilizan para determinar la salida de una neurona. Las funciones de activación se utilizan para introducir no linealidad en la red neuronal.
Volver

Función de activación lineal

La función de activación lineal es la función de activación más simple. La función de activación lineal simplemente devuelve la entrada sin aplicar ninguna transformación.

f(z)=zf(z) = z

Función de activación sigmoide

La función de activación sigmoide es una función de activación no lineal. La función de activación sigmoide se utiliza ampliamente en la capa de salida de una red neuronal. La función de activación sigmoide se define como:

f(z)=11+e−zf(z) = \frac{1}{1 + e^{-z}}

  • La función de activación sigmoide se utiliza en la capa de salida de una red neuronal cuando se desea predecir la probabilidad como salida.

  • Cuando z es muy grande o muy pequeño, la función de activación sigmoide se satura y la derivada de la función de activación sigmoide se vuelve muy pequeña. Esto hace que el gradiente sea muy pequeño y el entrenamiento sea muy lento.

Función de activación tangente hiperbólica (tanh)

La función de activación tangente hiperbólica es una función de activación no lineal. La función de activación tangente hiperbólica se utiliza ampliamente en la capa oculta de una red neuronal. La función de activación tangente hiperbólica se define como:

f(z)=ez−e−zez+e−zf(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}

  • Funciona mejor que sigmoide en las hidden layers de una red neuronal.

  • Cuando z es muy grande o muy pequeño, la función de activación tangente hiperbólica se satura y la derivada de la función de activación tangente hiperbólica se vuelve muy pequeña. Esto hace que el gradiente sea muy pequeño y el entrenamiento sea muy lento.

Función de activación ReLU

La función de activación ReLU es una función de activación no lineal. La función de activación ReLU se utiliza ampliamente en la capa oculta de una red neuronal. La función de activación ReLU se define como:

f(z)=max(0,z)f(z) = max(0, z)

  • La función de activación ReLU es la función de activación más utilizada en las capas ocultas de una red neuronal.

Función de activación Leaky ReLU

La función de activación Leaky ReLU es una función de activación no lineal. La función de activación Leaky ReLU se utiliza ampliamente en la capa oculta de una red neuronal. Se define como:

f(z)=max(0.01z,z)f(z) = max(0.01z, z)

  • La función de activación Leaky ReLU se utiliza en las capas ocultas de una red neuronal.

  • La función de activación Leaky ReLU se utiliza para resolver el problema de la muerte de ReLU.

Función de activación Softmax

La función de activación Softmax es una función de activación no lineal. La función de activación Softmax se utiliza ampliamente en la capa de salida de una red neuronal. La función de activación Softmax se define como:

f(zi)=ezi∑j=1Kezjf(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}

  • La función de activación Softmax se utiliza en la capa de salida de una red neuronal cuando se desea predecir la probabilidad como salida.

Consideraciones finales

  • En clasificación binaria, se puede usar la función de activación relu o leaky relu en la capa oculta y la función de activación sigmoide en la capa de salida.

  • En clasificación multiclase, se puede usar la función de activación relu o leaky relu en la capa oculta y la función de activación softmax en la capa de salida.

  • En regresión, se puede usar la función de activación relu o leaky relu en la capa oculta y la función de activación lineal en la capa de salida.