逻辑回归中的成本函数
在上一篇文章中，我们讨论了逻辑回归模型。这里我们讨论逻辑回归中的成本函数。
黄恩达让我把这个转达给大家。本文中有很多公式，所以请做好准备并擦亮眼睛！成本函数很重要！
为什么需要成本函数
为了学习逻辑回归模型的参数w和b，需要一个成本函数，通过学习这个成本函数，得到参数w和b。首先，我们看一下逻辑回归的输出函数。
为了让模型能够学习并调整其参数，我们需要为其提供m个样本的训练集。这使得我们能够在训练集中找到参数w和参数b并得到输出。
我们将训练集的预测值写为y^，我们希望它接近训练集的y值。更详细地介绍一下上面的公式，上面的定义是针对训练样本的，每个训练样本也采用这种格式。训练样本对应的预测值用括号括起来。这是w^Tx。训练样本的^i可以通过sigmoid函数得到，或者z可以定义为
，我们将使用这个符号进行注释。上标i表示该数据代表x、y或z的第i个训练样本或其他数据。这就是上标i的意思。
损失函数
损失函数也称为误差函数，用于衡量算法的行为。后续的网络判断和评估性能就是找到一个合适的loss。损失函数
我们使用称为L的损失函数来衡量预测输出值与实际值的接近程度。
通常我们使用预测值和实际值之间的平方差或平方差的一半，但在逻辑回归中我们通常不会这样做。学习逻辑回归参数时，优化目标为它不是凸优化，只能找到多个局部最优，而梯度下降不太可能找到全局最优。模型。
逻辑回归中使用的损失函数为
为什么使用这个函数作为逻辑损失函数？
如果您使用平方误差作为损失函数，您将希望使该误差尽可能小。对于这个逻辑回归损失函数，我想让它尽可能小，以便更好地理解这个损失函数是如何发生的。该函数提供了两个示例（y^表示预测值）
对于y=1，损失函数L=-logy^。为了使损失函数L尽可能小，y^应尽可能大，因为sigmoid函数使用[0,1]值。因此y^无限接近1。
对于y=0，损失函数L=-log1-y^。为了使损失函数L尽可能小，y^必须尽可能小。这是因为sigmoid函数使用y^值。它将无限接近0。
该流程与当前流程有很多类似的功能效果。换句话说，如果y为1，则使y^尽可能大，如果y为0，则使y^尽可能小。可能的。损失函数衡量算法在单个训练样本上的表现。为了衡量算法在所有训练样本上的表现，我们需要定义算法的成本函数。表示为J)，算法的成本函数除以m，因为m个样本的损失函数要先求和再平均):
损失函数仅适用于像这样的单个训练样本，而成本函数是参数的总成本，因此
在训练逻辑回归模型时，我们需要找到合适的w和b来最小化成本函数J的总成本。
根据我们对逻辑回归算法的推导，对单个样本的损失函数的推导，以及对算法所选参数的总成本函数的推导，结果表明逻辑回归可以认为是很小的。神经网络在下一篇文章中，我们将了解神经网络的作用。
这篇文章详细为你解了cost函数公式用法的题和一些关于cos函数的公式表相关内容，希望对广大网友有所帮助!
No Comment