np.clip的使用

np.clip() 是 NumPy 中一个非常实用的函数，用于将数组中的值裁剪（或者说限制）在一个指定的区间内。

它的作用就像一把剪刀，把数组中所有超出规定范围的数值都剪掉，让它们回到这个范围的边缘。

np.clip() 的基本用法

np.clip() 的基本语法是：
np.clip(a, a_min, a_max, out=None)

• a: 你想要裁剪的数组（或数值）。
• a_min: 数组中数值的下限。所有小于 a_min 的值都会被替换成 a_min。
• a_max: 数组中数值的上限。所有大于 a_max 的值都会被替换成 a_max。

示例

假设你有一个数组，你想让它的所有值都在 0 到 10 之间。

import numpy as np

# 创建一个包含各种数值的数组
arr = np.array([-5, 2, 8, 12, 100, 0.5])

# 将数组中的值限制在 [0, 10] 范围内
clipped_arr = np.clip(arr, 0, 10)

print(clipped_arr)
# 输出: [ 0.  2.  8. 10. 10.  0.5]

可以看到，在这个例子中：

• -5 小于下限 0，所以被裁剪成了 0。
• 12 和 100 都大于上限 10，所以都被裁剪成了 10。
• 2, 8, 0.5 都在 0 到 10 之间，所以它们的值保持不变。

np.clip() 在机器学习中的应用

np.clip() 在机器学习中非常有用，通常用于防止数值溢出或确保结果的稳定性。在你的代码中，它有两个关键的应用：

1. 在 Softmax 函数内部防止上溢

def softmax(x):
x = np.clip(x,-1e10,100)
ex = np.exp(x)
sum_ex = np.sum(ex,axis=1,keepdims=True)

result = ex/sum_ex

result = np.clip(result,1e-10,1e10)
return  result
```

Softmax 函数会使用 `np.exp()` 进行指数运算。如果 `x` 的值太大（例如超过709），`np.exp(x)` 会发生**上溢**，结果变为 `inf`（无穷大）。`np.clip()` 将 `x` 的值限制在 100，确保 `np.exp()` 的结果在一个可计算的范围内，从而避免了溢出。

2. 在 Softmax 函数输出后防止对数运算错误

   result = np.clip(result, 1e-10, 1e10)
   loss = -np.mean(batch_labels * np.log(result))
   

   交叉熵损失函数使用了 np.log()。如果 Softmax 的输出 result 中有任何一个值是 0，np.log(0) 的结果将是 -inf，导致整个程序崩溃。通过将 result 的值限制在一个非常小的正数（1e-10）以上，np.clip() 确保了 np.log() 的输入永远不会是0，从而提高了程序的稳定性。
   不过这样做有点太蠢了，建议X直接减去最大值，至于证明的话，可以搜一下。

def stable_softmax(x):
    z = x - np.max(x, axis=1, keepdims=True) # 减去每行的最大值
    ex = np.exp(z)
    return ex / np.sum(ex, axis=1, keepdims=True)