众所周知，nvidia自家的GPU设定工具nvidia-settings的风扇转速调节功能实在难用。
coolbits打开手动调节功能（可搜索调节nvidia gpu风扇转速文章），然后在nvidia-settings中打开手动调节开关，再通过拖动风扇转速百分比进度条实现任意调速。这种方法也是过去我一直在使用的解决办法，但是这个方法的最大问题就是不够灵活，通常都是等模型训练起来了然后手动拉高转速降温，等训练完成再手动拉低转速减少耗电和超大的风扇噪音。首推一个开源的且支持pip安装的风扇调节工具：https://github.com/andyljones/coolgpus. 两行命令搞定自动设定GPU转速按需调节：1
2# 安装工具包
pip install coolgpus
设定与温度对应的转速调节策略：下面的命令的意思是，当GPU温度从15度变化到85度时，风扇转速从20%线性增加到90%，即随着温度升高，转速随之增加，并且增加到什么程度完全自己手动控制，完美。1
sudo $(which coolgpus) --temp 15 80 --speed 20 95
例如在计算二阶导数时
(对于图像的二阶导数)还可以任意的定义自由度，比如对角线也算的话，就是8个自由度。在卷积时，使用的拉普拉斯模板就对应着1种方式的自由度定义
综上，度的概念，虽然对于不同对象有不同的具体定义，但是直觉上理解，我认为是函数上的某点，或者Graph上某点与其周边环境（邻接的点）的连通程度。一维函数上一点只能向左或者向右移动，因此度是2；二维函数可以向左右上下，甚至左上右下移动，因此度可以是4，8，甚至自定义更多；对于Graph上的节点node而言，其度就是连接到该节点的边的数量，同样是代表了这个节点连接到了多少个其他节点。
最后补充，这种直观上的理解对于进一步理解拉普拉斯算子（尤其是Graph上的拉普拉斯算子）有很大帮助，如链接1中提到的：
这给我们一种形象的结论：拉普拉斯算子就是在所有自由度上进行微小变化后获得的增益 (另一种说明，Informally, the Laplacian measures how different the value of f at p is from the average value of the neighbors)。
loss.backward()作用是将当前GPU储存gradient的计算图反传；optimizer.step()是利用计算图中储存的gradient更新网络参数。
假如想要使用batch size（bs）为100训练模型，但是老黄卖的大memeory的卡太贵了，只能fit进batch size为10的数据，那怎么办呢？
在PyTorch中可以这样搞：使用10的bs对网络进行forward10次，每次都调用loss.backward(),但是每10次forward才调用一次optimizer.step(),这样就实现了batch size为100的效果。其原理就是step和bachward的区别。
pytorch中，网络每次forward都会生成一次计算图用于存储gradient，因此必须每次forward之后调用loss.bachward()反传以及清空当前计算图，否则多次forward不反传会在GPU中累加计算图，导致GPU内存不够。
my_dataset.__len__()获取的是数据的原始长度，比如一共有1000张图像，返回的就是1000len(my_dataloader)返回的是batch的数量，比如1000张图像，使用batchsize为8，那么返回的就是250.对ndarray使用squeeze之后，其返回值是tuple类型，如果将这个类型的数据返回给pytorch的__getitem__方法，则最后dataset返回的数据类型为list，而不是一个torch.Tensor数据类型。
只有将ndarray数据类型返回给__getitem__，最后dataloader返回的数据类型才能自动转为torch.Tensor;
此外，函数返回值是一个ndarray和一个[]类型时，如果只用一个参数接收，那么会两个参数总体变成一个tuple。道理也非常简单，就是函数的多个返回值是个tuple中的多个元素。
