一、最近邻最近邻方法背后的原理是从训练样本中找到与新点在距离上最近的预定数量的几个点，然后从这些点中预测标签。 这些点的数量可以是用户自定义的常量（K-最近邻学习）， 也可以根据不同的点的局部密度（基于半径的最近邻学习）。 距离通常可以通过任何度量来衡量： standard Euclidean d ...

朴素贝叶斯 一、简介 尽管其假设过于简单，在很多实际情况下，朴素贝叶斯工作得很好，特别是文档分类和垃圾邮件过滤。 相比于其他更复杂的方法，朴素贝叶斯学习器和分类器非常快。 分类条件分布的解耦意味着可以独立单独地把每个特征视为一维分布来估计。这样反过来有助于缓解维度灾难带来的问题。 另一方面，尽管 ...

广义线性模型1、普通最小二乘法 最小二乘的系数估计依赖于模型特征项的独立性。当特征项相关并且设计矩阵 的列近似的线性相关时，设计矩阵便接近于一个奇异矩阵，因此最小二乘估计对观测点中的随机误差变得高度敏感，产生大的方差。例如，当没有试验设计的收集数据时，可能会出现这种多重共线性(multicollin ...

各种优化算法的比较机器学习和深度学习中使用到的优化算法的演化历程如下： SGD –> Momentum –> Nesterov –> Adagrad –> Adadelta –> Adam –> Nadam 演化过程 原因 SGD –> ...

常见的损失函数​ 通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。 ...

SVM支持向量机一、了解SVM支持向量机，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。 1.1、分类的起源：logistic回归线性分类器 ：给定一些数据点，它们分别属于两个不同的类，现在要找到一个线性分类 ...

服务器端程序设计范式1，迭代服务器完全处理完某个客户程序才进行下一个客户 123456789for ( ; ; ) { connfd = Accept(listenfd, (SA *) NULL, NULL); ticks = time(NULL); snpr ...

客户端程序设计范式1，基本的TCP客户程序存在两个问题： 1.进程在被阻塞以等待客户输入期间，看不到诸如对端关闭等网络事件； 2.停-等模式，批处理效率极低； 1234567891011121314151617#include "unp.h"voidstr_cli(FILE *fp, int soc ...

​ 作为Linux下的程序开发人员,大家一定都遇到过Makefile,用make命令来编译自己写的程序确实是很方便.一般情况下,大家都是手工写一个简单Makefile,如果要想写出一个符合自由软件惯例的Makefile就不那么容易了. ​ 在本文中,将给大家介绍如何使用autoconf和 ...

1.TCP回射服务器程序：main函数123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657#include "unp.h"int main(i ...