队列是先进先出，栈是后进先出 clss Queue(): def __init__(self,size = 4) self.item = DoubleLinkedList() self.size = size self.length = 0 def put(self,value): self.item.append(value) def pop(self): return self.item.root.next # 这样其实返回的总是第一个元素，最好做一个删除处理 def em...

竞赛网站 evaluation：ROC：二分类的混淆矩阵 TP

贝叶斯公式，用来描述两个条件概率之间的关系。 朴素贝叶斯，加了一个朴素，就是说，各个特征之间是独立的，有时候数据不一定完全相互独立，所以会损失一定的准确率。 处理文本 one-hot编码： 是目前为止常用的词表示方法，先有一个词库，每个词对应一个onehot编码，也就是说每个词都是茫茫0海中1。 TF-IDE： （TF）term-frequency 词频 （IDF）inverse document frequency 逆文档频率 统计语言模型与NLP算法设计 贝叶斯网络 HMM是隐含马尔科夫模型有两种变量，一个是状态变量（s）一个...

有监督机器学习：集成学习效果已经非常不错集成学习也许和机器学习和深度学习并列目标函数包括：损失函数和正则函数L1正则是欧米伽的绝对值之和L2正则是平方和mse+L1 Ridge回归mse+L2 Lasso回归 XGBOOT是在做回归或者分类的，回归树是什么GBDT没有考虑正则项在XGBOOST里边，目标函数之所以不再叫loss函数，是因为多了正则项。 第t时刻的预测值，等于第t-1时刻的预测值加一棵小树梯度下降的本质，就是泰勒展开的一阶近似XGBOOST的优势在于，搞到了二阶泰勒展开，而且考虑了正则项。这两项也具体体现在了目标函数中XGBOOST一直在讲目标函数，应为就是目标函数不一样所...

引入梯度下降的思想 将每一个小树加在一起 函数空间的梯度下降 无论GBDT处理的是回归问题还是二分类问题还是多分类问题，GBDT使用的都是CART回归树，因为GBDT每次要拟合的是梯度值，是连续值所以要用回归树。 每颗回归树都是拟合负梯度，gbdt在应用于回归问题的时候，正好损失函数用的是mse的时候，拟合的就是残差（负梯度），使用残差作为标签去训练一棵新的树， gbdt的loss函数如果是mse，则gbdt用来做回归问题，不同的损失函数可以做不同的问题，但是损失函数必须是可导的。 shrinkage衰减系数，可以迭代训练更多的树，其实就是学习率，走的更稳健。 gbdt做二分类，拟合的也是残差...

原理： 每插入一个数都要将它和之前的已经完成排序的序列进行重新排序，也就是将新插入的数对应原序列中的位置那么也就是说，每次插入一个数都要对原来排序好的那部分序列进行重新的排序，时间复杂程度同样为O（n2）。这种排序算法是稳定的算法。 插入排序有点冒泡的感觉，他是从最后往前边一点一点的插入。 def insertion_sort(nums): for i in range(1, len(nums)): for j in range(i, 0, -1): if nums[j] < nums[j-1]: nu...

第一次从待排序的数据元素中选出最小（最大）的元素，存放在序列的起始位置，然后再从剩余的元素中寻找最值，然后放在已排序的末尾，以此类推，直到结束。选择排序是不稳定的排序方法。 def Select_sort(num): # 这个for循环是循环几次 for j in range(len(num)-1): min_index = j # 这个for循环找到了最小值 for i in range(min_index+1, len(num)): if num[i] < num[min_index]: ...

原理：比较相邻的两个元素，如果第一个比第二个大就交换这两个数对每一对相邻的元素做相同的工作，从开始的第一队到结尾的最后一对，在这一点，最后一个元素应该是最大的数。 def bubble_sort(array): for i in range(len(num)-1): sort = True for j in range(len(num)-1-i): if num[j] > num[j+1]: num[j], num[j + 1] = num[j+1], num[j] ...

GMM是聚类的一种模型 聚类里边会有EM的思想 GMM也会用到EM算法 单个高斯分布GM的估计参数 高斯分布需要估计那些参数：期望和方差 高尔顿是达尔文的哥哥 高斯分布的概率密度函数 高斯分布的似然函数（MLE），就是将所有的概率密度函数相乘 线性回归是将最大似然估计最大然后求出w无监督学习的单个高斯分布是使最大似然估计最大求出期望和方差 混合高斯分布GMM的参数估计 一组数据有可能由复合不同高斯分布的数据组成 GMM要做的事情就是估计出不同的期望和方差

聚类讲N个样本映射到K个簇中每个簇中至少有一个样本 基本思路先给定K个划分，迭代样本与簇的隶属关系，每次都比前一次好一些迭代若干次，就能得到比较好的结果 Kmeans算法步骤：选择K个初始的簇的中心（怎么选择呢？）1.随机初始化k个簇中心2.逐个计算每个样本点到簇中心的距离，将样本归属到距离簇中心距离最小的那个簇中3.每个簇内部计算平均值，更新簇中心4.开始迭代 中位数是某个样本点 kmeans的损失函数是每个点到中心点的位置MSE （题外知识sklearn是Python语言中机器学习的一个工具，对常用的机器学习方法进行了封装，比如：回归，分类，降维，聚类）

我真的不知道为啥，你会拒绝我 我也不知道你心里到底是怎么想的 当局者迷，旁观者清 可是只有当局者知道局内发生了什么事情 旁观者也只是根据道旁图说的经验之谈 道听途说 是一个内敛不懂变通的村姑 真的是一个村姑 为什么如此的受过了高等教育的人，思想还是如此的廉价 没有和你在一起，是福不是祸，是祸躲不过 也许是上天对我的眷恋，不打扰是对我最好的温柔 谢谢你来过，让我付出了真正的爱情，单纯真的很单纯 不求占有，曾经拥有 都要回面临自己真正的生活 但是你需要有一个值得依靠的臂膀 不是硕大的体魄 是容得下你的心房 心有多大世界有多大 我不知道几个月后我会变成什么样子 但是我绝不想让你看我的笑话 我希望可以...

2020年是不平凡的一年 全世界陷入了疫情的恐慌 更甚，我失去了想保护一辈子的爱人，她离开了我 虽然，中间还充满着各种希望 但是，没人知道，什么时候可以打破这一僵局 只有时间可以告诉你答案 半年过去了，感情似乎变得奢侈，又很遥远 你不再想见我一面 你在变，而我似乎没有变化，但是我想变得更好 2021，就在这一年，所有的谎言，所有的预想都会浮现 为什么见一面都这么困难 明明是有事情，你在隐瞒 却又给我希望，我不知道你是什么心理 在这花花世界里，谁还不能找到自己喜欢的另一半 你也会找到你的家境优渥的优质男 而我也会变成别的女孩子的优质男 相识不宜，相知更不易，为什么硬要加一个阻断 老朋友叙叙旧的机...