文章目录 1.支持向量机2.大间距分类器 1.支持向量机 2.大间距分类器 对于支持向量机的代价函数，如果C非常非常大，那么当最小化优化目标的时候，我们希望找到一项使得第一项为0： 我们可以这样做，使得第一项为0： 当y(i) = 1 ,使 θTx(i) ≥ 1； 当y(i) = 0 ,使 θTx(i) ≤
高级梯度下降法: 动量下降(Momentum）使用指数加权平均的概念: RMSprop 类似指数加权平均的概念: 学习率衰减:
为了验证BP 梯度是否有问题可以用 进行检验,对于每一个权重theta,计算 [J(theta+epsilon)-J(theta-epsilon)]/(2*epsilon),每一个结果都保存在一个矩阵里,然后同样的,将每一个theta实际的梯度按同样规则保存在矩阵里,最后求解两者的欧式距离然后和阈值比较
应用实例：图片文字识别 1. 问题描述和流水线2. 滑动窗口3. 获取大量数据：人工数据合成4. 上限分析：流水线的哪个模块最有改进价值 学习图片文字识别的应用实例要做的事情： 展示一个复杂的机器学习系统是如何组合起来的；介绍机器学习流水线（machine learning pipeline）的有关
一、引言 1.什么是神经网络 Relu——rectified linear unit(修正线性单元) 2.各种类型的神经网络 SNN：标准神经网络，用于房价预测，在线广告是否点击CNN：卷积神经网络，用于图像识别RNN：循环神经网络，用于时间序列数据，语音识别混合神经网络 3.结构化数据和非结构化数据 4.神经网
协同过滤-推荐算法的一种,特点是可以自我学习合适的特征 核心思想在于同步更新权重以及特征本身 低轶矩阵分解: 如果用户没有对此object评级会出现不推荐的现象,为解决这个问题:
1 深度学习算法中，数据量很大，在程序中应该尽量减少使用loop循环语句，多使用向量运算来提高程序运行速度。向量化（Vectorization）就是利用矩阵运算的思想，大大提高运算速度。 为了加快深度学习神经网络运算速度，可以使用比CPU运算能力更强大的GPU。事实上，GPU和CPU都有并行指令（paralle
4-5节主要是例举了三个深度学习医学诊断案例。 本周，我们将直接进入建立一个深度学习模型的任务胸部x光分类。通过这个例子，您将学到的许多想法在许多医学成像测试中都有广泛的应用。 本周，我们将从三个医学诊断任务的例子开始，在这些任务中，深度学习取得了令人难以置信的成绩。
推荐系统 1. 问题规划2. 基于内容的推荐算法3. 协同过滤4. 协同过滤算法5. 向量化：低秩矩阵分解6. 均值归一化 1. 问题规划 推荐系统是机器学习中的一个重要应用。 在机器学习中，针对一些问题，有算法可以为系统自动学习一套好的特征。因此，不要试图手动设计，但手写代
之前的学习中了解了一些基本的知识和定义，接下来开始学习核心一点点的东西了。 一、神经网络表示 神经网络的表示方法主要有层数、特征数这些来标记。 在给出的PPT中，层数是通过在右上角加入[i]进行标记。 在我的理解中，对于不同的神经元，我们可以配置不同的参数来提取不同的特
吴恩达机器学习笔记week16——推荐系统 Recommender Systems 16-1.问题规划 Problem formulation——机器学习自动学习选取一系列适合的特征16-2.基于内容的推荐算法 Content-based recommendations16-3.协同过滤 Collaborative filtering——特征学习16-4.协同过滤算法 Co
吴恩达机器学习笔记week17——大规模机器学习 Large scale machine learning 17-1.学习大数据集 Learning with large datasets17-2.随机梯度下降 Stochatic gradient descent（改进）——一次迭代1个数据，慢慢修正参数17-3.Mini-Batch.梯度下降 Mini-Batch gradient descent—
Coursera课程地址 因为Coursera的课程还有考试和论坛，后续的笔记是基于Coursera https://www.coursera.org/learn/machine-learning/home/welcome 课程总结 机器学习 Machine Learning- 吴恩达Andrew Ng 第1~5课总结机器学习 Machine Learning- 吴恩达Andrew Ng 第6~10课总
Coursera课程地址 因为Coursera的课程还有考试和论坛，后续的笔记是基于Coursera https://www.coursera.org/learn/machine-learning/home/welcome Clustering ML：聚类 1. 无监督学习：简介 Unsupervised learning introduction 无监督学习与监督学习形成对比，因为它使用未标记的训
吴恩达深度学习第二课知识总结（一） 仅供自己记录整理 1.1 训练，验证，测试 1.2 偏差，方差 偏差：欠拟合 训练集错误率50%，验证集错误率50% 方差：过拟合 训练集错误率1%，验证集错误率50% 1.3 机器学习基础 训练神经网络的方法： 1.4 正则化——L2正则化 L2正则化： 其中lamata是正则化参数
目录优化算法小批量梯度下降理解小批量梯度下降指数加权平均理解指数加权平均指数加权平均的偏差修正动量梯度下降法均方根传递（RMSprop）Adam优化算法学习速率衰减局部优化问题 优化算法 小批量梯度下降 （略） 之前我们介绍的神经网络训练过程是对所有m个样本，称为batch，通过向量化计算方
目录异常检测何为异常检测？异常检测常用领域高斯分布（正态分布）参数估计算法开发和评估异常检测算法异常检测与监督学习特征的选择误差分析多元高斯分布异常检测with多元高斯分布 异常检测 异常检测(Anomaly detection)问题是机器学习算法的一个常见应用。这个算法的一个有趣之处在于
目录推荐系统推荐系统的形式化基于内容的推荐系统协同过滤算法描述低秩矩阵分解实现细节：均值归一化 推荐系统 推荐系统广泛地应用在生产当中，如，亚马逊推荐新书给你，淘宝试图推荐新商品给你，等等。这些推荐系统，根据浏览你过去买过什么书，或过去买过什么商品来判断。这些系统会带来很大
目录大规模机器学习随机梯度下降小批量梯度下降随机梯度下降收敛在线学习（online learning）MapReduce和数据并行多核处理器的单机MapReduce 大规模机器学习 所谓大规模机器学习，即是处理大数据集的方法。近年来机器学习技术飞速发展，其重要原因是现在有了海量的数据来训练算法。这一章
目录应用实例：图片OCR滑动窗口人工数据系统短板分析 应用实例：图片OCR 图像光学字符识别（optical character recognition）应用所作的事是，从一张给定的图片中识别文字。 这比从一份扫描文档中识别文字要复杂的多。 为了实现这样的应用，通常要经过以下过程： 文字检测（text detection）：将图
Coursera课程地址 因为Coursera的课程还有考试和论坛，后续的笔记是基于Coursera https://www.coursera.org/learn/machine-learning/home/welcome 神经网络 Neural Networks 1. 非线性假设 Non-linear Classification 使用具有许多特征的复杂数据集执行线性回归非常笨拙。假设
机器学习(Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根
目录过拟合问题以线性回归为例以逻辑回归为例解决过拟合正则化详解正则化正则化线性回归梯度下降正规方程不可逆时正则化逻辑回归梯度下降高级优化 过拟合问题 在学习正则化之前，我们需要先了解这样几个概念。 以线性回归为例 以房屋售价的线性回归模型为例子 能够看出这个假设函
目录神经网络非线性分类问题初识神经网络神经网络模型详解模型前向传播（向量化）神经网络的自我训练假设函数的输出过程拟合AND运算拟合OR运算拟合NOT运算通过多层结构拟合XNOR运算多类别分类问题 神经网络 神经网络是一种古老的算法， 20世纪40年代提出后沉寂了相当一段时间。随着技术
目录多元线性回归假设函数$h_θ(x)$梯度下降算法特征缩放（features scaling）均值归一化学习速率$\alpha$ 多元线性回归 实际应用中我们不可能总是遇到单变量，或者说单特征值（详见2号笔记）的线性回归模型。 下图是以房屋售卖为例的多元线性回归模型 面积 卧室数量 楼层数量 房龄 价格
