博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
机器学习中的几个常见概念(持续更新中......)
阅读量:6689 次
发布时间:2019-06-25

本文共 623 字,大约阅读时间需要 2 分钟。

1、学习率 Learning Rate:学习率决定了权值的更新速度,设置太大会使权值越过最优值,太小会使下降速度过慢,算法长时间不能收敛。靠人为干预调整参数需要不断的调整学习率。

2、梯度下降:一个广泛用来最小化模型误差的参数优化算法。梯度下降通过多次迭代,并在每一步中最小化成本函数来估计模型的参数(weight)。

3、signoid函数:是一个激活函数,当然还有relu/tash等。sigmoid的输出范围在[0, 1]之间,输出稳定,数据在传递过程中不容易扩散。缺点就是饱和的时候,梯度太小。

4、softmax函数:对于多层来讲,输出层就必须是softmax,他是sigmoid的推广。

5、随机森林算法及原理:

    随机森林通过反复二分数据进行分类和回归,使计算量大大降低。在变量(列)的使用和数据(行)的使用上随机化,生成很多分类树,再汇总分类的结果。
    随机森林是随机建立一个森林,森林里面有由很多决策树组成,各个决策树之间没有任何影响。
    实现过程:
    <1>原始训练集N,利用bootstrap法有放回的随机抽取样本k。
    <2>设有m个变量,每次在节点处随机选择n个变量,然后在m中选择一个具有分类能力的变量,变量的阈值通过检查每一个分类点确定。
    <3>每一棵树最大限度的生长,不做任何修剪。
    <4>将生成的多棵分类树组成的随机森林,用随机森林分类器对新的数据进行判别和分类,分类的结果按分类器的投票多少而定。

6、逻辑回归算法及原理

转载地址:http://ljhao.baihongyu.com/

你可能感兴趣的文章
PHP异步:在PHP中使用 fsockopen curl 实现类似异步处理的功能
查看>>
又到一年双十一
查看>>
【HDOJ】1716 排列2
查看>>
【HDOJ】3400 Line belt
查看>>
【HDOJ】3832 Earth Hour
查看>>
寒假学习计划
查看>>
Android内存小谈
查看>>
JVM Guide
查看>>
大数模版
查看>>
HDU4044 GeoDefense(树形dp+分组背包)
查看>>
Microsoft .Net Remoting系列专题之三:Remoting事件处理全接触
查看>>
JavaScript常用标签和方法总结
查看>>
GO语言的进阶之路-网络编程之socket
查看>>
作业—四则运算题目生成器
查看>>
[JS] - level8 kata
查看>>
JS和css实现检测移动设备方向的变化并判断横竖屏幕
查看>>
jQuery的deferred对象实战应用(附:Exchar动态多条数据展示并在topic展示详细数据)...
查看>>
python中all函数得用法
查看>>
js数组操作大全
查看>>
JAVAWEB 一一 Spirng(AOP面向切面)
查看>>