本文总结了集成学习中的几种核心算法。内容主要介绍了Bagging（如随机森林）和Boosting（如AdaBoost）两大类方法的思想和区别。此外，还详细阐述了梯度提升（Gradient Boosting）算法的原理和步骤，并点明了随机森林、提升树和GBDT等模型分别是Bagging或Boosting与决策树结合的产物，为理解集成学习提供了清晰的框架。
发布于 2019-08-19
本文简明扼要地介绍了信息论中的几个核心基本概念。内容涵盖了信息熵、条件熵、信息增益、基尼系数（基尼不纯度）、信息增益比率、分裂信息、边界熵以及边界多样性（Accessor Variety, AV）的定义和数学公式。这些概念是机器学习，特别是决策树和自然语言处理中进行特征选择和模型评估的基础。
发布于 2019-08-18
本文解决了在使用Hexo时MathJax无法正确渲染单行公式的问题。文章指出，MathJax自2.3版本后配置方式发生变化，旧的`MathJax.Hub.Config`配置不再适用。文中提供了新的配置方法，即使用`window.MathJax`对象进行设置，并提及了解决Hexo默认转义问题的方法，确保公式能正确显示。
发布于 2019-08-10
本文总结了PyTorch框架中的常用操作和损失函数。内容首先介绍了激活函数和BatchNorm2d等层，以及`normalize`, `cat`, `stack`等张量操作。接着，详细列举并解释了多种损失函数，如L1Loss, MSELoss, CrossEntropyLoss, NLLLoss, BCELoss, HingeEmbeddingLoss, CosineEmbeddingLoss等，并给出了它们的数学公式，为PyTorch使用者提供了全面的参考。
发布于 2019-07-26
本文介绍了机器学习中常见的几种损失函数。内容包括0-1损失函数、平方损失函数、绝对损失函数以及对数损失函数（或称对数似然损失函数），并给出了它们的数学表达式。此外，文章还引入了风险函数的概念，即损失函数的期望值，并区分了经验风险和结构风险，为理解模型评估和优化提供了基础。
发布于 2019-07-21
本文详细阐述了神经网络中的前向传播和后向传播算法。文章首先通过数学公式清晰地描述了数据在多层神经网络中逐层前向传播的过程。接着，重点推导了后向传播的核心，即如何计算每一层的误差项（δ），并利用链式法则得出了损失函数对权重（W）和偏置（b）的偏导数计算公式，最后给出了参数更新的完整步骤。
发布于 2019-07-10
本文翻译并对比了深度学习框架Keras和PyTorch的四个主要不同点。内容包括：模型定义方式（Keras的函数式API vs PyTorch的类继承）、底层操作（Keras隐藏细节 vs PyTorch的张量和动态图）、模型训练流程（Keras的`.fit()` vs PyTorch的显式循环）以及CPU/GPU模式的控制。文章建议初学者从Keras入手，而需要更高灵活性的开发者则可以选择PyTorch。
发布于 2019-07-09
本文总结了深度学习中几种主流的优化算法。内容详细介绍了AdaGrad、RMSProp和Adam优化器的核心思想和数学更新公式，解释了它们如何自适应地调整学习率。此外，文章还通过Python代码示例，模拟并对比了随机梯度下降（SGD）、小批量梯度下降（MSGD）和批量梯度下降（BGD）这三种基本的梯度下降方法在参数更新上的不同之处。
发布于 2019-07-04
本文记录了Python编程中遇到的两个常见问题。第一个是关于二维列表的错误初始化方式，即使用`[[0]*3]*3`会导致子列表为引用而非独立副本，并给出了正确的列表推导式初始化方法。第二个问题探讨了`is`与`==`的区别，`==`比较对象内容，而`is`比较对象实例的内存地址，并对Python中字符串的内存分配现象进行了观察。
发布于 2019-05-31
本文汇总了Linux中常用的一些命令。内容涵盖了`tar`命令的打包与解压操作，`wget`设置代理��两种方法，`ps`命令查看进程信息，以及用户和用户组管理的命令，如`useradd`, `userdel`, `groupadd`, `chown`等，为Linux日常使用提供了实用的命令参考。
发布于 2019-05-21
