登录社区云，与社区用户共同成长
邀请您加入社区
70B大模型
（一）研究背景与意义在当今科技领域，人工智能（AI）技术正以前所未有的速度蓬勃发展，不断渗透并重塑着众多行业的发展格局。其中，多模态输入输出作为AI技术的一个重要分支，正逐渐崭露头角并受到广泛关注。多模态输入输出旨在让系统能够同时处理来自多种不同模态的数据输入，如图像、文本、语音等，并可以相应地以多样化的模态形式输出结果，为用户提供更为丰富、直观且贴合需求的交互体验。在医疗信息产业这一关乎国计民生
【02】DeepSeek R1 7b模型 整合包（含本地部署大礼包）教大家如何使用Deepseek AI进行超级降维知识输出V1.0版。【03】2025年Deepseek桌面版（安装文件）DeepSeek 15天指导手册——从入门到精通。【04】Deepseek破除限制文件补丁。DeepSeek-R1使用指南（简版）【01】DeepSeek使用技巧大全。
微调指在预训练大模型（如GPT-3.5、LLaMA）的基础上，使用特定领域的数据进行二次训练，使模型适应新任务或领域需求。与提示工程（Prompt Engineering）不同，微调会直接修改模型权重，实现更深层次的定制化。
covergroup可以（往往）用在class中，这和“covergroup像class”这一说法并不矛盾，因为这和class可以用在class中是一样的。在验证中，随机是一种高效产生激励以覆盖待测空间的方法，与此同时，我们还需要一种检查待测空间是否真的被覆盖、是否足够覆盖的方法，也就是验证中常说的覆盖率收集。功能覆盖率不一定用coverage or cover property实现，但SV提供的
XGBoost 相对完整的数学推导过程，核心是通过损失函数展开到二阶导数来进一步逼近真实损失。
以上就是今天要讲的内容，机器学习实验五：集成学习。
多变量时序预测作为一种重要的预测分析技术，在金融预测、气象预报、电力负荷预测等领域都发挥着关键作用。然而，现实世界中的时序数据往往具有高度的复杂性和非线性特征，传统的时序预测模型难以捕捉这些复杂的关系，从而导致预测精度下降。为了解决这一难题，研究者们不断探索更先进的建模方法。本文旨在探讨一种结合注意力机制、时空特征融合以及组合模型集成学习的GRU-Attention-Adaboost多变量时序预测
Bagging 又称为“装袋法”，它是所有集成学习方法当中最为著名、最为简单、也最为有效的操作之一。在 Bagging 集成当中，我们并行建立多个弱评估器（通常是决策树，也可以是其他非线性算法) ，并综合多个弱评估器的结果进行输出。其规则是当集成算法目标是回归任务时，集成算法的输出结果是弱评估器输出的结果的平均值，当集成算法的目标是分类任务时，集成算法的输出结果是弱评估器输出的结果少数服从多数。
GBDT
需要注意的是，软投票要求基本模型能够输出类别的概率或置信度估计，而硬投票只需要基本模型的类别预测结果。在软投票中，假设模型1对类别A的概率为0.8，模型2对类别A的概率为0.6，模型3对类别B的概率为0.9。因此，最终的预测结果是类别B。在硬投票中，每个基本模型都对样本进行预测，并投票选择出现次数最多的类别作为最终的预测结果。具体而言，对于二分类问题，硬投票会选择出现次数最多的类别，而软投票会选择
微软可解释性模型Explainable Boosting Machine (EBM)
XGBoost、OTTO案例实现、LightGBM、PUBG玩家排名预测
全网最详细的XGBoost推导+论文解读
1.Bagging原理在介绍Bagging之前，我们首先介绍下自助采样法（Bootstrap sampling）。自助采样法的原理如下：对给定个样本的数据集，进行次随机有放回采样，得到含个样本的采样集，初始训练集中约有63.2％的样本出现在采样集中。Bagging（Bootstrap aggregating）正是直接基于自助采样法采样出个含个样本的采样集，然后基于每个采样集分别训练出一...
论文精读之深度森林算法原理
实现贝叶斯优化的库：bayesian-optimization，hyperopt，optuna。目标函数的值即𝑓(𝑥)的值。贝叶斯优化会计算𝑓(𝑥)在不同𝑥上的观测值，因此𝑓(𝑥)的计算方式需要被明确。在HPO过程中，我们希望能够筛选出令模型泛化能力最大的参数组合，因此𝑓(𝑥)应该是损失函数的交叉验证值或者某种评估指标的交叉验证值。① 目标函数的输入必须是具体的超参数，而不能是整
ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost算法总结1、决策树首先，决策树是一个有监督的分类模型，其本质是选择一个能带来最大信息增益的特征值进行树的分割，直到到达结束条件或者叶子结点纯度到达一定阈值。按照分割指标和分割方法，决策树的经典模型可以分为ID3、C4.5以及CART（1）ID3：以信息增益为准则来选择最优划...
这种集成学习的方法，不仅提高了模型的准确率，还增强了模型的稳定性和泛化能力。
Bagging、Boosting、Stacking是常见集成学习的形式，它们都是通过对多个学习器进行有机组合，达到比单个学习器性能更好的目标。
在上篇文章中已介绍了启发式优化算法的相关内容及其在模式识别领域中的应用。本文以使用优化算法优化多机器学习分类器在某二分类模式识别任务时决策级融合（加权投票）的权重为例，介绍遗传算法的原理及实现过程。
XGBoost 是一种灵活、高效且准确的集成学习算法，适用于多种应用场景。通过合理的参数设置和特征工程，可以显著提高模型的性能。
直方图（Histogram）算法是一种优化决策树分裂点搜索效率的算法，被广泛应用于像 LightGBM这样的梯度提升决策树框架中。其核心思想是通过将连续特征的取值范围离散化为有限的区间（称为 bins），在这些区间上计算统计量以确定最佳分裂点。
机器学习分类模型--knn、决策树、集成模型、逻辑回归、对数几率回归、SVM支持向量机、朴素贝叶斯。具体概念介绍、原理解析、决策边界辨析、任务场景、示例代码......
sklearn.ensemble提供了集成学习（Ensemble Learning）模型，结合多个弱模型提高预测性能、减少过拟合，适用于分类、回归和异常检测。sklearn.ensemble提供了Bagging、Boosting、Stacking等集成学习方法，可以有效提高模型性能，减少过拟合。
集成学习（Ensemble Learning）是一种通过结合多个模型的预测结果来提高整体预测性能的技术。常见的集成学习框架有：Bagging、Boosting、Stacking。每种方法都有其独特的优势和适用场景，本文主要介绍 Stacking 算法。
本篇文章介绍了：1）集成学习的思想以及分类（Bagging和Boosting)；2）集成学习的性能评估注意事项
初看Xgboost，翻了多篇博客发现关于xgboost原理的描述实在难以忍受，缺乏逻辑性，写一篇供讨论。——以下是抛砖引玉。观其大略，而后深入细节，一开始扎进公式反正我是觉得效率不高，还容易打消人的积极性。首先说下决策树决策树是啥？举个例子，有一堆人，我让你分出男女，你依靠头发长短将人群分为两拨，长发的为“女”，短发为“男”，你是不是依靠一个指标“头发长短”将人群进行了划分，你就形成了一个
公式 (12-22) 计算了在分裂操作前后的损失减少量（信息增益），用于判断分裂操作的有效性。该公式包含了分裂后左右子节点的损失、分裂前父节点的损失，以及分裂操作的正则化成本。通过比较增益，XGBoost 能够选择最优的分裂点，构建出高效的决策树，从而提升模型的性能和泛化能力。
探讨CatBoost、XGBoost和LightGBM这三大集成学习框架的GPU加速版本，并实现在训练中加入样本权重，以及如何自定义评估函数
近几年，集成学习（Ensemble Learning）在国内外研究以及数据科学竞赛中被广泛提及和应用，它是通过某种结合策略将多个单一模型结合起来得到一个强模型，这个强模型通常比单一模型有更强的性能。目前，集成学习模型的分类主要是根据个体学习器之间的关系进行区分，常用集成学习框架包括：Bagging、Boosting以及Stacking。
同步整流芯片 MT6705 应用注意事项
我在学习lightGBM的时候苦于找不到质量高的学习资料，后来突然想起最好的资料难道不就是作者的原论文吗？所以本文主要是对lightGBM原论文的阅读翻译，一方面督促自己把论文精度一遍，一方面分享给有需要的朋友。参考资料：原文：LightGBM: A Highly Efficient Gradient Boosting Decision Tree———————————————————————...
在我的首篇文章中已介绍了启发式的相关内容及其在模式识别领域中的应用。本文以使用优化算法优化多机器学习分类器在某二分类模式识别任务时决策级融合（加权投票）的权重为例，介绍粒子群算法的原理及实现过程。
综上所述，小波分析作为一种多尺度分析方法，在信号处理、数据压缩和不同领域中具有广泛的应用。通过合理选择小波基函数和分析方法，我们可以有效地提取信号的时频特征，实现信号处理和分析的目标。未来随着技术的进一步发展，小波分析在更多领域中的应用将会得到进一步的拓展和发展。小波分析(Wavelet Analysis)作为一种多尺度分析方法，已经在许多领域得到了广泛的应用，包括信号处理、图像处理、数据压缩等。
集成学习至此我们已经了解了许多机器学习的方法~但是都是单枪匹马的作战，这节我们讨论的集成学习（ensemble learning）是通过构建并结合多个学习器来完成学习任务。个体学习器可以是弱学习器，所谓弱学习器，就是学习器的正确率不用太高，大于50%即可。根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类，即：个体学习器间不存在强依赖关系、可同时生成的并行化方法。代表就是Bagg
CatBoost（Categorical Boosting）是由Yandex开发的一种基于决策树的梯度提升算法，专为处理分类特征（Categorical Features）和提高模型的速度与精度而设计。CatBoost通过改进传统的梯度提升方法（如XGBoost、LightGBM）解决了一些常见的问题，同时对默认参数进行了高度优化，使得即使在不进行调参的情况下也能获得较好的性能。
结合几个单独的模型以获得更好的泛化性能。目前，深度学习架构与浅层或传统模型相比表现更好。深度集成学习模型结合了深度学习模型和集成学习的优点，使最终模型具有更好的泛化性能。集成模型大致分类袋装法（bagging）提升法（boosting）堆叠法（stacking）基于负相关的深度集成模型（negative correlation based）显式/隐式集成（explicit/implicit）同质/
应该添加的文章标签是Latex，但暂无法加入自定义标签，正在整理的是一篇计算机视觉和集成学习的文章，所以加了这两个标签，内容是关于列表格式的。
想要对一个实际任务进行很好的建模，首先需要掌握数据集的处理。因此首先使用drop()函数去除'day','month','poutcome'等特征属性。该函数的第一个参数为这三个属性特征列表，第二个参数代表需要删除的维度，本次任务中需要对维度1进行操作即axis=1，并且需要将处理好的数据替代原先的数据，因此将第三个参数inplace设置为true。接着需要对特征进行one-hot编码，使用到函数
集成学习
——集成学习
联系我们（工作时间：8:30-22:00）
400-660-0108 [email protected]
MCP技术社区
AI Agent技术社区
2048 AI社区
