摘要: 分布的一致性检验在很多领域中得到了广泛的应用,它是统计学在众多应用中的一个基本主题然而,随着大数据时代的到来,各个科学领域收集存储了丰富的数据。这些数据规模庞大,类型多样、结构复杂、更新速度快,传统的分布一致性检验方法受数据规模和存储方式的影响在处理和分析这类数据时面临着巨大的挑战。目前,分治策略是解决这类问题的主要方法,其核心思想是采用分布式框架对每个节点数据的计算结果进行集成以获取最终的结果。在处理大规模分布一致性检验问题时,这种对所有节点的检验结果进行集成的方式并不高效,特别是在数据分布存在明显差异时这种方式往往会增加检验的成本。因此,基于序贯检验的思想通过合理设置检验问题的“误差区域”对已有的分治策略进行优化,提出了一种分布式序贯检验方法。该方法在检验过程中不集成所有的节点数据,而是根据当前收集到的节点数据实时调整后续的决策,通过这种方式能够实现在不使用全部节点数据的前提下,做出正确的检验结果。模拟实验和实例分析结果表明:相比于已有的分治策略检验方法,所提出的分布式序贯检验方法能够在保证检验水平与功效的同时,提高分布式检验的计算效率,为解决临床试验、工业检验等领域中大规模数据检验成本高的问题提供了方法支撑。
[V1] | 2024-09-27 09:58:37 | PSSXiv:202410.00002V1 | 下载全文 |
1. 经济增长统计的一个范本——阿吉翁《创造性破坏的力量:经济剧变与国民财富》述评 | 2024-09-27 |
2. 新质生产力与人口高质量发展耦合协调的动态演进与区域差异 | 2024-09-21 |
3. 中国新质生产力发展水平的统计测度及动态演进 | 2024-09-13 |
4. 网络记忆采样法在加拿大华人移民隐性群体研究中的创新应用 | 2024-09-06 |
5. 基于有偏误辅助变量的分层贝叶斯小域估计方法研究 | 2024-09-04 |