摘要：为解决传统大数据处理技术在电商物流中应用存在的处理耗时时间长，处理结果与处理预期标准存在较大出入等问题，开展精准脱贫视域下基于Hadoop的电商物流大数据处理方研究。通过基于Hadoop构建虚拟电商物流仓储模型、精准扶贫视域下电商物流大数据处理算法设计、电商物流数据配置，提出一种全新的电商物流大数据处理方法。通过对比实验进一步证明，新的处理方法与传统方法相比可以有效缩短数据处理的时间，并满足处理预期的要求，为精准扶贫提供更准确的数据信息。

　　关键词：精准脱贫视域;Hadoop;电商物流;大数据处理

　　0.引言

　　精准扶贫最初是针对当前全面建设小康社会的重要工作内容，随着这一发展战略的实施，逐渐成为国家当前时期的关键部署，同时也影响着除社会建设以外的各个方面[1-2]。从目前整体上来看，贫困地区的电商发展仍然处于初级阶段，相应的基础设施建设存在明显的之后，缺乏统筹和引导，加之当前电商物流中各个环节都会产生大量的数据，因此使得现行大数据处理技术很难实现在精准扶贫视域下电商物流对数据处理的要求，出现数据处理时间长，数据冗余、数据处理精度地等问题[3]。因此，为解决上述问题，实现精准扶贫视域的各方面要求，本文开展基于Hadoop的电商物流大数据处理方法研究。

　　1.基于Hadoop的电商物流大数据处理方法设计

　　1.1基于Hadoop构建虚拟电商物流仓储模型

　　在当前精准扶贫视域下，为实现对电商物流大数据处理的精度提升，首先构建基于Hadoop的大数据处理模式。由于电商物流大数据大部分来源于商品的仓储环节，因此本文针对电商物流仓储中产生的各类数据内容作为本文处理方法的主要应用对象。图1为基于Hadoop构建虚拟电商物流仓储模型。

　　图1 基于Hadoop构建虚拟电商物流仓储模型

　　结合当前贫困地区电商物流的基本操作流程，将电商物流划分为上游、下游和供应链，并对其进行细化，得出大数据主要来源于用户下单、订单处理、拣货、包装等多个环节当中。同时在基于Hadoop构建虚拟电商物流仓储模型当中，将贫困地区电商物流企业作为数据处理的最高权限，利用各个分支结构构成整个数据处理库区。同时，在对处理过程中还需要通过在采购、仓储、配送等各个环节中产生的各类数据信息作为主要处理对象，实现对来源于各个环节的大数据信息统筹。在构建模型时，其具体操作流程为：

　　第一步，利用文本编辑器对Hadoop大数据放置策略进行编辑，并结合电商物流大数据文本初始格式，通过WMSPad专用开发工具，对基于Hadoop构建虚拟电商物流仓储模型内部的各个要素进行有规律的组合，以此形成虚拟货物和货架，实现对大数据的可视化展现。第二步，由于在模型当中包含了海量的电商物流大数据信息，考虑到部分数据信息的相似性，还需要对模型当中的各类要素进行适当调节，从而实现对相似数据的区分，例如通过不同颜色、不同编号的方式进行区分。第三步，在对Hadoop大数据放置策略中的相关机制进行划分，将其分为125MB的数据块，并将所有数据块添加到相应的时间标记当中，将每个数据块添加到应用关联标记当中，以此完成对虚拟电商物流仓储模型的构建，满足大数据处理的前期分析需要。

　　1.2精准扶贫视域下电商物流大数据处理算法设计

　　在完成上述基于Hadoop的虚拟电商物流仓储模型构建后，依然沿用Hadoop大数据放置策略设计一种针对当前精准扶贫视域下电商物流大数据信息处理的算法，用于处理电商物流运行过程中产生的各类数据信息。此过程中，应综合算法对电商物流数据信息增益值进行计算，基于Hadoop大数据放置策略构建综合性评估。根据对电商物流数据信息的评价结果，对信息的属性标准值进行对照，参照标准值对电商物流数据信息实施处理。定义在电商物流大数据库当中，所有数据信均为需要进行处理的概率为k1，k2，……，kn，则可将数据库表示为K={k1，k2，……，kn}，假定数据库中的所有信息数据满足下述条件。

　　■ki=1 (1)

　　公式(1)中，ki表示为数据库中子数据与精准扶贫数据具备关联度的概率;i表示为对数据的迭代次数。完成上述公式(1)计算后，此时，可通过下述计算公式(2)，对数据信息的熵值赋予定义：

　　E(k1k2……kn)=■[kilog(1/ki)] (2)

　　公式(2)中，E表示为电商物流数据信息的熵值概念值，此数值在应用中具备一定随机性。在此过程中，将E近似看作一个数据信息评价指标，则可在不确定的算法程序下，对E值进行分析。当E=0时，认为此时的子数据与电商物流数据信息具备关联度;当E=1时，认为此时的子数据与电商物流数据信息不具备关联度。在此基础上，获取在[0~1]范围内的E值，对在范围内的E值进行增益计算。并认为当E无限趋近于0时，数据具有处理效益，反之则为无效数据。上述操作可用如下公式表示：

　　Gain(W，N)=T(W)-■k(ni)T(ni) (3)

　　公式(3)中，表示为电商物流数据信息的不同赋存状态集合，其中N可以表示为：n1，n2，n3，…，ni};Gain(W，N)表示为电商物流数据信息的熵值概念值的增益值;T(W)表示为在W(/信息裂变)状态下，电商物流数据信息的度量值。根据上述公式(3)完成计算后，再结合上述公式(2)，在确保T(W)应满足[1~0]的取值需求，在T(W)满足设定条件时，即可将此公式定义为精准扶贫信息管理算法。综合上述计算操作，不仅能够保证电商物流数据信息的系统化处理，同时还能够进一步进一步实现对数据信息存储状态的感知。

　　1.3电商物流数据配置

　　在利用上述精准扶贫视域下电商物流大数据处理算法完成对数据信息的处理后，针对完成处理的数据还需要进行配置，假设在某一处理完毕的数据集合A当中包含I数据块和II数据块，则另一个处理完毕的数据集合B的I数据块和II数据块江北以期放入到数据节点Data当中。同时，数据结合A的I数据块和II数据块，数据集合B当中的I数据块也将被一起放入到数据节点Data当中，以此类推，将所有完成处理的电商物流数据划分在不同区域的数据结合当中，通过对各个数据节点的连接，得到数据配置路径。同时在实际应用中，为方便对各类电商物流数据信息进行查询，还需要在配置路径当中将时间和应用关联分别进行标记，以此完成对电商物流大数据的处理。

　　2.对比实验

　　本文选择某贫困地区近五年的电商物流数据作为实验对象，并将其引入到真是的信息存储空间当中，构建精准扶贫视域下电商物流大数据信息环境。为进一步验证本文上述提出的基于Hadoop的电商物流大数据处理方法在实际应用中的效果，分别利用本文提出的大数据处理方法和传统大数据处理方法对上述实验对象进行处理。在实验过程中，在两种大数据处理过程中均设置2000个电商物流文件。为保证实验结果的客观性，要求两种处理方法均采用相同的采集和共享方式，仅在处理环节有所差异。同时，两种大数据处理方法均采用相同的Java编程语言，并在完成对大数据处理后，将其存储在Oracle数据库当中。根据上述实验准备，分别由电商物流数据管理用户完成对大数据处理的各项操作，并将实验过程中的相关内容进行记录，绘制成如表1所示的实验结果对比表。

　　由表1中的实验结果可以看出，本文处理方法在完成上述所有处理任务时，其耗时明显小于传统处理方法，并且在实验过程中各个处理环节的实际情况可以进一步看出，本文处理方法不仅能够缩短处理过程中消耗的时间，同时还能够保证处理结果与处理前提出的预期相符，而传统处理方法不仅耗时更多，并且出现了数据处理精度差、影响其他数据处理等问题。因此，通过对比实验进一步证明，本文提出的基于Hadoop的电商物流大数据处理方法在实际应用中能够节约更多的处理时间，并实现高精度处理，将该方法进行实际应用能欧有效推动电商物流精准扶贫的落实。

　　表1 两种大数据处理方法实验结果对比表

　　3.结束语

　　本文通过上述论述完成对精准脱贫视域下基于Hadoop的电商物流大数据处理方法的理论设计，为确保该方法能够应用于实际，还将其与传统处理方法进行对比实验验证，进一步实现该方法的实际应用。同时，在设计过程中，为了能够进一步提高电商物流数据处理的效率，本文引入了Hadoop大数据放置策略理论，将具有计算关联性的数据统一放置在相同的数据节点当中。以此，在Hadoop的应用下实现对数据转换代价的降低，同时还能够确保对大数据处理的精度提升。在后续研究中，还将针对Hadoop大数据放置策略在电商物流服务当中的各项需要进行更加深入研究，从而提高顾客对电商物流服务的满意度，并实现精准扶贫的精度提升。C

　　(作者单位：郑州工业应用技术学院商学院)

　　基金项目：2020年度河南省新工科研究与实践项目资助(编号：2020JGLX090 );河南省教育厅人文社会科学研究项目资助(编号：2020-ZDJH-445);河南省高等学校重点科研项目资助(编号：21B630014)

　　参考文献

　　[1] 温丽琴,卢进勇,杨敏姣. 中国跨境电商物流企业国际竞争力的提升路径——基于ANP-TOPSIS模型的研究[J]. 经济问题,2019(09):45-52.

　　[2] 朱一青,朱占峰,朱耿,等. 中美贸易摩擦背景下我国跨境电商物流发展路径剖析[J]. 物流科技,2019,42(11):52-56.

　　[3] 卢悦冉,张磊,候雅洁. 基于跨境电商物流绩效影响因素的实证分析——以安徽省为例[J]. 现代营销(经营版),2020(07):108-109.