人工智能技术甚至可以从不平衡的数据集中实现高度精确的学习

富士通实验室有限公司今天宣布开发“广泛学习”，这是一种机器学习技术，即使操作员无法获得培训所需的数据，也能做出准确的判断。如今，人工智能通常用于各种领域的数据利用，但当要分析的数据量很少或不平衡时，人工智能的准确性可能会受到影响。富士通广泛的学习技术使得判断比以前更加准确，即使假设被检验，即使数据不平衡，学习也可以统一实现。它通过首先提取由所有数据项组成的大量假设组成的高度重要的假设，然后通过基于假设的重叠关系控制每个假设的影响程度来实现这一目标。此外，由于假设被记录为逻辑表达式，人类也可以理解判断背后的原因。富士通全新的泛学习技术甚至让AI可以应用在医疗、营销等领域，因为在这些领域，做出判断所需的数据非常稀缺，可以支持运营，利用AI推动工作流自动化。

近年来，人工智能技术已经应用于医疗、营销、金融等各个领域。人们越来越期望使用人工智能决策来支持这些领域的操作和自动化任务。然而，实现这些技术潜力的挑战之一是数据可能不平衡。具体来说，根据不同的行业，可能很难获得足够的数据来训练AI判断的目标。事实上，这些技术中的许多不能为实际应用产生准确的结果。此外，AI部署缺乏进展的主要原因是，即使AI提供了足够准确的识别或分类性能，

基于深度学习的AI技术通常通过训练大量数据(包括大量待判断的目标数据)做出高度准确的判断。然而，在现实世界中，很多情况下，数据不足，目标数据稀缺。在这种情况下，当面对未知数据时，人工智能技术很难做出高度准确的判断。另外，现有的基于深度学习的AI机器学习模型是黑箱模型，无法解释AI判断背后的原因，导致透明度问题。因此，展望未来，有必要开发新的AI技术，实现基于不平衡数据的高精度判断，也是解决社会各种问题的透明方式。

考虑到这些挑战，富士通实验室开发了Wide Learning，这是一种机器学习技术，即使在数据不平衡的情况下也能做出高度准确的判断。泛学习技术的功能包括以下两点。

1.创建数据项组合以提取大量假设

该技术将数据项的所有组合模式视为假设，然后根据标签类别的命中率确定每个假设的重要性。例如，在分析谁购买某些产品的趋势时，系统会针对不购买商品的人(类别标签)，如20岁至34岁之间有驾照的单身女性，从数据项中组合各种模式，然后以这些组合模式为假设，分析实际购买商品的数据中有多少匹配。命中率在一定水平以上的假设被定义为一个重要的假设，称为“知识块”。这意味着即使目标数据不足，系统也能提取出所有值得研究的假设。

2.调整知识块的影响程度，建立准确的分类模型

该系统基于多个提取的知识块和目标标签建立分类模型。在此过程中，如果构成知识块的项目与其他知识块的项目频繁重叠，则系统控制它们的影响程度，以降低它们对分类模型的影响权重。这样，即使标记为正确的目标标签或数据不平衡，系统也可以训练出能够准确分类的模型。例如，如果在不控制影响程度的情况下训练AI，知识块将包括一个人是否拥有独立于性别的执照，这对分类不会有太大影响。

富士通实验室已经试验了这项技术，并将其应用于数字营销和医疗保健中的数据。与深度学习相比，该技术在UC Irvine机器学习库中使用营销和医疗保健领域的基准数据进行的测试中，准确率提高了约10-20%。它成功地将系统忽略可能订购服务的客户或患者的可能性降低了约20%至50%。在营销数据中，测试使用的约5000个客户数据项中，只有约230个用于购买客户，造成了一组不平衡的情况。这项技术通过深度学习分析，将被排除在促销之外的潜在客户数量从120个减少到74个。此外，判断对于在社会中实施这项技术也是有用的。即使基于新数据的结果确定模型需要校正，也可以进行更适当的修改，因为用户可以理解结果的原因。

富士通实验室将继续将该技术应用于需要AI判断背后的推理的任务(例如金融交易和医疗诊断)以及处理低频现象(例如欺诈和设备故障)的任务，以将其商业化。一种新的机器学习技术 在2019财年为富士通有限公司的富士通以人类为中心的AI Zinrai提供支持。富士通实验室还将有效利用这项技术的独特功能进行解释，继续研究和开发主题，例如在为应用该任务的任务中做出判断和决策提供更好的支持，以及整个系统的设计，包括与人的协作。