machine-learning - 机器学习如何与大数据结合？

Question

1. 机器学习如何与大数据集成？
2. 机器学习和 MapReduce 之间有什么区别？
3. 我应该考虑的主要概念是什么？
4. 决策制定的主要方式是三种(监督学习、无监督学习、强化学习)中的哪一种
5. 在医疗保健和智慧城市等领域使用大数据进行决策有什么区别？
6. 大数据与作为机器学习技术之一的深度学习之间有何关系？

Answer 1

这是我的快速而中肯的意见:

1. 机器学习方法通​​过称为梯度下降的方法“学习”，这种方法通常在数据上效率很低，但非常通用，易于实现，并且不需要太多的数据先验知识。为了让这种方法真正发挥作用，你需要大量的数据来获得准确的模型；因此，很多机器学习方法都需要大数据。

2. 机器学习是人工智能的一个领域，旨在赋予机器学习概念的能力，而无需明确编程来实现这一点。 MapReduce 是一种分布式计算方法，可用于加速机器学习训练或任何计算量大的任务。

3. 机器学习的主要概念是哪些机器学习算法应该用于特定任务。例如，监督学习用于回归和分类，并应用于标记的数据集。回归算法用于预测连续变量，分类算法用于预测分类变量。连续任务的一个例子是预测特定房屋的房地产价格。分类任务的一个例子是预测图片是狗还是猫。
   
   在无监督学习中，两个主要家族是主成分和聚类，它们主要用于无标签数据套。在这里，机器必须找到数据的最佳分离。

4. 强化学习肯定会成为决策算法；强化学习毕竟是为了最优控制和最优决策而设计的，因为它的基本算法是贝尔曼方程。

5. 决策从根本上来说是基于您要解决的问题。例如，如果我尝试制作 cookies ，我可以要么让我的 cookies 味道好极了，但要花更多的钱，要么我可以制作味道不错但花的钱少得多的 cookies 。根据我想要服务的市场，我的决定会有很大不同。
   
   由于这里没有正确定义两者的任务，因此我将做出一些假设。在医疗保健领域，一大问题是肾衰竭患者的治疗。在这里，患者需要每 2 天去医院 2-3 小时，通过一种称为透析的方法对血液进行医学净化。在这里，我们可以构建一个强化学习 Controller 来控制透析过程的流速、药物等，以缩短血液净化过程并让患者经历更少的疼痛。我亲自参与过这个项目。机器学习算法的决策包括流量和药物量等。
   
   在智慧城市中，代理可能希望优化交通流量或电力使用。对于交通流量，代理的决策是何时使哪些灯变红，以最大限度地减少交通中浪费的总时间。对于用电，代理商希望电力以最短的距离传输，从而最大限度地减少电力浪费。

6. 大数据和深度学习的关系与#1 相同，只不过将我最后一句中的“很多”替换为“全部”。深度学习模型是高度参数化的，需要大量的数据才能完全准确和可用(假设您的网络足够深)。然而，只要有足够的数据，其准确性和能力是不可否认的。 SumoLogic 的下图显示了模型准确度变化与输入不同机器学习算法的数据量之间的有用可视化。