利用SQL中的分析函数加快数据提取速度
利用SQL分析函数提速数据提取
分析函数提供了一种非常强大而易于实现的方式来处理和分析数据。本文将向您展示如何在SQL语句中使用分析函数。
作为一名分析专业人员，您可能会发现自己需要查询数据进行分析。通常情况下，数据是从SQL数据库中获取的，然后通过诸如Python之类的编程语言使用强大的框架（如Pandas或NumPy）导入。这是一个非常好的处理数据的流程，然而，大部分的计算任务主要是由本地计算机完成的。对于小数据集来说，这并不是一个问题，但是当处理大数据集时，可能会遇到本地内存不足的问题。
你可能会认为这不是一个常见的问题。因此，让我举一个日常例子来证明这个假设是错误的：
想象一下，你在一家制造公司工作，你对收集机器传感器数据感兴趣。这些数据通常经常被收集，并且可能相当嘈杂。为了更好地理解机器的情况，对密集收集的数据进行平滑和预处理（例如，每秒可能收集多次测量值）很快就会产生巨大的数据集大小！假设我们在机器旁边放置了150个传感器，每个传感器每秒读取4个测量值。那么一天的数据量就会产生
4×60×60×24×150 ≈ 5200万条记录（读数 x 秒 x 分钟 x 小时 x 传感器）
数据点。通常，作为一个经验法则，我们至少看一周的数据（但我们也可能增加读数或甚至传感器的数量）…你看到了吧。
因此，您最好将计算成本高昂的聚合操作转移到源数据库中。特别是，分析函数或窗口函数在语法上非常简单，但是是一种在更高层次上读取、转换和提取数据的强大工具。
关键要点：
每当您需要一个滚动/移动窗口或在一个逻辑分区内进行计算（例如，连续排名、最低或最高值，在一组传感器内），这无疑是值得的…
