标签：定义 PySpark UDF import Pandas 函数

PySpark 如何实现 Pandas UDF（用户定义函数）？

顾名思义，PySpark Pandas UDF 是一种使用 Pandas DataFrame 在 PySpark 中实现用户定义函数 (UDF) 的方法。PySpark API 文档给出的定义如下：

“Pandas UDF 是用户定义的函数，由 Spark 执行，使用 Arrow 传输数据，Pandas 执行数据，允许向量化操作。Pandas UDF 是使用pandas_udf作为装饰器或包装函数来定义的，不需要额外的配置。Pandas UDF 通常表现为常规的 PySpark 函数 API。”

在这篇文章中，我们将探索PandasUDFType.GROUPED_MAP，或者在 PySpark 的最新版本中，也称为pyspark.sql.GroupedData.applyInPandas. 主要思想很简单，Pandas UDF 分组数据允许在数据集的每一组中进行操作。由于 spark 中的分组操作是跨集群节点计算的，因此我们可以以允许在不同节点计算不同模型的方式操作我们的数据集。是的，我的兄弟们……永远不要低估一个groupBy.

配置

在进入应用 Pandas UDF 的细节之前，让我们用一些模块、全局变量和常用函数设置环境。

第一步是导入将在这个小实验中使用的所有模块。

import pandas as pd
from catboost import CatBoostClassifier
from itertools import product
from pyspark.sql import DataFrame
from pyspark.sql

标签：定义,PySpark,UDF,import,Pandas,函数
来源： https://blog.csdn.net/weixin_54707168/article/details/122757262

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。