5回复
2年前
【赏金15元】将python的udf改写成scala性能提升会大吗?
我们的业务有很复杂的计算udf,用dsl或者sql无法描述,PySpark嵌入udf,使得优化无能为力,性能也一直很低,我们对于反复使用的数学操作会编译成so执行,也在提升udf本身的执行效率,请问将python的udf改写成scala提升会大吗?对于我们写复杂udf有什么建议吗?
1289 阅读
我们的业务有很复杂的计算udf,用dsl或者sql无法描述,PySpark嵌入udf,使得优化无能为力,性能也一直很低,我们对于反复使用的数学操作会编译成so执行,也在提升udf本身的执行效率,请问将python的udf改写成scala提升会大吗?对于我们写复杂udf有什么建议吗?