性能问答>【赏金15元】将python的udf改写成scala性能提升会大吗?>
5回复
2年前

【赏金15元】将python的udf改写成scala性能提升会大吗?



我们的业务有很复杂的计算udf,用dsl或者sql无法描述,PySpark嵌入udf,使得优化无能为力,性能也一直很低,我们对于反复使用的数学操作会编译成so执行,也在提升udf本身的执行效率,请问将python的udf改写成scala提升会大吗?对于我们写复杂udf有什么建议吗?

1289 阅读
请先登录,查看5条精彩评论吧
快去登录吧,你将获得
  • 浏览更多精彩评论
  • 和开发者讨论交流,共同进步