英文版Spark AI模型SDK发布:可直译Spark代码
来源:中关村在线
2023-07-11 10:02:36
(资料图片仅供参考)
Databricks近日发布了大数据分析平台Spark所用的AI模型SDK。这款SDK允许开发者用英文下指令,编译器会将英文指令转换为PySpark或SQL语言代码,从而提升开发者效率。 Spark是一款开源大数据分析工具,每年下载量超过10亿次,被全球208个国家和地区使用。Databricks表示,虽然微软的AI代码助手GitHubCopilot功能强大,但使用门槛较高,而Databricks的SDK更具普适性,更易于上手。 Databricks团队发现大型语言模型非常了解Spark,Spark社区在过去10年贡献了大量的开放、高质量文本以供AI学习发展。因此,Databricks团队利用Spark社区提供的一系列学习数据进行训练,开发出了这套英文版SDK。开发者可以利用这套SDK直接用英文下指令,并得到相应结果,从而提升开发效率。 Databricks同时表示,目前这款英文版SDK还处于早期开发阶段,他们欢迎更多的使用者加入使用,以提升这款SDK的性能。