Tag: spark cassandra connector

如何使用Spark DataFrame查询JSON数据列？

我有一个卡桑德拉表为简单起见如下所示： key: text jsonData: text blobData: blob 我可以使用spark和spark-cassandra连接器为此创build一个基本数据框： val df = sqlContext.read .format("org.apache.spark.sql.cassandra") .options(Map("table" -> "mytable", "keyspace" -> "ks1")) .load() 尽pipe我将JSON数据扩展到其底层结构，但我仍在苦苦挣扎。 我最终希望能够根据jsonstring中的属性进行过滤并返回blob数据。 像jsonData.foo =“bar”，并返回blobData。 目前这是可能的吗？