Tag: pivot

如何转换一个MySQL实体 – 属性值模式

我需要devise存储所有文件元数据（即文件名，作者，标题，创builddate）和自定义元数据（已被用户添加到文件，例如CustUseBy，CustSendBy）的表格。 自定义元数据字段的数量不能事先设置。 事实上，确定在文件上添加了多less个自定义标签的唯一方法是检查表中存在的内容。 为了存储这个，我创build了一个基本表（具有文件的所有公共元数据），一个Attributes表（包含可以在文件上设置的附加可选属性）和一个FileAttributes表（它为文件的属性赋值）。 CREAT TABLE FileBase ( id VARCHAR(32) PRIMARY KEY, name VARCHAR(255) UNIQUE NOT NULL, title VARCHAR(255), author VARCHAR(255), created DATETIME NOT NULL, ) Engine=InnoDB; CREATE TABLE Attributes ( id VARCHAR(32) PRIMARY KEY, name VARCHAR(255) NOT NULL, type VARCHAR(255) NOT NULL ) Engine=InnoDB; CREATE TABLE FileAttributes ( sNo INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, […]

如何透视DataFrame？

我开始使用Spark Dataframes，我需要能够转换数据以创build具有多行的1列中的多个列。 在Scalding中有内置的function，我相信Python中的Pandas，但是我找不到新的Spark Dataframe。 我认为我可以编写自定义函数，但是我不知道如何开始，尤其是因为我是一个Spark新手。 我有人知道如何做到这一点内置的function或如何写在斯卡拉的东西的build议，不胜感激。