Tag: 谷歌 的BigQuery

无法从本地App Engine开发服务器访问BigQuery

这是一个与python Google AppEngine应用程序和Google BigQuery之间的服务器到服务器授权有关的问题，但可能与其他云服务相关。 tldr; 是否有可能让App Engine本地开发服务器使用远程BigQuery服务进行身份validation？ 更好的是有一个本地的BigQuery？ 我明白，AppAssertionCredentials目前不在本地开发服务器上工作，虽然这本身是非常令人沮丧的。 本地开发服务器沙箱以外的标准python代码的替代方法在本地开发服务器上不起作用，因为即使启用了PyCrypto，沙盒也不允许某些posix模块，例如“pwd”。 我已经获得了在远程服务器上工作的AppAssertionCredentials以及在本地Python中工作的SignedJwtAssertionCredentials方法，所以服务帐号被正确设置。 导入在try / except块内的oauth2client / crypt.py内失败 – 在注释掉沙盒白名单例外之后很容易看到。 我在白名单上添加“pwd”，然后又出现了另一个问题，于是我急忙跑出那个兔子洞。 我试过将PyCrypto直接包含到项目中，结果类似。 我也尝试过与OpenSSL类似的结果。 我找了一个本地的特定于引擎的PyCrypto无济于事，我错过了一个？ 我应该说这是在Mac OSX上 – 也许我应该启动一个Linux的盒子，并给一个去吗？

在Apache Beam中向不同的BigQuery表写入不同的值

假设我有一个PCollection<Foo> ，我想把它写到多个BigQuery表中，为每个Fooselect一个可能不同的表。 我怎样才能使用Apache Beam BigQueryIO API来做到这一点？