Tag: s3

你使用亚马逊云服务为您的公司？: 我读了很多关于亚马逊云计算的可能性，比如S3或者EC2 ，我想知道是否有人真的把它用于任务关键型应用程序。你是否在云中托pipe你的公司网站？你在那里存储文件？你是否在云中运行你的构build服务器？已经有一些像Scalr或者WeoCeo这样的服务可以帮助你完成这个任务，但是我不知道pipe理层是否已经处于真正的问题之中了。编辑我想补充一点：您认为AWS许可证中存在隐藏的问题，使您（和/或您的公司）无法将应用程序甚至部分应用程序外包到云中？编辑你知道一些统计比较S3或EC2和你自己或第三方托pipe服务的总体停机时间吗？

从Amazon EC2实例收集日志有什么好方法？: 我的应用托pipe在Amazon EC2集群上。每个实例将事件写入日志文件。我需要在每天结束时收集（和数据挖掘）这些日志。在中央位置收集这些日志的build议方法是什么？我想到了几个select，不知道要走哪条路：使用cron作业将它们scp到一个实例将所有事件通过TCP / IPlogging到一个实例

如何在Amazon S3中更改对象的元数据: 如果您已经将对象上传到Amazon S3存储桶，那么如何使用API更改元数据？可以在AWSpipe理控制台中执行此操作，但不清楚如何以编程方式执行此操作。具体来说，我在Python中使用boto API，通过阅读源代码，很明显，使用key.set_metadata只能在创build对象之前工作，因为它只是影响本地字典。

如何使用AWS S3 CLI将文件转储到BASH中的stdout？: 我开始一个bash脚本，它将在S3（如ls命令所指定的那样）中取path并将所有文件对象的内容转储到stdout 。本质上我想复制cat /path/to/files/*除了S3，例如s3cat '/bucket/path/to/files/*' 。我的第一个倾向看选项是使用cp命令临时文件，然后cat 。有没有人试过这个或类似的，或者是有一个命令，我不知道这是什么？

从节点强大的file upload访问原始文件stream: 我正在创build一个应用程序，需要一些file upload，并直接发送到S3。我宁愿不要在我的服务器上拥有tmp文件，所以我使用的是Knox模块，并希望将来自Formidable的原始数据stream通过Knox发送到S3。我使用Knox来做类似的事情，使用下面的代码下载一个文件： knox.downloads.get(widget.download).on('response',function(sres){ res.writeHead(200, { 'Content-Type':'application/zip', 'Content-Length': sres.headers['content-length'], 'Content-Disposition':'attachment; filename=' + widget.download }); util.pump(sres, res); }).end(); 现在我想在相反的方向做类似的事情（从浏览器上传到S3）。到目前为止，我已经写了一个事件处理程序来捕获file upload的每一条数据： var form = new formidable.IncomingForm(); form.onPart = function(part){ if(!part.filename){ form.handlePart(part); }else{ if(part.name == 'download'){ // Upload to download bucket controller.putDownload(part); }else{ // Upload to the image bucket controller.putImage(part); } //res.send(sys.inspect(part)); } } form.parse(req, function(err, […]

Amazon S3和Cloudfrontcaching，如何清除caching或同步caching: 我有一个每10分钟运行一次的cron作业，并更新内容types和x-amz-meta。但从昨天开始，似乎在cron作业运行之后，亚马逊并没有完成所做的更改（刷新其caching）。我甚至去做了手动的变化，但没有改变… 当video上传时，它具有application/x-mp4内容types，并且cron作业将其更改为video/mp4 。虽然S3有正确的内容types的video/mp4云端显示application/x-mp4 （旧内容types）…. cron工作在过去的6个月里一直没有问题。亚马逊caching有什么问题？我如何同步caching？

Amazon S3redirect和Cloudfront: 我试图在S3上使用对象设置301redirect，这里引用http://docs.aws.amazon.com/AmazonS3/latest/dev/how-to-page-redirect.html 。我一直有一些问题，似乎无法弄清楚我做错了什么。我得到的是一个空白页（0字节文件），就好像没有设置“网站redirect位置”元数据值一样。我究竟做错了什么？此外，AWS CloudFront上的这个工作是否正常？我的S3控制台设置情侣注意事项：我有这个设置来托pipe一个静态网站。我使用ssl / https与我自己的证书上传和设置在云端分布。除了redirect对象之外，所有的页面都可以正常工作。我已经尝试设置路由规则，但他们似乎并没有在Cloudfront中工作。我试图通过cloudfront url和s3 url（ https://s3.amazonaws.com/ {bucket} / users / sign_in）来访问redirect，

如何将file upload到大于5 MB（大约）的Amazon S3（官方SDK）？: 我正在使用最新版本的Amazon S3 SDK（1.0.14.1）来创build备份工具。到目前为止，如果我上传的文件的大小低于5 MB，那么一切工作正常，但是当任何文件大于5 MB时，上传将失败，出现以下exception： System.Net.WebException：请求被中止：请求被取消。 —> System.IO.IOException：写入所有字节之前无法closuresstream。在System.Net.ConnectStream.CloseInternal（布尔internalCall，布尔中止）—结束内部exception堆栈跟踪—在Amazon.S3.AmazonS3Client.ProcessRequestError（String actionName，HttpWebRequest请求，WebException我们，HttpWebResponse errorResponse，stringrequestAddr ，Amazon.S3.AmazonS3Client.Invoke [T]（S3Request userRequest）在Amazon.S3.AmazonS3Client.PutObject（PutObjectRequest请求）上的WebHeaderCollection＆respHdrs，typest）.StoModule.UploadFile（String sourceFileName，String destinationFileName）in W： \ code \ AutoBackupTool \ BackupToolkit \ S3Module.cs：W：\ code \ AutoBackupTool \ BackupToolkit \ S3Module.cs中的BackupToolkit.S3Module.UploadFiles（String sourceDirectory）中的第88行：第108行注：5 MB大致是失败的边界，可以稍微低一点或者更高我假设连接超时，并且在file upload完成之前stream正在被自动closures。我试图find一种方法来设置一个很长的超时（但我无法在AmazonS3或AmazonS3Configfind选项）。任何关于如何增加超时的想法（就像我可以使用的应用程序范围设置）还是与超时问题无关？码： var s3Client = AWSClientFactory.CreateAmazonS3Client(AwsAccessKey, AwsSecretKey); var putObjectRequest = new PutObjectRequest { BucketName = […]

使用节点fs从aws s3存储桶中读取文件: 我试图读取aws s3存储桶中使用的文件 fs.readFile(file, function (err, contents) { var myLines = contents.Body.toString().split('\n') }) 我已经能够使用节点aws-sdk下载和上传一个文件，但是我不知道如何简单地阅读和parsing内容。这里是我从s3读取文件的一个例子： var s3 = new AWS.S3(); var params = {Bucket: 'myBucket', Key: 'myKey.csv'} var s3file = s3.getObject(params)

EC2中的S3“美国标准”地区与“us-east-1”相同吗？: 我打算在us-east-1d上运行位于EC2实例上的脚本。这个脚本基本上从几个不同的地方抽取图像，并将它们扔到美国标准地区的S3桶中。由于没有办法直接上传到s3桶（通过发送一个API请求，导致S3从远程URL获取一个文件，就像这里写的，我不认为这已经改变了），我想确保在我写入S3（即离开亚马逊数据中心）时，我保存为ec2的临时文件的每个映像都不会产生额外的带宽费用。上传到美国标准S3存储桶的美国东部1d EC2实例是否将在同一AWS区域内通信？任何深入了解这一点将不胜感激，因为它将是TB级的数据，我在继续之前我想知道一个小桶。