Tag: 大文件

Git与大文件

情况 我有两个服务器，生产和发展。 在生产服务器上，有两个应用程序和多个（6）数据库（MySQL），我需要分发给开发人员进行testing。 所有源代码都存储在开发服务器的GitLab中 ，开发人员只能使用此服务器，并且无法访问生产服务器。 当我们发布一个应用程序，主要login到生产，并从Git拉新版本。 数据库很大（每个数据超过500M），我需要尽可能地将它们分发给开发人员进行testing。 可能的解决scheme 在将数据库转储到单个文件的备份脚本之后，执行一个将每个数据库推送到其自己的分支的脚本。 如果开发者想更新他的本地副本，开发人员就会select其中一个分支。 这一个被发现不工作。 生产服务器上的Cron每天保存二进制日志，并将它们推送到该数据库的分支中。 所以，在分支中，每天都会有文件被修改，开发者会拖拽他没有的文件。 当前的SQL转储将以另一种方式发送给开发人员。 当存储库的大小变得过大时，我们会将全部转储发送给开发人员，并清除存储库中的所有数据，并从头开始。 问题 解决scheme可能吗？ 如果git是推送/从仓库中取出，是否上传/下载整个文件，或只是改变它们（即增加新的行或编辑当前的）？ Git可以pipe理这么大的文件吗？ 没有。 如何设置存储库中保存了多less个修订版本？ 与新解决scheme无关。 有没有更好的解决scheme？ 我不想强迫开发者通过FTP或类似的东西下载这样的大文件。

Bash – 如何find目录及其子目录中最大的文件？

我们刚刚开始一个UNIX类，正在学习各种Bash命令。 我们的任务涉及在一个目录下执行各种命令，这个目录下面还有许多文件夹。 我知道如何使用以下命令从根文件夹中列出和计算所有常规文件： find . -type l | wc -l 但我想知道从哪里去find整个目录中最大的文件。 我见过关于du命令的一些事情，但是我们还没有意识到，所以在我们学习的东西中我假设我们需要以某种方式将它连接到ls -t命令。 如果我的“行话”不正确，请原谅我，我还是习惯了！

如何阅读Windows上的大文本文件？

我有一个大的服务器日志文件（〜750 MB），我无法打开记事本或记事本++（他们都说这个文件太大）。 任何人都可以提出一个程序（对于Windows），只能将文件的一小部分一次读入内存？ 或者我需要写我自己的应用程序来parsing这个文件？

最好的免费文本编辑器支持*超过* 4GB的文件？

我正在寻找一个文本编辑器，将能够加载一个4千兆字节的文件。 文本板不起作用。 我拥有它的一个副本，并已到其支持网站，它只是不这样做。 也许我需要新的硬件，但这是一个不同的问题。 编辑需要是免费的，如果花费我的话，不要超过30美元。 对于Windows。

在VIM中处理大量文件

我试图在VIM中打开一个巨大的（〜2GB）文件，但它窒息。 我实际上不需要编辑文件，只是有效地跳转。 我怎样才能在VIM中处理非常大的文件？

非常大的PHP上传

我想允许将非常大的file upload到我们的PHP应用程序（数百个megs – 8个演出）。 然而，这有几个问题。 浏览器： HTML上传有糟糕的反馈，我们需要轮询进展（这有点傻），或者根本没有反馈 Flash上​​传器在开始上传之前将整个文件放入内存中 服务器： PHP迫使我们设置post_max_size，这可能导致容易被攻击的DOS攻击。 我不想在全局设置这个设置。 服务器还需要一些其他variables在POSTvariables中，例如密钥。 我们希望能够立即拒绝请求，而不是在整个file upload之后。 要求： HTTP是必须的。 只要在浏览器中工作，我就可以灵活地使用客户端技术。 PHP不是必需的，如果有一些其他技术可以在Linux环境下正常工作，那非常酷。

HTML5 – 如何stream大型.mp4文件？

我试图设置一个非常基本的html5页面，加载一个20MB的.mp4video。 看起来，浏览器需要下载整个video，而不是只播放video的第一部分，其余部分则是stream媒体。 这篇文章是我search时发现的最接近的东西…我尝试了双手制动和数据围绕都没有出现有所作为： 任何想法如何做到这一点，如果有可能？ 这是我正在使用的代码： <video controls="controls"> <source src="/video.mp4" type="video/mp4" /> Your browser does not support the video tag. </video>

在C＃中为大文件创build校验和的最快方法是什么？

我必须在一些机器上同步大文件。 这些文件的大小可以达到6GB。 同步将每几周手动完成。 我不能考虑文件名，因为他们可以随时更改。 我的计划是在目标PC和源PC上创build校验和，然后将所有不在目标中的校验和的文件复制到目的地。 我的第一个尝试是这样的： using System.IO; using System.Security.Cryptography; private static string GetChecksum(string file) { using (FileStream stream = File.OpenRead(file)) { SHA256Managed sha = new SHA256Managed(); byte[] checksum = sha.ComputeHash(stream); return BitConverter.ToString(checksum).Replace("-", String.Empty); } } 问题在于运行时间： – SHA256与一个1,6 GB的文件 – > 20分钟 – 与MD5的1,6 GB的文件 – > 6.15分钟 有没有更好的方法来获得校验和（也许有更好的散列函数）？

使用在PHP中分块上传1GB文件

我有一个Web应用程序，接受高达4 MB的file upload。 服务器端脚本是PHP，Web服务器是NGINX。 许多用户已经要求大幅增加这个限制，以允许上传video等。 但是，PHP似乎没有这个问题的简单解决scheme。 首先，在客户端，我正在寻找一些能够让我在传输过程中传输文件的东西。 SWFUpload似乎并没有这样做。 我想我可以使用Java FX上传stream（ http://blogs.oracle.com/rakeshmenonp/entry/javafx_upload_file ），但我无法在PHP中find任何等效的request.getInputStream。 增加浏览器的client_post限制或php.ini上传或max_execution时间并不是一个真正的大文件（〜1GB）的解决scheme，因为浏览器可能会超时，并想到存储在内存中的所有blob。 有什么办法解决这个问题在服务器端使用PHP？ 我将不胜感激您的答复。

在PHP中处理大型XML的最佳方法

我必须parsingPHP中的大型XML文件，其中一个是6.5 MB，他们可能会更大。 我读过的SimpleXML扩展将整个文件加载到一个对象中，这可能不是很有效。 根据你的经验，最好的方法是什么？