Tag: 分布式

从多个服务器聚合多个日志文件的最佳方式

我需要一种简单的方法来监视分布在许多HP-UX服务器上的多个文本日志文件。 它们是来自多个分布式遗留系统的文本和XML日志文件的混合体。 目前我们只是ssh到服务器，并使用tail -f和grep ，但是当你有很多日志需要跟踪的时候，这并不会扩展。 由于日志格式不同，只是文件夹中的文件（达到一定大小时会自动旋转），因此我需要远程收集这些日志，并对每个日志文件进行不同的parsing。 我最初的想法是做一个简单的守护进程，我可以在每台服务器上运行一个自定义的文件读取器来parsing每种文件types，将其parsing为可以通过套接字在networking上导出的通用格式。 另一个在本地运行的查看器程序将连接到这些套接字，并在一些简单的选项卡式GUI中显示parsing的日志或聚合到控制台。 如果我要这样实现，应该尝试使用哪种日志格式？ 有其他更简单的方法吗？ 我是否应该尝试将日志文件转换为log4j格式以与Chainsaw一起使用，还是有更好的可以连接到远程套接字的日志查看器？ 我可以按照另一个日志问题中的build议使用BareTail吗？ 这不是一个大规模的分布式系统，并且改变所有应用程序的当前日志logging实现以使用UDP广播或将消息放在JMS队列上不是一个选项。

传播与MPI vs zeromq？

在像TCP这样的可靠性的UDP广播的答案之一中，用户提到了Spread消息传递API。 我也跑了一个叫做ØMQ 。 我也对MPI有一些了解。 所以，我的主要问题是：为什么我会select一个呢？ 更具体地说，为什么当MPI有成熟的实现时，我会select使用Spread或ØMQ？

替代memcached，可以坚持到磁盘

我目前正在使用我的Java应用程序的memcached，总体来说它工作得很好。 memcached对我来说最重要的function是： 它的速度很快，因为读取和写入都在内存中，不会触及磁盘 这只是一个关键/价值商店（因为这是我所有的应用程序的需求） 它是分布式的 它通过使每个对象正好位于一台服务器上而高效地使用内存 它不假定对象来自数据库（因为我的对象不是数据库对象） 然而，memcached做不到的事情是我想要做的。 我想定期（也许每天一次）将caching内容保存到磁盘。 我希望能够从保存的磁盘映像中恢复caching。 磁盘保存不需要非常复杂。 如果在保存时添加新的键/值，我不在乎它是否包含在保存中。 如果在保存过程中现有的键/值被修改，保存的值应该是旧值或新值，但我不在乎哪一个。 任何人都可以推荐另一个caching解决scheme（无论是自由还是商业），具有所有（或相当大比例）的memcachedfunction，对我来说很重要，也允许从磁盘保存和恢复整个caching？

分布式程序员缺乏什么工具？

我有一个梦想，改善分布式编程的世界:) 特别是，我感觉缺乏必要的工具来debugging，监视，理解和可视化分布式系统的行为（我必须编写自己的logging器和可视化器来满足我的需求），而且我正在编写一对这些工具在我的空闲时间。 社区，你有什么工具缺乏这方面的？ 请描述一个答案，粗略地说明这个工具应该做什么。 其他人可以指出这样的工具的存在，或者有人可能会得到启发和写作。

.net服务总线build议？

我们需要具有发布/订阅function的分布式架构消息传递系统/服务总线。 有没有人有任何build议，我们可以使用.net应用程序的框架？

动物园pipe理员的真实世界使用

最近我一直在看Zookeeper ，想知道现在是否有人使用它，以及他们是如何专门使用它来存储的。 最常见的用例是configuration信息，但是您要存储什么样的数据和多less数据？

如何将本地Git分支复制到远程回购

到目前为止，我已经采取了以下步骤： 克隆一个远程Git回购 主分支分支到实验 编辑/testing/提交代码在实验分支 现在，我还没有准备好将实验合并到master中。 不过我想把它推回到远程回购，因为这是我与几个同事分享的信息库。 我想让他们看看我在实验分支中做了什么。 我通常只是通过SSH访问远程回购。 如何在远程仓库上共享本地分支，而不影响远程仓库的主分支？

用于数据模拟的高效低资源语言

我们的任务是创建多实例模拟器来发送不断变化的数据结构。 模拟器应该有多达25.000个隔离的实例，所以所有需要额外内存和环境空间的语言（如Java）都不被考虑。 我们可以用不同于Docker和C / C ++的方式来做到这一点吗？