Tag: 并行处理

为什么我似乎不能强制Oracle 11g为单个SQL查询消耗更多的CPU: 我有一些庞大的查询运行在巨大的桌子上。这些查询似乎是CPU瓶颈，并运行几个小时。据我所知，Oracle有11g的许多新function，第2版可以在内部使查询执行同步。然而，无论我在查询中join什么样的提示，我都不能在数据库框中使用多于一个的CPU。我有一个非常值得尊敬的有8个CPU的Solaris机器，但是每次运行这个查询时，我最终都会把一个CPU推到100％，然后在那里坐几个小时。我试过的提示是： SELECT /*+ PARALLEL */ … SELECT /*+ PARALLEL(5) */ … SELECT /*+ PARALLEL(10) */ … 在看盒子上的整体CPU消耗时，似乎没有任何工作。它似乎总是挂100％的一个CPU。不幸的是，即使解释计划似乎永远运行。我会尝试用不同的提示获得不同的解释计划，看看是否有帮助。有些查询可能是不可并行的，即使它们的运行时间在几小时之内？这个查询中的主表有3.35亿行。 SQL查询文本： http://pastie.org/8634380 系统参数： http://pastie.org/8634383 编辑：详细解释计划 – 无并行： http://pastebin.com/HkZgbPpf 优化器相关的系统参数： http://pastie.org/8639841 进一步编辑：我们已经与Oracle联系了解为什么EXPLAIN PLAN需要2个多小时。我们正在试图运行各种解释计划。

限制C＃中并行线程的数量: 我正在编写一个C＃程序，通过FTP生成并上传50万个文件。我想要并行处理4个文件，因为机器有4个内核，生成文件需要更长的时间。是否有可能将下面的Powershell示例转换为C＃？还是有没有更好的框架，如C＃中的Actor框架（如F＃MailboxProcessor）？ Powershell示例 $maxConcurrentJobs = 3; # Read the input and queue it up $jobInput = get-content .\input.txt $queue = [System.Collections.Queue]::Synchronized( (New-Object System.Collections.Queue) ) foreach($item in $jobInput) { $queue.Enqueue($item) } # Function that pops input off the queue and starts a job with it function RunJobFromQueue { if( $queue.Count -gt 0) { $j […]

Python中的multiprocessing.dummy没有使用100％的cpu: 我用Python做机器学习项目，所以我必须并行地预测函数，我正在使用我的程序。 from multiprocessing.dummy import Pool from multiprocessing import cpu_count def multi_predict(X, predict, *args, **kwargs): pool = Pool(cpu_count()) results = pool.map(predict, X) pool.close() pool.join() return results 问题是，我所有的CPU只加载20-40％（总计是100％）。我使用multiprocessing.dummy是因为在酸洗function中多处理模块有问题。

并行执行多个AsyncTask: 我正在使用Android SDK 4.0.3 API15，我想并行运行多个AsyncTasks。我从Web服务器获取数据并实时animation（10 fps）。但根据用户的操作，我也需要发送一些数据到Web服务器。发生这种情况时，我的animation会暂停一段时间（发送数据进入队列并等待数据完成），因此我无法实时捕捉。这个答案是相当的解释，但我不能使它的工作。所以任何帮助将非常感激。我想我需要使用这个function来实现： AsyncTask.executeOnExecutor(Executor exec, Params… params) 但是我不能传递一个执行者作为参数，我也不能实例化一个执行者。这是我的AsyncTask类： public class GetPlayers extends AsyncTask<String, Void, String> { @Override protected String doInBackground(String… urls) { Thread.currentThread().setPriority(Thread.MAX_PRIORITY); rawData=""; for (String url : urls) { DefaultHttpClient client = new DefaultHttpClient(); HttpGet httpGet = new HttpGet(url); try { HttpResponse execute = client.execute(httpGet); […]

使用多处理模块进行集群计算: 我有兴趣使用计算机群集来运行Python程序。我过去一直在使用Python MPI接口，但是由于编译/安装这些接口有困难，我宁愿使用内置模块（如Python的多处理模块）的解决scheme。我真正想要做的只是build立一个multiprocessing.Pool实例，跨越整个计算机集群，并运行一个Pool.map(…) 。这是可能的/容易做的事吗？如果这是不可能的，我希望至less能够从每个节点的不同参数的中央脚本启动任何节点上的Process实例。

“Parallel.For”for Java？: 我想知道是否有一个Parallel.For相当于.net版本的Java？如果有人可以提供一个例子？谢谢！

我可以在.net 3.5项目中使用任务并行库吗？: 我听说任务并行库可以在.net 3.5项目中使用。这是正确的，如果是的话，我该如何使用它？在.NET 4.0中，它驻留在System.Threading中，但是当我select.Net 3.5作为Visual Studio 2010中的目标时，我无法访问像Parallel和Parallel这样的类。

使2个function同时运行: 我正在尝试使2个函数在同一时间运行。 def func1(): print 'Working' def func2(): print 'Working' func1() func2() 有谁知道如何做到这一点？

这是Files.lines（）中的错误，还是我误解了一些关于并行stream的问题？: 环境：Ubuntu x86_64（14.10），Oracle JDK 1.8u25 我尝试使用Files.lines()并行stream，但我想.skip()的第一行（这是一个带有标题的CSV文件）。所以我尝试这样做： try ( final Stream<String> stream = Files.lines(thePath, StandardCharsets.UTF_8) .skip(1L).parallel(); ) { // etc } 但是，然后一列未能parsing为int … 所以我尝试了一些简单的代码。该文件是问题是死的简单： $ cat info.csv startDate;treeDepth;nrMatchers;nrLines;nrChars;nrCodePoints;nrNodes 1422758875023;34;54;151;4375;4375;27486 $ 代码同样简单： public static void main(final String… args) { final Path path = Paths.get("/home/fge/tmp/dd/info.csv"); Files.lines(path, StandardCharsets.UTF_8).skip(1L).parallel() .forEach(System.out::println); } 我系统地得到以下结果（好吧，我只运行了大约20次）： startDate;treeDepth;nrMatchers;nrLines;nrChars;nrCodePoints;nrNodes 我在这里错过了什么？编辑看起来像这个问题，或误解，比这更深植根于下面的两个例子（FreeNode的## java的一个研究员煮熟）： public static void […]