Tag: 并行处理

在OpenMp中减lessarrays: 我试图并行化下面的程序，但不知道如何减less数组。我知道这是不可能的，但有没有其他的select？谢谢。（我在m上加了减法，但是想要怎么做呢？） #include <iostream> #include <stdio.h> #include <time.h> #include <omp.h> using namespace std; int A [] = {84, 30, 95, 94, 36, 73, 52, 23, 2, 13}; int S [10]; int n,m=0; time_t start_time, end_time; int main () { start_time = time(NULL); #pragma omp parallel for private (m)reduction(+:m) for ( n=0 ; n<10 ; […]

并行stream，收集器和线程安全: 请参阅下面的简单示例，其中列出了每个单词的出现次数： Stream<String> words = Stream.of("a", "b", "a", "c"); Map<String, Integer> wordsCount = words.collect(toMap(s -> s, s -> 1, (i, j) -> i + j)); 最后， wordsCount是{a=2, b=1, c=1} 。但是我的stream量非常大，我想平行工作，所以我写道： Map<String, Integer> wordsCount = words.parallel() .collect(toMap(s -> s, s -> 1, (i, j) -> i + j)); 不过，我注意到wordsCount是一个简单的HashMap所以我不知道是否需要明确要求一个并发映射来确保线程安全： Map<String, Integer> wordsCount = words.parallel() .collect(toConcurrentMap(s -> […]

Python：线程和多处理模块之间有什么区别？: 我正在学习如何在Python中使用threading和multiprocessing模块来并行运行某些操作，并加速我的代码。我发现这很难（也许是因为我没有任何理论背景）来理解threading.Thread()对象和multiprocessing.Process()之间的区别。此外，我不完全清楚如何实例化一个作业队列，并且只有4个（例如）它们并行运行，而另一个则等待资源释放，然后再执行。我在文档中find清楚的例子，但不是很详尽; 只要我尝试使事情变得复杂一些，就会收到很多奇怪的错误（比如不能被腌制的方法等等）。那么，我应该什么时候使用threading和multiprocessing模块呢？你能把我和一些资源联系起来解释这两个模块背后的概念，以及如何正确使用它们来完成复杂的任务吗？

如何在Python中进行并行编程: 对于C ++，我们可以使用OpenMP来进行并行编程，但是，OpenMP将不能用于Python，如果我想平行Python程序的某些部分，该怎么办？代码的结构可以被认为是： solve1(A) solve2(B) solve1和solve2是两个独立的函数。如何并行而不是按顺序运行这种代码，以减less运行时间？希望有人能帮助我。非常感谢。代码是： def solve(Q,G,n): i = 0 tol = 10**-4 while i < 1000: inneropt,partition,x = setinner(Q,G,n) outeropt = setouter(Q,G,n) if (outeropt – inneropt)/(1 + abs(outeropt) + abs(inneropt)) < tol: break node1 = partition[0] node2 = partition[1] G = updateGraph(G,node1,node2) if i == 999: print "Maximum iteration […]

OpenMP程序比顺序程序慢: 当我尝试下面的代码 double start = omp_get_wtime(); long i; #pragma omp parallel for for (i = 0; i <= 1000000000; i++) { double x = rand(); } double end = omp_get_wtime(); printf("%f\n", end – start); 执行时间大约是168秒，而顺序版本只花费20秒。我仍然是并行编程的新手。我怎么能得到一个更快的顺序版本？

用OpenMP进行Cholesky分解: 我有一个项目，我们可以用Cholesky分解来求解大的（超过3000×3000）正定密集matrix的逆。该项目是在Java中，我们使用的是使用CERN 马驹BLAS库。分析代码表明Cholesky分解是瓶颈。我决定尝试使用OpenMP并行化Cholesky分解，并将其用作Java中的DLL（使用JNA）。我从Rosetta Code的 C中的Cholesky分解代码开始。我注意到，除了对angular元素之外，列中的值是独立的。所以我决定并行计算串行对angular元素和列的其余值。我也交换了循环的顺序，以便内部循环遍历行和遍历列的外部循环。串行版本比RosettaCode稍慢，但并行版本比我的4核（8 HT）系统上的RosettaCode版本快6倍。在Java中使用DLL可以将我们的结果提高六倍。这里是代码： double *cholesky(double *A, int n) { double *L = (double*)calloc(n * n, sizeof(double)); if (L == NULL) exit(EXIT_FAILURE); for (int j = 0; j <n; j++) { double s = 0; for (int k = 0; k < […]

Parallel.ForEach是否限制活动线程的数量？: 鉴于此代码： var arrayStrings = new string[1000]; Parallel.ForEach<string>(arrayStrings, someString => { DoSomething(someString); }); 将所有1000线程几乎同时产卵？

多处理中的共享内存对象: 假设我有一个大内存numpy数组，我有一个函数func ，在这个巨大的数组作为input（连同一些其他参数）。具有不同参数的func可以并行运行。例如： def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results = [pool.apply_async(func, [arr, param]) for param in all_params] output = [res.get() for res in results] 如果我使用多处理库，那么这个巨型数组将被多次复制到不同的进程中。有没有办法让不同的进程共享相同的数组？这个数组对象是只读的，不会被修改。更复杂的是，如果arr不是一个数组，而是一个任意的python对象，有没有办法共享呢？ [EDITED] 我读了答案，但我仍然有点困惑。由于fork（）是copy-on-write，因此在python多处理库中产生新进程时，不应该调用任何额外的开销。但是下面的代码表明有一个巨大的开销： from multiprocessing import Pool, Manager import numpy as np; […]

在.NET 4.0中没有ConcurrentList <T>？: 我很高兴在.NET 4.0中看到新的System.Collections.Concurrent命名空间，相当不错！我见过ConcurrentDictionary ， ConcurrentQueue ， ConcurrentStack ， ConcurrentBag和BlockingCollection 。似乎神秘缺失的一件事是ConcurrentList<T> 。我必须自己写（或从网上下载:)）？我在这里错过了很明显的东西吗