在Apache Spark中为具有大量列的数据集创build一个mlpipe道的最佳方法

我正在使用Spark 2.1.1来处理具有〜2000特性的数据集,并试图创build一个基本的MLpipe道,由一些变形金刚和一个分类器组成。 我们假设为了简单起见,我正在使用的pipe道包含一个VectorAssembler,StringIndexer和一个Classifier,这将是一个相当常见的用例。 // Pipeline elements val assmbleFeatures: VectorAssembler = new VectorAssembler() .setInputCols(featureColumns) .setOutputCol("featuresRaw") val labelIndexer: StringIndexer = new StringIndexer() .setInputCol("TARGET") .setOutputCol("indexedLabel") // Train a RandomForest model. val rf: RandomForestClassifier = new RandomForestClassifier() .setLabelCol("indexedLabel") .setFeaturesCol("featuresRaw") .setMaxBins(30) // add the params, unique to this classifier val paramGrid = new ParamGridBuilder() .addGrid(rf.numTrees, Array(5)) .addGrid(rf.maxDepth, Array(5)) .build() // […]

检测状态栏可见性/ TYPE_SYSTEM_OVERLAY不会自动resize

我使用众所周知的TYPE_SYSTEM_OVERLAY方法来创build一个总是在其他视图之上的全屏叠加。 在Moto Atrix2 API15和API 10到17的每个AVD ,当状态栏被另一个应用程序隐藏时,叠加视图会自动resize(垂直扩展)。 我认为,叠加层似乎“保持在所有其他视图的顶部”。 当状态栏再次出现时,叠加层再次自动缩小其大小(垂直像素减less,基本上减去状态栏的高度)。 这是所需的行为,我倾向于认为这不是例外或有缺陷的行为,因为它在许多不同的仿真器以及至less一个设备制造商( 摩托罗拉 ),也许更多,但我没有访问addtl devices. 问题:在Samsung GS2 (API15)也testing过Kindle Fire (API10?) ,当状态栏被另一个应用程序隐藏时,覆盖图不会自动resize(填满状态栏的空间)全屏幕的应用程序)。 在这些设备上,第一次创build视图后,我没有从视图的onSizeChanged覆盖中获得更多的事件。 以下是相关的代码: params = new WindowManager.LayoutParams( 1, WindowManager.LayoutParams.MATCH_PARENT, WindowManager.LayoutParams.TYPE_SYSTEM_OVERLAY, WindowManager.LayoutParams.FLAG_NOT_FOCUSABLE |WindowManager.LayoutParams.FLAG_NOT_TOUCH_MODAL, PixelFormat.TRANSPARENT); wm.addView(sizeLayout, params); sizeLayout具有onSizeChanged覆盖。 我已经玩过了我能find的所有layoutparam ,包括SYSTEM_ALERT,FLAG_LAYOUT_IN_SCREEN等。我不会睡觉,直到我能弄清楚为止! 编辑11/30/12 :我发现这从@deviant: https ://stackoverflow.com/a/9195733/1851478这基本上是我在做什么,但是问题仍然存在于某些设备不自动调整system_overlay。 也许我应该提出一个错误。 更多信息:如果我强制重绘(甚至只是加载覆盖应用程序),而在视图树顶部有一个全屏幕的应用程序,我的覆盖仍然不会绘制状态栏通常占用的空间(即使在绘制的时候状态栏是不可见的),所以看起来好像叠加层并不是在全屏幕的最前面的窗口之上“叠加”(我已经创build并testing了许多全屏应用程序各种各样的方法,使他们全屏幕)。 在这些设备上,只有使用标志FLAG_LAYOUT_IN_SCREEN才能使覆盖图绘制状态栏(即使状态栏不在视图中),但布局的大小始终不变,始终为全屏,从而回到原来的问题,为什么这在一些设备上,而不是其他人。 编辑12年12月12日 :所以我没有任何进一步的运气,对此,我曾尝试使用getLocalVisibleRect的意见,但不幸的是,因为我的应用程序不拥有SystemUI的意见,它不能检测到下面的重叠。 我想用自定义ROM我可以做到这一点,但我需要一个没有根的解决scheme。 我确实看到市场上的其他应用程序在检测上面列出的非工作电话上的状态栏时遇到同样的问题。 例如:酷工具,欧米茄状态栏和状态栏+。 赏金提出。 编辑12/19/12添加的图片。 请注意,在工作设备的灰色地带也“覆盖”黑色区域(任何应用程序,当前全屏),黑色区域实际上覆盖整个屏幕,我只是显示灰色地带作为我的覆盖,即使它也全屏(减去或加上状态栏的高度,取决于工作/非工作设备以及是否在视图中)。

Chrome版本32下拉淡入/淡出

由于谷歌浏览器版本32,所有的默认下拉菜单现在淡入淡出。 有没有一个选项来禁用这种行为? 在我所有网站的浏览器中 对于我的网站(可能与CSS)为其他Chrome v32用户 编辑: jsFiddle的例子 <select><option value="A">jsFiddle Placeholder</select> 编辑2:好像还有另一个错误。 当打开一个下拉菜单并select最后一个项目时,它不会突出显示,虽然点击它select它。

Gradle排除依赖关系中的特定文件

我想知道是否有排除特定的文件,这是在一个依赖(而不是传递依赖),被下载。 我正在从Ant + Ivy切换到Gradle,而这一切都是在Ivy之前完成的。 我问,因为我有一个单独的依赖关系,其中包含Artifactory中的许多已编译的wsdl jar,但我不想下载依赖关系中的所有jar。 在常春藤它被设置为: 这6个工件被发布到Artifactory中的目录repo / dep.location / example / 7.3 / jar。 <publications> <artifact name="foo-1-0" type="jar" /> <artifact name="foo-1-0-async" type="jar" /> <artifact name="foo-1-0-xml" type="jar" /> <artifact name="bar-1-0" type="jar" /> <artifact name="bar-1-0-async" type="jar" /> <artifact name="bar-1-0-xml" type="jar" /> </publications> 这是我如何检索六个文物中的两个。 <dependency org="dep.location" name="example" rev="7.3" conf="compile,runtime"> <include name="foo-1-0-async"/> <include name="foo-1-0-xml"/> </dependency> 目前,如果我尝试在Gradle中执行类似的操作,则会忽略排除项,并且下载所有六个工件。 compile […]

如何正确渲染部分视图,并使用Express / Jade在AJAX中加载JavaScript文件?

概要 我正在为我的Web应用程序使用Express + Jade,并且正在努力为我的AJAX导航渲染部分视图。 我有两个不同的问题,但他们是完全相关的,所以我把他们包括在同一个职位。 我想这将是一个很长的post,但我保证这是有趣的,如果你已经在同样的问题挣扎。 如果有人花时间阅读和提出解决scheme,我将非常感激。 TL; DR:2个问题 使用Express + Jade为AJAX导航呈现视图片段的最干净 , 最快捷的方式是什么? 应该如何加载相对于每个视图的JavaScript文件? 要求 我的Web应用程序需要与已禁用的用户兼容 JavaScript的 如果启用了JavaScript,则只有页面自己的内容(而不是整个布局)应该从服务器发送到客户端 该应用程序需要快速,并加载尽可能less的字节 问题1:我试过了 解决scheme1:针对AJAX和非AJAX请求拥有不同的文件 我的layout.jade是: doctype html html(lang="fr") head // Shared CSS files go here link(type="text/css",rel="stylesheet",href="css/bootstrap.min.css") body div#main_content block content // Shared JS files go here script(src="js/jquery.min.js") 我的page_full.jade是: extends layout.jade block content h1 Hey Welcome ! 我的page_ajax是: […]

免费的monad是否永远存在?

我们从类别理论中知道,并非Set中的所有pipe理者都承认自由单子。 规范的反例是powerset函子。 但是Haskell可以把任何函子变成一个免费的monad。 data Free fa = Pure a | Free (f (Free fa)) instance Functor f => Monad (Free f) where return = Pure Pure a >>= f = fa Free m >>= f = Free ((>>= f) <$> m) 是什么让这个构造对于任何Haskell函数起作用,但在Set中出现问题 ?

更快的RCNN TensorFlow

有没有人实施TensorFlow版本的FRCNN? 我发现一些相关的回购如下: 实现roi pool层 基于py-faster-rcnn回购实现快速RCNN 但是1:假设roi pooling的工作原理(我还没有尝试过),还有一些需要实现的东西如下: ROI数据层,例如roidb 。 线性回归例如SmoothL1Loss 投资回报池层次后端处理,用于端到端培训,将ROI池层结果转换为CNN分类器。 对于2:em ….似乎基于py-faster-rcnn,它基于Caffe准备预处理(例如roidb)并将数据馈入Tensorflow以训练模型,这似乎很奇怪,所以我可能不会尝试它。 那么我想知道的是, 未来Tensorflow会支持更快的RCNN吗? 如果没有,我是否有上述的误解? 或有任何回购或某人的支持?

在现有代码中为常量创build静态导入的简单方法?

如果我在Foo中有一个常量BAR,我将在C类中使用它,所以我必须写 Object o = Foo.BAR + "…"; 我可以在Eclipse中使用Ctrl-Shift-M(使用BAR上的光标)创build一个像下面这样的静态导入: import static Foo.BAR; Object o = BAR + "…."; 我目前正在更新遗留代码与文学成千上万的这些我想转换为静态导入。 Ctrl-Shift-O /组织导入不会这样做。 有没有我错过的一个技巧? 编辑:其实,我更喜欢的是一种方法来告诉Eclipse,我希望有Ctrl-Shift-M在这个特定的类中的所有实例上做它的魔术,而不是我有光标放置在单个实例。 (这是遗传代码,所以这实际上提高了可读性:)) 编辑:我发现,IntelliJbuild议这样做。

示例网站与安全证书破碎

我想知道是否有人知道一个演示网站,显示HTTPSconfiguration不当或破碎的不同情况。 还是有人知道在野外的一个网站故意显示各种破损/错误configuration的HTTPS情况? …如果没有,那么如何使用search引擎来追踪这些想法呢? 我正在寻找展现破碎https行为的网站,例如: 自签名证书 凭证无效的子域名 过期的证书 带有安全和不安全内容的页面 等等… 我正在寻找HTTPS可能被错误configuration的各种方法的完整清单,理想情况下,我可以使用一些实际的例子来磨练一个抓取页面的工具,并告诉你它是否会产生任何浏览器安全错误。 (据我所知,没有这样的工具,没有人操作浏览器,任何人都知道吗?)

定制JavaScript可视化工具包Spacetree节点

我看到很多人推荐使用JavaScript可视化工具包(The JIT)作为组织结构图。 我正在尝试使用JavaScript的InfoVis Toolkit的SpaceTree for组织结构图。 我的组织结构图中的节点本身就像一个组成部分,有员工个人资料图片,两个不同的图标,显示在点击覆盖和约3行简单的文本有名称,标题和报告数量…每行是分开的由一条轻的水平线。 就像是: 我的问题是,是否有可能自定义这样的spacetree节点? 我可以让Node几乎像另一个具有自己渲染方法的“组件”或JavaScript对象吗? 我研究论坛和我考虑的一些选项是: $ jit.ST.NodeTypes.implement()…但基于我看到的例子,这似乎在帮助定制节点的形状等方面,但不像上面绘制的布局。 我指的是自定义类似于: http : //groups.google.com/group/javascript-information-visualization-toolkit/browse_thread/thread/a4a059cbeb10ba23/ebf472366cdbbdef?lnk=gst&q=spacetree+nodetype#ebf472366cdbbdef 我尝试在example5.js中的onCreateLabel方法中设置innerHtml:但是它似乎什么都不做。 虽然,我不确定这是否会成为节点定制的好方法。 示例5在JIT网站(我不允许发布多个超链接) 扩展Graph.Node …我仍然看着这个选项,这个时间点,我不知道如何使空间树使用Graph.myNode是多么复杂,Graph.myNode甚至会是什么样子? 我需要更多地思考这些问题,看看是否可行。