Python无头浏览器（需要JavaScript支持！）

我需要一个非常容易使用的无头浏览器（我对Python和一般编程还是比较新的），这将允许我导航到一个页面，login到一个需要Javascript的表单，然后通过search符合特定条件的结果，单击checkbox，然后单击以下载文件。 所有这些都需要Javascript。

我听到一个无头浏览器是我想要的 – 需求/喜好是我可以从Python运行它，最好是由py2exe（我正在为其他用户编写这个程序）编译生成的脚本。

到目前为止风车看起来可能是我想要的，但我不确定。

任何想法赞赏！

Answer 1

我使用webkit作为Python中的无头浏览器，通过pyqt / pyside：
http://www.riverbankcomputing.co.uk/software/pyqt/download
http://developer.qt.nokia.com/wiki/Category:LanguageBindings::PySide::Downloads

我特别喜欢webkit，因为它很容易设置。 对于Ubuntu，您只需使用： sudo apt-get install python-qt4

这是一个示例脚本：
http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/

Answer 2

这个问题的答案是Spynner

Answer 3

我正在为Zombie.js写一个Python驱动程序，这是一个在模拟环境中testing客户端JavaScript代码的轻量级框架。

目前，我正在解决Node.js中的一个错误（在我编写更多的testing和更多的代码之前），但是随时随地关注我的项目：

https://github.com/ryanpetrello/python-zombie

Answer 4

目前还没有太多的无头浏览器支持Javascript。

你可以试试Zombie.js或Phantomjs 。 那些不是Python，而是简单的Javascript和那些真的可以做的工作。

Answer 5

尝试使用phantomjs，它有很好的javascript支持。 然后你可以把它作为一个python脚本的subprocess运行

http://docs.python.org/library/subprocess.html

那可能会把它当成老板

Answer 6

您可以将HTQL与IRobotSoft webscraper结合使用。 检查这里的例子： http : //htql.net/