使用Python从一个string中提取URL的最简洁的方法是什么？
虽然我知道我可以使用一些巨大的正则expression式，如发布在这里，我想知道是否有一些微调作为地狱的方式来做到这一点与标准模块或可能是一些第三方附加？
简单的问题，但没有跳出Google（或Stackoverflow）。
期待看到你们如何做到这一点！
使用正则expression式。
回复来自OP的评论：我知道这是没有帮助的。 我正在告诉你正确的方法来解决这个问题，正如你所说的那样使用一个正则expression式。
看看Django的方法： django.utils.urlize() 。 正则expression式对于工作来说太有限了，你必须使用启发式来获得大多数正确的结果。
有13个不同的正则expression式方法的优秀比较
…可以在这个页面find： 在寻找完美的URLvalidation正则expression式 。
经过所有testing的Diego Perini正则expression式很长，但在这里他的要点是可用的。
请注意，你将不得不把他的PHP版本转换为Python正则expression式（有细微的差异）。
我最终使用了通过绝大多数testing的Imme Emosol版本，只是Diego Perini's的一小部分。
这里是一个Python兼容版本的Imme Emosol正则expression式：
r'^(?:(?:https?|ftp)://)(?:\S+(?::\S*)?@)?(?:(?:[1-9]\d?|1\d\d|2[01]\d|22[0-3])(?:\.(?:1?\d{1,2}|2[0-4]\d|25[0-5])){2}(?:\.(?:[1-9]\d?|1\d\d|2[0-4]\d|25[0-4]))|(?:(?:[az\u00a1-\uffff0-9]+-?)*[az\u00a1-\uffff0-9]+)(?:\.(?:[az\u00a1-\uffff0-9]+-?)*[az\u00a1-\uffff0-9]+)*(?:\.(?:[az\u00a1-\uffff]{2,})))(?::\d{2,5})?(?:/[^\s]*)?$'
我知道这正是你不想要的，但这是一个巨大的正则expression式的文件：
#!/usr/bin/python # -*- coding: utf-8 -*- """ the web url matching regex used by markdown http://daringfireball.net/2010/07/improved_regex_for_matching_urls https://gist.github.com/gruber/8891611 """ URL_REGEX = r"""(?i)\b((?:https?:(?:/{1,3}|[a-z0-9%])|[a-z0-9.\-]+[.](?:com|net|org|edu|gov|mil|aero|asia|biz|cat|coop|info|int|jobs|mobi|museum|name|post|pro|tel|travel|xxx|ac|ad|ae|af|ag|ai|al|am|an|ao|aq|ar|as|at|au|aw|ax|az|ba|bb|bd|be|bf|bg|bh|bi|bj|bm|bn|bo|br|bs|bt|bv|bw|by|bz|ca|cc|cd|cf|cg|ch|ci|ck|cl|cm|cn|co|cr|cs|cu|cv|cx|cy|cz|dd|de|dj|dk|dm|do|dz|ec|ee|eg|eh|er|es|et|eu|fi|fj|fk|fm|fo|fr|ga|gb|gd|ge|gf|gg|gh|gi|gl|gm|gn|gp|gq|gr|gs|gt|gu|gw|gy|hk|hm|hn|hr|ht|hu|id|ie|il|im|in|io|iq|ir|is|it|je|jm|jo|jp|ke|kg|kh|ki|km|kn|kp|kr|kw|ky|kz|la|lb|lc|li|lk|lr|ls|lt|lu|lv|ly|ma|mc|md|me|mg|mh|mk|ml|mm|mn|mo|mp|mq|mr|ms|mt|mu|mv|mw|mx|my|mz|na|nc|ne|nf|ng|ni|nl|no|np|nr|nu|nz|om|pa|pe|pf|pg|ph|pk|pl|pm|pn|pr|ps|pt|pw|py|qa|re|ro|rs|ru|rw|sa|sb|sc|sd|se|sg|sh|si|sj|Ja|sk|sl|sm|sn|so|sr|ss|st|su|sv|sx|sy|sz|tc|td|tf|tg|th|tj|tk|tl|tm|tn|to|tp|tr|tt|tv|tw|tz|ua|ug|uk|us|uy|uz|va|vc|ve|vg|vi|vn|vu|wf|ws|ye|yt|yu|za|zm|zw)/)(?:[^\s()<>{}\[\]]+|\([^\s()]*?\([^\s()]+\)[^\s()]*?\)|\([^\s]+?\))+(?:\([^\s()]*?\([^\s()]+\)[^\s()]*?\)|\([^\s]+?\)|[^\s`!()\[\]{};:'".,<>?«»“”''])|(?:(?<!@)[a-z0-9]+(?:[.\-][a-z0-9]+)*[.](?:com|net|org|edu|gov|mil|aero|asia|biz|cat|coop|info|int|jobs|mobi|museum|name|post|pro|tel|travel|xxx|ac|ad|ae|af|ag|ai|al|am|an|ao|aq|ar|as|at|au|aw|ax|az|ba|bb|bd|be|bf|bg|bh|bi|bj|bm|bn|bo|br|bs|bt|bv|bw|by|bz|ca|cc|cd|cf|cg|ch|ci|ck|cl|cm|cn|co|cr|cs|cu|cv|cx|cy|cz|dd|de|dj|dk|dm|do|dz|ec|ee|eg|eh|er|es|et|eu|fi|fj|fk|fm|fo|fr|ga|gb|gd|ge|gf|gg|gh|gi|gl|gm|gn|gp|gq|gr|gs|gt|gu|gw|gy|hk|hm|hn|hr|ht|hu|id|ie|il|im|in|io|iq|ir|is|it|je|jm|jo|jp|ke|kg|kh|ki|km|kn|kp|kr|kw|ky|kz|la|lb|lc|li|lk|lr|ls|lt|lu|lv|ly|ma|mc|md|me|mg|mh|mk|ml|mm|mn|mo|mp|mq|mr|ms|mt|mu|mv|mw|mx|my|mz|na|nc|ne|nf|ng|ni|nl|no|np|nr|nu|nz|om|pa|pe|pf|pg|ph|pk|pl|pm|pn|pr|ps|pt|pw|py|qa|re|ro|rs|ru|rw|sa|sb|sc|sd|se|sg|sh|si|sj|Ja|sk|sl|sm|sn|so|sr|ss|st|su|sv|sx|sy|sz|tc|td|tf|tg|th|tj|tk|tl|tm|tn|to|tp|tr|tt|tv|tw|tz|ua|ug|uk|us|uy|uz|va|vc|ve|vg|vi|vn|vu|wf|ws|ye|yt|yu|za|zm|zw)\b/?(?!@)))"""
我把这个文件urlmarker.py ，当我需要的时候，我只需要导入它，例如。
import urlmarker import re re.findall(urlmarker.URL_REGEX,'some text news.yahoo.com more text')
比照 http://daringfireball.net/2010/07/improved_regex_for_matching_urls
另外，下面是Django（1.6）用来validationURLField的东西：
regex = re.compile( r'^(?:http|ftp)s?://' # http:// or https:// r'(?:(?:[A-Z0-9](?:[A-Z0-9-]{0,61}[A-Z0-9])?\.)+(?:[AZ]{2,6}\.?|[A-Z0-9-]{2,}\.?)|' # domain... r'localhost|' # localhost... r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}|' # ...or ipv4 r'\[?[A-F0-9]*:[A-F0-9:]+\]?)' # ...or ipv6 r'(?::\d+)?' # optional port r'(?:/?|[/?]\S+)$', re.IGNORECASE)
比照 https://github.com/django/django/blob/1.6/django/core/validators.py#L43-50
Django 1.9的逻辑分为几个类
你可以使用这个库我写道：
https://github.com/imranghory/urlextractor
这是非常hacky，但它不像许多其他技术一样依赖“http：//”，而是使用Mozilla TLD列表（通过tldextract库）来searchTLD（即“.co.uk”，“。 com“等），然后尝试构buildTLD周围的URL。
它并不是为了符合RFC标准，而是为了在现实世界中如何使用URL。 因此，例如，它会拒绝技术上有效的域名“com”（实际上可以使用TLD作为域名;虽然在实践中很less见），并且会从URL中删除足迹或逗号。
你可以使用BeautifulSoup 。
def extractlinks(html): soup = BeautifulSoup(html) anchors = soup.findAll('a') links = [] for a in anchors: links.append(a['href']) return links
请注意，使用正则expression式的解决scheme速度更快，但不会那么准确。
如果你知道在string中有一个空格后面有一个URL，你可以这样做：
s是包含url的string
>>> t = s[s.find("http://"):] >>> t = t[:t.find(" ")]
否则你需要检查是否返回-1或不。
我迟到了，但是这里有一个来自freenode的#python的人向我build议的解决scheme。 它避免了正则expression式的麻烦。
from urlparse import urlparse def extract_urls(text): """Return a list of urls from a text string.""" out = [] for word in text.split(' '): thing = urlparse(word.strip()) if thing.scheme: out.append(word) return out
import re text = '<p>Please click <a href="http://www.dr-chuck.com">here</a></p>' aa=re.findall('href="(.+)"',text) print(aa)
还有一种方法可以轻松地从文本中提取URL。 您可以使用urlextract为您做，只需通过点安装它：
pip install urlextract
然后你可以像这样使用它：
from urlextract import URLExtract extractor = URLExtract() urls = extractor.find_urls("Let's have URL stackoverflow.com as an example.") print(urls) # prints: ['stackoverflow.com']
你可以在我的github页面上find更多的信息： https ： //github.com/lipoja/URLExtract
注意：它从iana.org下载TLD列表以保持最新状态。 但如果程序没有互联网接入，那么它不适合你。
这种方法与urlextractor（上面提到的）类似，但我的代码是最近的，维护，我打开任何build议（新function）。
