正则表达式是一组由字母和符号组成的特殊文本, 它可以用来从文本中找出满足你想要的格式的句子.
一个正则表达式是在一个主体字符串中从左到右匹配字符串时的一种样式. 例如"Regular expression"是一个完整的句子, 但我们常使用缩写的术语"regex"或"regexp". 正则表达式可以用来替换文本中的字符串,验证形式,提取字符串等等.
想象你正在写一个应用, 然后你想设定一个用户命名的规则, 让用户名包含字符,数字,下划线和连字符,以及限制字符的个数,好让名字看起来没那么丑. 我们使用以下正则表达式来验证一个用户名:
以上的正则表达式可以接受 john_doe, jo-hn_doe, john12_as.
但不匹配Jo, 因为它包含了大写的字母而且太短了.
- [贪婪匹配与非贪婪匹配]
- [NFA 与 DFA]
- [回溯]
- [正则优化]
正则表达式其实就是在执行搜索时的格式, 它由一些字母和数字组合而成.
例如: 一个正则表达式 the, 它表示一个规则: 由字母t开始,接着是h,再接着是e.
"the" => The fat cat sat on the mat.
正则表达式123匹配字符串123. 它逐个字符的与输入的正则表达式做比较.
正则表达式是大小写敏感的, 所以The不会匹配the.
"The" => The fat cat sat on the mat.
正则表达式主要依赖于元字符.
元字符不代表他们本身的字面意思, 他们都有特殊的含义. 一些元字符写在方括号中的时候有一些特殊的意思. 以下是一些元字符的介绍:
| 元字符 | 描述 |
|---|---|
| . | 句号匹配任意单个字符除了换行符. |
| [ ] | 字符种类. 匹配方括号内的任意字符. |
| [^ ] | 否定的字符种类. 匹配除了方括号里的任意字符 |
| * | 匹配>=0个重复的在*号之前的字符. |
| + | 匹配>1个重复的+号前的字符. |
| ? | 标记?之前的字符为可选. |
| {n,m} | 匹配num个中括号之前的字符 (n <= num <= m). |
| (xyz) | 字符集, 匹配与 xyz 完全相等的字符串. |
| | | 或运算符,匹配符号前或后的字符. |
| \ | 转义字符,用于匹配一些保留的字符 [ ] ( ) { } . * + ? ^ $ \ | |
| ^ | 从开始行开始匹配. |
| $ | 从末端开始匹配. |
.是元字符中最简单的例子.
.匹配任意单个字符, 但不匹配换行符.
例如, 表达式.ar匹配一个任意字符后面跟着是a和r的字符串.
".ar" => The car parked in the garage.
字符集也叫做字符类.
方括号用来指定一个字符集.
在方括号中使用连字符来指定字符集的范围.
在方括号中的字符集不关心顺序.
例如, 表达式[Tt]he 匹配 the 和 The.
"[Tt]he" => The car parked in the garage.
方括号的句号就表示句号.
表达式 ar[.] 匹配 ar.字符串
"ar[.]" => A garage is a good place to park a car.
一般来说 ^ 表示一个字符串的开头, 但它用在一个方括号的开头的时候, 它表示这个字符集是否定的.
例如, 表达式[^c]ar 匹配一个后面跟着ar的除了c的任意字符.
"[^c]ar" => The car parked in the garage.
后面跟着元字符 +, * or ? 的, 用来指定匹配子模式的次数.
这些元字符在不同的情况下有着不同的意思.
- 常用量词对应的区间
| 常用量词 | {n,m}等价形式 | 说明 |
|---|---|---|
| * | {0,} | 可能出现，也可能不出现，出现次数没有上限 |
| + | {1,} | 至少出现次数为1，出现次数没有上线 |
| ? | {0,1} | 最多出现1次，有可能不出现（出现0次或1次） |
*号匹配 在*之前的字符出现大于等于0次.
例如, 表达式 a* 匹配以0或更多个a开头的字符, 因为有0个这个条件, 其实也就匹配了所有的字符. 表达式[a-z]* 匹配一个行中所有以小写字母开头的字符串.
"[a-z]*" => The car parked in the garage #21.
*字符和.字符搭配可以匹配所有的字符.*.
*和表示匹配空格的符号\s连起来用, 如表达式\s*cat\s*匹配0或更多个空格开头和0或更多个空格结尾的cat字符串.
"\s*cat\s*" => The fat cat sat on the concatenation.
+号匹配+号之前的字符出现 >=1 次个字符.
例如表达式c.+t 匹配以首字母c开头以t结尾,中间跟着任意个字符的字符串.
"c.+t" => The fat cat sat on the mat.
在正则表达式中元字符 ? 标记在符号前面的字符为可选, 即出现 0 或 1 次.
例如, 表达式 [T]?he 匹配字符串 he 和 The.
"[T]he" => The car is parked in the garage.
"[T]?he" => The car is parked in the garage.
在正则表达式中 {} 是一个量词, 常用来一个或一组字符可以重复出现的次数.
例如, 表达式 [0-9]{2,3} 匹配 23 位 09 的数字.
"[0-9]{2,3}" => The number was 9.9997 but we rounded it off to 10.0.
我们可以省略第二个参数.
例如, [0-9]{2,} 匹配至少两位 0~9 的数字.
如果逗号也省略掉则表示重复固定的次数.
例如, [0-9]{3} 匹配3位数字
"[0-9]{2,}" => The number was 9.9997 but we rounded it off to 10.0.
"[0-9]{3}" => The number was 9.9997 but we rounded it off to 10.0.
特征标群是一组写在 (...) 中的子模式. 例如之前说的 {} 是用来表示前面一个字符出现指定次数. 但如果在 {} 前加入特征标群则表示整个标群内的字符重复 N 次. 例如, 表达式 (ab)* 匹配连续出现 0 或更多个 ab.
我们还可以在 () 中用或字符 | 表示或. 例如, (c|g|p)ar 匹配 car 或 gar 或 par.
"(c|g|p)ar" => The car is parked in the garage.
或运算符就表示或, 用作判断条件.
例如 (T|t)he|car 匹配 (T|t)he 或 car.
"(T|t)he|car" => The car is parked in the garage.
反斜线 \ 在表达式中用于转码紧跟其后的字符. 用于指定 { } [ ] / \ + * . $ ^ | ? 这些特殊字符. 如果想要匹配这些特殊字符则要在其前面加上反斜线 \.
例如 . 是用来匹配除换行符外的所有字符的. 如果想要匹配句子中的 . 则要写成 \..
"(f|c|m)at\.?" => The fat cat sat on the mat.
在正则表达式中, 想要匹配指定开头或结尾的字符串就要使用到锚点. ^ 指定开头, $ 指定结尾.
- 锚点
锚点分为简单锚点和复杂锚点
- 简单锚点
^ $ \b ... - 复杂锚点 顺序环视,逆序环视...
^ 用来检查匹配的字符串是否在所匹配字符串的开头.
例如, 在 abc 中使用表达式 ^a 会得到结果 a. 但如果使用 ^b 将匹配不到任何结果. 应为在字符串 abc 中并不是以 b 开头.
例如, ^(T|t)he 匹配以 The 或 the 开头的字符串.
"(T|t)he" => The car is parked in the garage.
"^(T|t)he" => The car is parked in the garage.
同理于 ^ 号, $ 号用来匹配字符是否是最后一个.
例如, (at\.)$ 匹配以 at. 结尾的字符串.
"(at\.)" => The fat cat. sat. on the mat.
"(at\.)$" => The fat cat. sat. on the mat.
正则表达式提供一些常用的字符集简写. 如下:
| 简写 | 描述 |
|---|---|
| . | 除换行符外的所有字符 |
| \w | 匹配所有字母数字, 等同于 [a-zA-Z0-9_] |
| \W | 匹配所有非字母数字, 即符号, 等同于: [^\w] |
| \d | 匹配数字: [0-9] |
| \D | 匹配非数字: [^\d] |
| \s | 匹配所有空格字符, 等同于: [\t\n\f\r\p{Z}] |
| \S | 匹配所有非空格字符: [^\s] |
顺序环视和逆序环视都属于非捕获簇(用于匹配不在匹配列表中的格式). 顺序环视用于判断所匹配的格式是否在另一个确定的格式之后.
例如, 我们想要获得所有跟在 $ 符号后的数字, 我们可以使用肯定逆序环视(?<=\$)[0-9\.]*.
这个表达式匹配 $ 开头, 之后跟着 0,1,2,3,4,5,6,7,8,9,. 这些字符可以出现大于等于 0 次.
环视如下:
| 符号 | 描述 |
|---|---|
| ?= | 肯定顺序环视 |
| ?! | 否定顺序环视 |
| ?<= | 肯定逆序环视 |
| ?<! | 否定逆序环视 |
?=... 肯定顺序环视, 表示从?=...定义的规则开始位置匹配表达式.
返回结果只满足第一部分表达式.
定义一个顺序环视(存在)要使用 (). 在括号内部使用一个问号和等号: (?=...).
顺序环视的内容写在括号中的等号后面.
例如, 表达式 [T|t]he(?=\sfat) 匹配 The 和 the, 在括号中我们又定义了肯定顺序环视 (?=\sfat) ,即 The 和 the 后面紧跟着 (空格)fat.
"[T|t]he(?=\sfat)" => The fat cat sat on the mat.
否定顺序环视 ?! 用于筛选所有匹配结果, 即不从?!...定义的规则开始位置匹配表达式.
否定顺序环视 定义和 肯定顺序环视 一样, 区别就是 = 替换成 ! 也就是 (?!...).
表达式 [T|t]he(?!\sfat) 匹配 The 和 the, 且其后不跟着 (空格)fat.
"[T|t]he(?!\sfat)" => The fat cat sat on the mat.
肯定逆序环视 记作(?<=...) 用于筛选所有匹配结果, 表示从?<= ...定义的规则末端位置匹配表达式.
例如, 表达式 (?<=[T|t]he\s)(fat|mat) 匹配 fat 和 mat, 且其前跟着 The 或 the.
"(?<=[T|t]he\s)(fat|mat)" => The fat cat sat on the mat.
否定逆序环视 记作 (?<!...) 用于筛选所有匹配结果, 即不从?<= ...定义的规则末端位置匹配表达式.
例如, 表达式 (?<!(T|t)he\s)(cat) 匹配 cat, 且其前不跟着 The 或 the.
"(?<![T|t]he\s)(cat)" => The cat sat on cat.
标志也叫修饰语, 因为它可以用来修改表达式的搜索结果. 这些标志可以任意的组合使用, 它也是整个正则表达式的一部分.
| 标志 | 描述 |
|---|---|
| i | 忽略大小写. |
| g | 全局搜索. |
| m | 多行的: 锚点元字符 ^ $ 工作范围在每行的起始. |
修饰语 i 用于忽略大小写.
例如, 表达式 /The/gi 表示在全局搜索 The, 在后面的 i 将其条件修改为忽略大小写, 则变成搜索 the 和 The, g 表示全局搜索.
"The" => The fat cat sat on the mat.
"/The/gi" => The fat cat sat on the mat.
修饰符 g 常用语执行一个全局搜索匹配, 即(不仅仅返回第一个匹配的, 而是返回全部).
例如, 表达式 /.(at)/g 表示搜索 任意字符(除了换行) + at, 并返回全部结果.
"/.(at)/" => The fat cat sat on the mat.
"/.(at)/g" => The fat cat sat on the mat.
多行修饰符 m 常用语执行一个多行匹配.
像之前介绍的 (^,$) 用于检查格式是否是在待检测字符串的开头或结尾. 但我们如果想要它在每行的开头和结尾生效, 我们需要用到多行修饰符 m.
例如, 表达式 /at(.)?$/gm 表示在待检测字符串每行的末尾搜索 at后跟一个或多个 . 的字符串, 并返回全部结果.
"/.at(.)?$/" => The fat
cat sat
on the mat.
"/.at(.)?$/gm" => The fat cat sat on the mat.
- 标准匹配量词(?,*,+,{min,max})都是匹配优先
- 简单来说,匹配优先会匹配最长的结果,忽略优先会匹配最短的结果
校验用户名,允许字母,数字,下划线,长度三位以上,必须同时包含大小写和数字.
不包含0开头的数字
一个字符组,即使是排除型字符组,也需要匹配一个字符
总结一句话在你不知道自己在干什么的情况下,用search就对了
通过match或者search方法返回的结果都是一个Match 对象。下面就几个常用方法做一下说明
-
group() 相当于group(0) 返回整个匹配的结果,也就是整个正则匹配的结果
-
group(n) 返回匹配的第n个结果
>>> m = re.match(r"(\w+) (\w+)", "Isaac Newton, physicist")
>>> m.group(0) # The entire match,就是group()
'Isaac Newton'
>>> m.group(1) # The first parenthesized subgroup.
'Isaac'
>>> m.group(2) # The second parenthesized subgroup.
'Newton'
>>> m.group(1, 2) # Multiple arguments give us a tuple.
('Isaac', 'Newton')- groups() 返回一个元组，元组包含所有的group
>>> m = re.match(r"(\d+)\.(\d+)", "24.1632")
>>> m.groups()
('24', '1632')search 和 match只能匹配出字符串中第一个符合正则的子串。如果有多个子串符合正则，就需要使用re.findall 或者re.finditer.findall直接返回一个list,每个element是一个元组，元组包含匹配到的group。
result = re.finditer(r'singer=\"(.*?)\">([\u4e00-\u9fa5]+)', html, re.S)
for match in result:
print(match.groups())finditer 返回一个match对象的生成器。
re.compile用来编译一个正则表达式，生成一个正则表达式对象（Pattern）.方便重复使用，提高效率
prog = re.compile(pattern)
result = prog.match(string)和下面这个功能上完全相等
result = re.match(pattern, string)推荐书籍:<<精通正则表达式>>
推荐工具:
- 正整数:
^\d+$ - 负整数:
^-\d+$ - 手机国家号:
^+?[\d\s]{3,}$ - 手机号:
^+?[\d\s]+(?[\d\s]{10,}$ - 整数:
^-?\d+$ - 用户名:
^[\w\d_.]{4,16}$ - 数字和英文字母:
^[a-zA-Z0-9]*$ - 数字和应为字母和空格:
^[a-zA-Z0-9 ]*$ - 密码:
^(?=^.{6,}$)((?=.*[A-Za-z0-9])(?=.*[A-Z])(?=.*[a-z]))^.*$ - 邮箱:
^([a-zA-Z0-9._%-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,4})*$ - IP4 地址:
^((?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?))*$ - 纯小写字母:
^([a-z])*$ - 纯大写字母:
^([A-Z])*$ - URL:
^(((http|https|ftp):\/\/)?([[a-zA-Z0-9]\-\.])+(\.)([[a-zA-Z0-9]]){2,4}([[a-zA-Z0-9]\/+=%&_\.~?\-]*))*$ - VISA 信用卡号:
^(4[0-9]{12}(?:[0-9]{3})?)*$ - 日期 (MM/DD/YYYY):
^(0?[1-9]|1[012])[- /.](0?[1-9]|[12][0-9]|3[01])[- /.](19|20)?[0-9]{2}$ - 日期 (YYYY/MM/DD):
^(19|20)?[0-9]{2}[- /.](0?[1-9]|1[012])[- /.](0?[1-9]|[12][0-9]|3[01])$ - MasterCard 信用卡号:
^(5[1-5][0-9]{14})*$ - 一组匹配中国大陆手机号码的正则表达式