Регулярные выражения

Регулярные выражения

Метасимволы

"\", ".", "^", "$", "|", "[", "]", "(", ")", "*", "+", "?", "{", "}"

/^$/    — пустая строка (начало и конец, между которыми пусто);
/^Perl/ — слово Perl в начале строки;
/Perl$/ — слово Perl в конце строки.

r*     — нуль и более повторений r;
r+     — одно и более повторений r; 
r?     — нуль или одно повторение r; 
r{n}   — ровно n повторений r; 
r{n,}  — n и более повторений r;
r{n,m} — минимум n, максимум m повторений r.

/.*/       — любая строка;
/.+/       - любая непустая строка;
/[0-9]{3}/ — любая последовательность из трех цифр;
/\[+/      — последовательность, состоящая из любого числа символов [.

для образца /\d*/      — максимальный фрагмент "1234567";
для образца /\d+/      — максимальный фрагмент "1234567";
для образца/\d?/       — максимальный фрагмент "1";
для образца /\d{2,5}/  — максимальный фрагмент "12345";
для образца /\d*?/     — минимальный фрагмент "";
для образца /\d+?/     — минимальный фрагмент "1";
для образца /\d??/     — минимальный фрагмент "";
для образца /\d{2,5}?/ — минимальный фрагмент "12".

Метапоследовательности

• \nnn — представляет символ, восьмеричный код которого равен nnn. Например, последовательность \120\145\162\154 представляет слово Perl (\120 — восьмеричный код буквы Р, \145 — буквы е, \162 — буквы r, \154 — буквы l).
• \xnn — представляет символ, шестнадцатеричный код которого равен nn. Слово Perl, например, представляется последовательностью \x50\x65\x72\x6C.
• \cn — представляет управляющий символ, который генерируется при нажатии комбинации клавиш Ctrl+n, где n— символ, например \cD соответствует Ctrl+D.
• \$— символ $.
• \@ — символ @.
• \% - символ %
• \а — представляет символ с десятичным ASCII-кодом 7 (звонок). При выводе производит звуковой сигнал.
• \е — символ Esc, десятичный ASCII-код 27.
• \f — символ перевода страницы, десятичный ASCII-код 12.
• \n — символ новой строки, десятичный ASCII-код 10.
• \r — символ «возврат каретки», десятичный ASCII-код 13.
• \t - символ горизонтальной табуляции, десятичный ASCII-код 9.
• \v — символ вертикальной табуляции, десятичный ASCII-код 11.
• \s — представляет класс пробельных символов. К пробельным символам относятся пробел, символ табуляции, возврат каретки, символ новой строки и символ перевода страницы. То же самое, что и[ \t,\r,\n,\f].
• \S — представляет класс непробельных символов, то же самое, что и класс [^ \t, \r,\n,\f].
• \d — класс цифровых символов, тоже, что и [0-9].
• \D — класс нецифровых символов, то же, что и [^0-9].
• \w — представляет класс буквенно-цифровых символов, состоящий из букв, цифр и символа подчеркивания _. То же самое, что и [a-zA-Z_0-9]. Обратите внимание, что в этот класс входят только буквы английского алфавита.
• \W — представляет класс небуквенно-цифровых символов. То же самое, что и выражение [^a-zA-Z_0-9].
• \А — обозначает начало строки.
• \Z — обозначает конец строки.

ПРИМЕЧАНИЕ Последовательность \А эквивалентна метасимволу ^ в начале регулярного выражения, а последовательность \Z — метасимволу $ в конце регулярного выражения, за исключением одного случая. Назовем строку, содержащую внутри себя символы новой строки (ASCII 10), мультистрокой. Фактически мультистрока состоит из отдельных строк, разделенных ограничителями — символами новой строки. При выводе мультистрока отображается в виде нескольких строк. Если к мультистроке применяется операция поиска или замены с опцией /m, то последовательности \А и \Z обозначают соответственно начало и конец всей мультистроки, а метасимволам ^ и $ соответствуют еще и границы внутренних строк, образующих мультистроку.

• \b — обозначает границы слова. Под словом понимается последовательность символов из класса \w. Граница слова определяется как точка между символами из класса \w и символами из класса \W.
• \В — обозначает не-границы слова, то есть класс символов [^\b].
• \l — означает, что следующий символ регулярного выражения преобразуется в нижний регистр. Например, запись /\lP/ означает, что символ Р будет преобразован в нижний регистр, после чего новый образец /p/ может быть использован в соответствующей операции поиска или замены,
• \u — означает, что следующий символ регулярного выражения преобразуется в верхний регистр.
• \L...\Е — означает, что все символы в регулярном выражении между \L и \Е преобразуются в нижний регистр.
• \U...\Е —означает, что все символы в регулярном выражении между \U и \Е преобразуются в верхний регистр.
• \Q...\Е — означает, что все метасимволы в регулярном выражении между \Q и \Е экранируются при помощи символа \. Например, запись /\Q^*?+\Е/ эквивалентна записи /\^\*\?\+/.
• \G — обозначает точку, в которой закончился предыдущий поиск m//g (см. описание операции поиска m//).

Атомы

• Регулярное выражение в скобках, представляющее несколько элементов, сгруппированных в один элемент.
• Любой обычный символ (не метасимвол).
• Символ . , представляющий любой одиночный символ, кроме символа новой строки.
• Конструкция [...], представляющая класс символов, перечисленных в квадратных скобках.
• Метапоследовательность, представляющая символ или класс символов: \а, \n, \r, \t, \f, \e, \d, \D, \w, \W, \s, \S.
• Метапоследовательность вида \nnn, определяющая символ при помощи его восьмеричного ASCII-кода nnn.
• Метапоследовательность вида \xnn, определяющая символ при помощи его шестнадцатеричного ASCII-кода nn.
• Метапоследовательность вида \cn, представляющая управляющий символ Ctrl+n.
• Конструкция вида \number, представляющая обратную ссылку (см. следующий раздел).
• Любая конструкция вида \character, не имеющая специального значения, а представляющая собственно символ character, например: \*, \у, \h.
  Напомним, что в регулярном выражении множители *, +, ?, {n,m} применяются именно к атому, расположенному непосредственно слева.

  Обратные ссылки

  Ранее мы установили, что группу элементов регулярного выражения можно заключить в скобки и рассматривать как один элемент. Заключение группы элементов в скобки имеет дополнительный и весьма полезный эффект. Если в результате поиска будет найден фрагмент текста, соответствующий образцу, заключенному в скобки, то этот фрагмент будет сохранен в специальной переменной, и внутри регулярного выражения к нему можно будет обратиться, используя запись \number, где number— номер конструкции (...) в исходном регулярном выражении. Запись \number, указывающую на найденный по образцу фрагмент текста, будем называть обратной ссылкой. Можно задать любое количество конструкций вида (...) и ссылаться на соответствующие найденные фрагменты текста как на \1, \2 и т. д. Например, образцу /(.+)-\1/ соответствуют слова «ха-ха», «хи-хи», «ку-ку!> и т. п., а образцу /(.)(.).?\2\1/ соответствуют все палиндромы из четырех или пяти букв, (Палиндром — слово или предложение, которое одинаково читается слева направо и справа налево.)
  Внутри образца конструкция \n (n= 1,...,9) всегда обозначает обратную ссылку. Запись вида \nn также интерпретируется как обратная ссылка, но только в том случае, если в исходном выражении задано не менее, чем nn скобочных конструкций вида (...). Иначе запись \nn обозначает символ с восьмеричным кодом nn.
  Для ссылки на найденный фрагмент текста за пределами регулярного выражения, например, при задании замещающего текста в операции замены, вместо записи \number используется запись $number. Например, операция замены

  $str =~ s/(\S+)\s+(\S+)/$2 $1/
  

  меняет местами первые два слова в строке $str.
  Область действия переменных $1, $2 и т. д. распространяется до наступления одного из следующих событий: конец текущего блока; конец строки, являющейся аргументом функции eval; следующее совпадение с образцом. Аналогичным образом определяется область действия и для следующих предопределенных переменных, используемых в операциях сопоставления с образцом:

  • $& — часть строки, найденная при последней операции сопоставления с образцом;
  • $` — часть строки, стоящая перед совпавшей частью при последней успешной операции сопоставления с образцом;
  • $' — часть строки, стоящая после совпавшей части при последней успешной операции сопоставления с образцом.
  Например, в результате выполнения операции поиска

  $str =~ m/two/
  

  в строке $str = "one two three" образца /two/ будут присвоены следующие значения переменным:

  • $& — "two";
  • $` — "one";
  • $' — "three".
  Эти значения будут сохраняться до наступления одного из перечисленных выше событий, и их можно использовать, например, для формирования строки с обратным порядком следования слов: $rstr=$'.$&.$`. Строка $rstr будет иметь вид: "three two one".
  Следует отметить, что, если обращение к одной из переменных $&, $`, $' встречается где-либо в программе, то интерпретатор perl будет вычислять и запоминать их для каждой операции сопоставления с образцом, что, в свою очередь, замедляет выполнение всей программы. Поэтому не следует использовать данные переменные без особой необходимости.

  Расширенный синтаксис регулярных выражений

  Выше мы использовали скобки для группирования нескольких элементов регулярного выражения в один элемент. Побочным эффектом данной операции является запоминание найденного фрагмента текста, соответствующего образцу, заключенному в скобки, в специальной переменной. Если скобки используются только для группирования элементов регулярного выражения, то найденный фрагмент текста можно не запоминать. Для этого после открывающей скобки ( следует поместить конструкцию ?:, например в случае задания альтернативы - /(?:Реrl|реrl)/.
  Конструкция (?:pattern) относится к классу конструкций общего вида (?...), добавляющих новые возможности для задания образцов за счет расширения синтаксиса регулярного выражения, а не за счет введения новых метасимволов или метапоследовательностей. Символ, следующий за символом ?, определяет функцию, выполняемую данной синтаксической конструкцией. В настоящее время определены около десяти расширенных конструкций регулярного выражения, большая часть которых рассмотрена в данном разделе. Оставшиеся конструкции, на наш взгляд, не являются необходимыми для первоначального знакомства с языком.
  (?#text) — комментарий. Текст после символа # и до закрывающей скобки ) игнорируется интерпретатором и используется для добавления комментария непосредственно в регулярное выражение.
  (?imsx-imsx: pattern) — использовать скобки только для группирования элементов без создания обратных ссылок. Символы imsx-imsx между вопросительным знаком и двоеточием интерпретируются как флаги, модифицирующие функцию данного выражения (см. ниже).
  (?=pattern) — следующий фрагмент в тексте должен соответствовать образцу pattern. Обычно образец для операций поиска или замены задается при помощи регулярного выражения. Результатом операции поиска является фрагмент, соответствующий образцу, который сохраняется в специальной переменной $&. Конструкция (?=pattern) в составе регулярного выражения позволяет задать условие поиска, не включая найденный фрагмент, соответствующий образцу pattern, в результат, сохраняемый в переменной $&. Конструкция (?=pattern) в регулярном выражении задает условие, что следующий фрагмент текста должен удовлетворять образцу pattern. Обращаем внимание на слово следующий. Данная конструкция неприменима для задания условия, что предыдущий фрагмент текста должен соответствовать заданному образцу. Например, образцу/b+(?=с+)/соответствует часть строки, состоящая из одной или более литер b, за которыми следуют одна или более литер с, причем найденный фрагмент текста будет содержать только последовательность литер b без последовательности литер с.
  Рассмотрим, например, строку:

  $str = "aaabbbcccddd"; 
  

  В результате операции поиска

  $str =~ m/b+(?=c+)/;
  

  будут сохранены следующие значения в специальных переменных:

  S` - ааа,
  $& - bbb,
  $' — cccddd.
  

  Если в операции поиска указать образец /b+с+/, то значения специальных переменных будут следующими:

  S` — ааа,
  $&- bbbccc,
  $' - ddd.
  

  B свою очередь, операция поиска по образцу /(?=b+)с+/ в нашем примере не даст результата. Данный образец задает условие, что следующий фрагмент текста должен содержать непустую последовательность литер b. В нашей строке такой фрагмент будет найден, это фрагмент bbb, но он не будет включен в результат поиска. Следующий фрагмент, в соответствии с образцом, должен представлять непустую последовательность литер с, но в нашем случае этого соответствия не будет, так как мы остановились перед фрагментом bbb, не включив его в результат, и следующим фрагментом поэтому будет bbb, а не ссс.
  Конструкцию (?=pattern) будем называть регулярным выражением с положительным постусловием. (?!pattern) — конструкция в регулярном выражении задает условие, что следующий фрагмент текста не должен удовлетворять образцу pattern. Найденный фрагмент не запоминается в переменной $&. Например, результат операции поиска

  $str =~ m/b+(?!с+)/;
  

  в рассмотренной выше строке $str будет зафиксирован в следующих значениях специальных переменных:

  S` — ааа,
  S& - bb,
  $' — bcccddd.
  

  Найденная подстрока соответствует образцу: она состоит из двух литер bb, за которыми не следует последовательность литер с.
  По аналогии с предыдущей конструкцией данную конструкцию назовем регулярным выражением с отрицательным постусловием. (?<=pattern) — конструкция в регулярном выражении задает условие, что предыдущий фрагмент текста должен удовлетворять образцу pattern. Найденный фрагмент не запоминается в переменной $&. Образец pattern должен иметь фиксированную длину, то есть не содержать множителей.
  В нашем примере в результате операции поиска

  $str =~ m/(?<=b)b+/; 
  

  значения специальных переменных будут распределены следующим образом:

  S` — ааа,
  $& — bb,
  $' — cccddd.
  

  Данную конструкцию назовем регулярным выражением с положительным предусловием.
  (?<!pattern) — конструкция в регулярном выражении задает условие, что предыдущий фрагмент текста не должен удовлетворять образцу pattern. Найденный фрагмент не запоминается в переменной $&. Образец pattern должен иметь фиксированную длину, то есть не содержать множителей. В нашем примере в результате операции поиска

  $str =~ m/(?<!b)c+/;
  

  специальные переменные получат следующие значения:

  $` — aaabbbc,
  $& - сс,
  $' - ddd.
  

  Данную конструкцию будем называть регулярным выражением с отрицательным предусловием.
  (?imsx-imsx) —задание флагов операции сопоставления с образцом в самом образце. Флаги модифицируют выполнение операции и обычно являются частью синтаксиса самой операции. Расширенная конструкция (?imsx-imsx) позволяет задать флаги операции внутри самого образца. Эта возможность может быть полезной, скажем, в таблицах, когда разные элементы таблицы требуются по-разному, и нужно сопоставлять их с заданным образцом, например некоторые элементы — с учетом регистра, другие — без учета регистра. Допустимыми являются следующие флаги:

  • i — поиск без учета регистра;
  • m — строка трактуется как мультистрока, состоящая из нескольких строк, разделенных символом новой строки;
  • s — строка трактуется как одна строка, в этом случае метасимволу . соответствует любой одиночный символ, включая символ новой строки;
  • x — разрешается использовать в образцах пробелы и комментарии. При использовании флага х пробелы в образцах игнорируются. Признаком комментария является символ #, как и в основном тексте Perl-программы. Пробелы позволяют сделать образец лучше читаемым.
  Одна из литер i , m, s, x после знака - обозначает отмену соответствующего флага.
  При помощи данной расширенной конструкции можно задать, например, следующий образец:

  /(?ix) perl # игнорирование регистра при поиске/
  

  Флаг i предписывает не учитывать регистр в операциях сопоставления с образцом, так что образцу будет соответствовать и слово «perl», и слово «Perl». Флаг х позволяет выделить слово «perl» пробелами и использовать непосредственно в образце комментарий. И пробелы, и комментарий не будут учитываться в операции сопоставления с образцом.

  Сводка результатов

  Изложенное в данном параграфе можно суммировать в виде набора правил, которыми следует руководствоваться при работе с регулярными выражениями.

  1. Любой одиночный символ, не являющийся метасимволом, представляет самого себя.
  2. Специальное значение метасимвола можно отменить, поместив перед ним специальный экранирующий метасимвол \.
  3. Можно определить класс символов, заключив их в квадратные скобки. Если первым после открывающей скобки [ является символ ^, то вся конструкция обозначает класс символов, не входящих в число перечисленных в скобках. Внутри скобок два символа, соединенные знаком -, определяют диапазон. Чтобы включить в состав класса символ -, его следует поместить в начале или в конце списка либо экранировать при помощи символа \.
  4. Символы можно задавать при помощи метапоследовательностей, состоящих из символа \, за которым следует обычный символ или последовательность символов.
  5. Альтернативный выбор задается перечислением вариантов, разделенных символом |. Обычно вся конструкция при этом заключается в круглые скобки.
  6. Внутри регулярного выражения можно выделить подобразец, заключив его в круглые скобки. На n-ю конструкцию в скобках можно затем сослаться, используя нотацию \n внутри и $n — вне регулярного выражения.
  В заключение приведем сводку метасимволов и метапоследовательностей, рассмотренных в данной главе.
  Таблица 8.1. Символы, имеющие специальное значение в регулярном выражении Perl

  Метасимвол	Интерпретация
  \	Отменяет (экранирует) специальное значение следующего за ним метасимвола
  .	Любой одиночный символ, кроме символа новой строки. Любой одиночный символ, включая символ новой строки, если в операции сопоставления с образцом задан флаг s
  ^	Обозначает начало строки, если является первым символом образца
  $	Обозначает коней строки, если является последним символом образца
  |	Разделяет альтернативные варианты
  [...]	Любой одиночный символ из числа перечисленных в квадратных скобках. Пара символов, разделенных знаком минус, задает диапазон символов. Например, [A-Za-z] задает все прописные и строчные буквы английского алфавита. Если первым символом в скобках является символ ^, вся конструкция обозначает любой символ, не входящий в число перечисленных в скобках. Внутри скобок символы . * [ и \ теряют свое специальное значение.
  (...)	Группирование элементов образца в один элемент
  *	Нуль и более повторений регулярного выражения, стоящего непосредственно перед *
  +	Одно или более повторений регулярного выражения, стоящего Непосредственно перед +
  ?	Одно или ни одного повторения регулярного выражения, стоящего непосредственно перед ?
  {n, m}	Минимальное n и максимальное m число повторений регулярного выражения, стоящего перед {n, m}. Конструкция {n} означает ровно n повторений, {n,} — минимум n повторений

  
  
  Таблица 8.2. Метапоследовательности в регулярных выражениях Perl

  Метапоследовательность	Значение
  \0nn	Символ, восьмеричный код которого равен nn
  \а	При выводе производит звуковой сигнал
  \А	Обозначает начало строки
  \b	Обозначает границы слова. Под словом понимается последовательность символов из класса \w. Граница слова определяется как точка между символами из класса \w и символами из класса \W
  \B	Обозначает не-границы слова
  \cn	Управляющий символ, который генерируется при нажатии комбинации клавиш Ctrl+n
  \d	Любой цифровой символ, то же, что и [0-9]
  \D	Любой нецифровой символ, то же, что и [^0-9]
  \е	Символ Esc, ASCII 27
  \E	Ограничитель последовательностей \L, \U, \Q
  \f	Символ перевода страницы, ASCII 12
  \G	Обозначает точку, в которой закончился предыдущий поиск m//g
  \l	Преобразует следующий символ регулярного выражения в нижний регистр
  \L	Преобразует все последующие символы в регулярном выражении в нижний регистр до тех пор, пока не встретится последовательность \Е
  \n	Символ новой строки, ASCII 10
  \Q	Эквивалентно экранированию всех последующих метасимволов в регулярном выражении при помощи символа \ до тех пор, пока не встретится последовательность \Е
  \r	Символ «возврат каретки», ASCII 13
  \s	Класс пробельных символов: пробел (space), символ табуляции (tab), возврат каретки (carriage return), символ перевода строки (line feed) и символ перевода страницы (form feed); эквивалентно [\t,\r,\n,\f]
  \S	Класс непробельных символов
  \t	Символ табуляции, ASCII 9
  \u	Преобразует следующий символ в верхний регистр
  \U	Преобразует все последующие символы в регулярном выражении в верхний регистр до тех пор, пока не встретится последовательность \Е
  \v	Символ вертикальной табуляции, ASCII 11
  \w	Любая буква, цифра или символ подчеркивания
  \W	Любой символ, не являющийся буквой, цифрой или символом подчеркивания
  \xnn	Символ, шестнадцатеричный код которого равен nn
  \Z	Обозначает конец строки

  Следующая страница

  Содержание главы