Sort

Материал из Ай да Linux Wiki
Версия от 18:21, 23 марта 2011; Langator (обсуждение | вклад) (Новая страница: «== Вступление == Команда sort сортирует содержимое файла в алфавитном или нумерологическом п...»)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к навигации Перейти к поиску

Вступление

Команда sort сортирует содержимое файла в алфавитном или нумерологическом порядке. Если задать несколько файлов, то команда sort соединит их и, рассортировав, выдаст единым выводом. По умолчанию, объектом сортировки будут строки, однако опции позволяют выбирать объект сортировки: колонки, столбцы и прочие элементы форматирования файла. Разделителем между ними служат пробелы, однако соответствующие опции позволяют задать иные разделители.

Команда sort весьма древняя, она может служить образцом программирования утилит в ранних 70-х годах прошлого века. У команды множество опций, и их разнообразные сочетания, а также способы задания разделителей, хорошо развивают память и воображение.

Программа sort без опций

Я составил список своих должников и записал их в файл debts.txt:

 Vova: 100$ -- September 3  2008
 Sergey: 10$ -- December 30 2008
 Misha:  25$ -- May 12 2008
 Taras:  500$ -- June 24 2008

Если мне придет в голову рассортировать должников по алфавиту, то я дам команду:

 $ sort debts.txt
 
 Misha:  25$ -- May 12 2008
 Sergey: 10$ -- December 30 2008
 Taras:  500$ -- June 24 2008
 Vova: 100$ -- September 3  2008

А могу и в обратном алфавиту порядке:

 sort -r debts.txt
 
 Vova: 100$ -- September 3  2008
 Taras:  500$ -- June 24 2008
 Sergey: 10$ -- December 30 2008
 Misha:  25$ -- May 12 2008

Параметры sort

Опции -n и -k

(--numeric-sort --key)

Приходится рассматривать эти две опции вместе, так как они позволяют сразу ввести читателя в курс дела, а не рассматривать множество простых примеров.

Опция -n используется всегда, когда нужно сортировать числа, разумеется в порядке возрастания (или убывания, добавив опцию -r).

Опция -k позволяет задавать объект сортировки: все эти столбцы, колонки, и тому подобные элементы форматирования файла.

Итак, я хочу выявить самых злостных должников по мере убывания долга:

 sort -nrk 2 debts.txt
 
 Taras:  500$ -- June 24 2008
 Vova: 100$ -- September 3  2008
 Misha:  25$ -- May 12 2008
 Sergey: 10$ -- December 30 2008

Опция -n сообщает команде, что сортировать придется числа, опция -r , что в обратном порядке, а опция -k задает объект - вторую колонку текста.

У нас есть еще одна колонка с числами месяцев, можно для тренировки рассортировать список по числам разных месяцев, хотя никакого практического смысла это не имеет:

 sort -nk 5 debts.txt
 
 Vova: 100$ -- September 3  2008
 Misha:  25$ -- May 12 2008
 Taras:  500$ -- June 24 2008
 Sergey: 10$ -- December 30 2008

Видите, в пятой колонке числа идут по возрастающей. Древность программы сказывается еще и в том, что можно вводить опции по-разному. Например можно набрать:

 sort -nk5 debts.txt
 
 Vova: 100$ -- September 3  2008
 Misha:  25$ -- May 12 2008
 Taras:  500$ -- June 24 2008
 Sergey: 10$ -- December 30 2008

с тем же результатом. И даже:

  sort -k5n debts.txt
  
  Vova: 100$ -- September 3  2008
  Misha:  25$ -- May 12 2008
  Taras:  500$ -- June 24 2008
  Sergey: 10$ -- December 30 2008

Должен предупредить, что существует два стиля задания объекта сортировки. (Имейте в виду, по-английски эти объекты называются fields, что обычно переводится как поля. Если видите в манах слова: fields или поля, знайте - речь идет о колонках, столбцах, или иных элементах форматирования текста). Но вернемся к стилям задания этих самых "полей".

Новый стиль использует опцию -k и цифры, указывающие порядковый номер нужной колонки с начала строки (начиная с 1).Возьмем файл pay.txt:

 1. I.A.Ivanov  1700
 2. J.P.Zaytsev 1955
 3. T.N.Petrova 1000
 4. A.D.Afonin  1300

И дадим команду:

 sort -k2 pay.txt
 
 4. A.D.Afonin  1300
 1. I.A.Ivanov  1700
 2. J.P.Zaytsev 1955
 3. T.N.Petrova 1000

Сортировка произошла по первому символу второй колонки, что не дало нам никакой пользы. Изменим команду:

 sort -k2.5 pay.txt
 
 4. A.D.Afonin  1300
 1. I.A.Ivanov  1700
 3. T.N.Petrova 1000
 2. J.P.Zaytsev 1955

Указав пятый символ (считая точки) во второй колонке (-k2.5), мы получили алфавитный список сотрудников.

Теперь рассмотрим файл ivanov.txt:

 1. Filin F.F.   200$
 2. Ivanov R.P.  120$
 3. Alekseev I.O.  110$
 4. Ivanov N.S.  300$
 5. Klenov G.A.  233$
 6. Ivanov I.A.  178$
 7. Zaitsev B.I. 467$

Рассортируем его строго по второй колонке, не принимая во внимание колонку с инициалами:

 sort -k 2,2 ivanov.txt
 
 3. Alekseev I.O.  110$
 1. Filin F.F.   200$
 2. Ivanov R.P.  120$
 4. Ivanov N.S.  300$
 6. Ivanov I.A.  178$
 5. Klenov G.A.  233$
 7. Zaitsev B.I. 467$

Для этого мы применили опцию -k 2,2. Первая двойка означает начало объекта сортировки (колонки текста), а вторая двойка через запятую - конец объекта сортировки. То есть команде запрещено использовать для сортировки символы после последней буквы второй колонки.

Мы видим, что Ивановы идут в том же порядке, что и в исходном файле. А если мы хотим рассортировать Ивановых в алфавитном порядке их инициалов?

 sort -k 2,3 ivanov.txt
 
 3. Alekseev I.O.  110$
 1. Filin F.F.   200$
 6. Ivanov I.A.  178$
 4. Ivanov N.S.  300$
 2. Ivanov R.P.  120$
 5. Klenov G.A.  233$
 7. Zaitsev B.I. 467$

Мы приказали использовать для сортировки вторую и третью колонки текста (-k 2,3). Теперь Ивановы отсортированы и по инициалам. Но важнее знать, кто из Ивановых больше должен:

 sort -k 2,2 -k 4n ivanov.txt
 
 3. Alekseev I.O.  110$
 1. Filin F.F.   200$
 2. Ivanov R.P.  120$
 6. Ivanov I.A.  178$
 4. Ivanov N.S.  300$
 5. Klenov G.A.  233$
 7. Zaitsev B.I. 467$

Теперь инициалы не сортируются, так как первичная сортировка проводится строго по второй колонке (-k 2,2), а вторичная сортировка (-k 4n) по 4 колонке, в нумерологическом порядке, и только среди Ивановых (то есть тех, кто не различался по результатам первичной сортировки). Теперь становится понятно, зачем нужна такая сортировка - строго по заданному объекту.

Надеюсь, что новый стиль написания опции -k стал понятен. Новый стиль применяется на всех современных версиях команды sort, включая GNU Coreutils, которыми укомплектованы все новые дистрибутивы Линукс.

Вкратце коснусь старого стиля написания опции -k. Вот пример задания третьего столбца для нумерологической сортировки:

  • Новый стиль: sort -k 3,3n имя_файла
  • Старый стиль: sort +2 -3n имя_файла

Старый стиль работает на новых версиях программы, но рассматривать его в подробностях я не стану, чтобы не запутаться самому и не запутать читателя. Нам хватит путаницы и с новым стилем.

Опция -r

(--reverse)

Мы уже познакомились с ней. Она заставляет команду sort сортировать в обратном порядке. (От 'z' к 'a' и от 1000000 к 0).

Опция -M

(--month-sort)

Я не могу не остановится на одной удивительной способности команды sort - она может сортировать даже месяцы. Вернемся к файлу debts.txt:

 Vova: 100$ -- September 3  2008
 Sergey: 10$ -- December 30 2008
 Misha:  25$ -- May 12 2008
 Taras:  500$ -- June 24 2008

Названия месяцев у нас в 4 колонке, поэтому пишем:

 sort -k 4M debts.txt
 Misha:  25$ -- May 12 2008
 Taras:  500$ -- June 24 2008
 Vova: 100$ -- September 3  2008
 Sergey: 10$ -- December 30 2008

Вуаля! Мне это почему-то кажется чудом. Можно задать ту же команду и по-другому:

 sort -Mk 4 debts.txt
 
 Misha:  25$ -- May 12 2008
 Taras:  500$ -- June 24 2008
 Vova: 100$ -- September 3  2008
 Sergey: 10$ -- December 30 2008

Опция М преобразует первые три непробельные символа указанного столбца в заглавные буквы (Скажем, SEP означает SEPtember), а затем сравнивает их и располагает в порядке годового круга.

До сих пор мы рассматривали файлы, в которых разделителем колонок или столбцов был пробел, что и установлено по умолчанию. Чтобы задать другой разделитель, необходимо использовать опцию -t.

Опция -t

(--field-separator=РАЗДЕЛИТЕЛЬ)

Позволяет указать иной разделитель объектов сортировки вместо пробела. Вернемся к файлу pay.txt:

 1. I.A.Ivanov  1700
 2. J.P.Zaytsev 1955
 3. T.N.Petrova 1000
 4. A.D.Afonin  1300

В первый раз, чтобы рассортировать должников по фамилиям, мы указывали пятую букву в третьем столбце (считая разделителем столбцов пробелы). Есть другой способ решить эту задачу:

 sort -t '.' -k4 pay.txt
 
 4. A.D.Afonin  1300
 1. I.A.Ivanov  1700
 3. T.N.Petrova 1000
 2. J.P.Zaytsev 1955

Теперь мы задали разделителем точку и указали четвертую колонку.

Давайте рассортируем по алфавиту шеллы, доступные в системе, указав разделителем слэш (-t '/'):

 sort -t '/' -k2 /etc/shells
 
 /bin/ash
 /bin/bash
 /bin/csh
 /bin/ksh
 /bin/tcsh
 /bin/zsh 

В директории /etc масса файлов, в которых встречаются различные разделители. Часто это двоеточие:

 sort -t ':' -k3n /etc/passwd

Эта команда рассортирует файл /etc/passwd в порядке возрастания идентификационных номеров пользователей. Проделайте этот пример самостоятельно, у него длинный вывод, боюсь мой редактор будет не в восторге.

Надеюсь, с разделителями все ясно, правила их задания очень напоминают команду cut.

Опция -c

(--check)

Эта опция проверяет порядок сортировки, сама ничего не сортируя. Создадим файл 123.txt:

 3
 1
 4
 2

Дадим команду:

 sort -cn 123.txt
 
 sort: 123.txt:2: неправильный порядок: 1

Вывод "неправильный порядок: 1" сообщает нам номер строки с первой ошибкой.


Опция -u

(--unique)

Скрывает одинаковые объекты. Если в процессе сортировки выявилось несколько одинаковых объектов, то будет выведен только первый из них, остальные проигнорированы:

 sort -uk 2,2 ivanov.txt
 
 3. Alekseev I.O.  110$
 1. Filin F.F.   200$
 2. Ivanov R.P.  120$
 5. Klenov G.A.  233$
 7. Zaitsev B.I. 467$

Остался только один Иванов из трех.

Если бы мы задали команду чуть по-другому:

 sort -uk2 ivanov.txt
 
 3. Alekseev I.O.  110$
 1. Filin F.F.   200$
 6. Ivanov I.A.  178$
 4. Ivanov N.S.  300$
 2. Ivanov R.P.  120$
 5. Klenov G.A.  233$
 7. Zaitsev B.I. 467$

то все Ивановы остались бы на своих местах. Ответьте: почему? (Ответ в приложении [1]).

Опция -b

(--ignore-leading-blanks)

Игнорирует пробелы в начале строк, и сортирует так, словно пробелов нет. Возьмем файл run.txt

 dog
 cat
 horse

Применим команду sort без опций:

 sort run.txt
 
 horse
 cat
 dog

Фактически произошла сортировка по количеству пробелов, так как пробел предшествует буквам в порядке сортировки. Введем команду:

 sort -b run.txt
 
 cat
 dog
 horse

Теперь строки отсортированы в алфавитном порядке, невзирая на пробелы.

Немного усложним файл run.txt

 horrible dog
 black  cat
 beautiful   horse

И попробуем выстроить животных по алфавиту:

 sort -k2 run.txt
 
 beautifull   horse
 black  cat
 horrible dog

Ничего не выходит - сортируется количество пробелов. Но стоит добавить опцию -b

 sort -bk2 run.txt
 
 black  cat
 horrible dog
 beautifull   horse

как все становится на свои места.

Опция -d

(--dictionary-order)

Признает только буквы, цифры и пробелы и сортирует как в словаре.

Опция -i

(--ignore-nonprinting)

Весьма похожа на предыдущую опцию -d, но не такая "строгая". Она признает только печатные символы, игнорируя все специальные.

Опция -f

(--ignore-case)

При обычной сортировке, заглавные буквы идут прежде строчных:

 sort case.txt
 
 Ivanov
 Zaitsev
 alfa
 kurtka
 romashka

А с опцией -f все равны:

 sort -f case.txt
 
 alfa
 Ivanov
 kurtka
 romashka
 Zaitsev

Опция -g

(--general-numeric-sort)

Позволяет сортировать числа, записанные в общей математической форме. Возьмем файл notation.txt:

 11.11
 1
 12.3
 567
 10e1
 10e0
 9
 345 
 8.95
 99

и попробуем рассортировать его обычной опцией -n:

 sort -n notation.txt
 
 1
 9
 10e0
 10e1
 99
 12.3
 345
 567
 8.95
 11.11

и потерпим неудачу. Тогда применим опцию -g:

 sort -g notation.txt
 
 1
 8.95
 9
 10e0
 11.11
 12.3
 99
 10e1
 345
 567

Теперь числа выстроились по ранжиру. Нужно сказать, что применять опцию -g следует в крайних случаях, когда нельзя обойтись опцией -n. Дело в том, что опция -g медленнее, и на больших файлах это становится заметным. Кроме того, в Интернете появляются сообщения, что в некоторых версиях GNU Coreutils sort замечены сбои в работе опции -g на больших файлах (Больше 25Мб).

Опция -T

(--temporary-directory=КАТАЛОГ)

Позволяет указать директорию для временных файлов, иную, чем положено по умолчанию (/tmp или $TMPDIR).

 sort -T /имя_каталога filename

При сортировке больших файлов программа создает временные файлы, и можно указать, где их разместить. Примера по очевидным причинам дать не могу, просто помните про эту опцию, если случится сортировать многомегабайтные файлы.

Опция -S

(--buffer-size=РАЗМЕР)

Также пригодится для сортировки больших файлов. Она создаст в основной памяти буфер указанного размера.

Кстати, коли речь зашла о работе с большими файлами, то полезно бывает переместить эти процессы на задний план, чтобы можно было работать, не дожидаясь завершения процесса:

 sort большой_файл &

Опция -s

(--stable)

Эта опция отменяет пересортировку. Что это такое? - Допустим, мы сортировали некий файл по определенным, нужным нам объектам сортировки (полям, столбцам, колонкам, символам внутри колонок и так далее), применяли вторичную сортировку (как в примере sort -k 2,2 -k 4n ivanov.txt), но все объекты, выбранные нами, оказались одинаковыми (равными). В этом случае, по умолчанию, команда sort проводит пересортировку, считая объектом сортировки всю строку в целом (как в случае сортировки без опций). Если мы хотим сохранить первоначальный порядок строк файла, и не проводить финальную пересортировку, то мы применяем опцию -s.

Опция -z

(--zero-terminated)

Эта опция рассматривает исходный файл как набор строк, разделенных не знаком переноса строки, а нулевым байтом. Для чего это может понадобиться, я не знаю. Единственное, что мне удалось найти, это туманные указания, что эта опция может оказаться полезной в составе программных каналов (pipes) с такими командами как 'perl -0', 'find -print0', и 'xargs -0' для сортировки произвольных файловых имен. Я пока не разбирался с перечисленными программами и не могу ничего сказать по этому поводу. Я также пробовал подставлять опцию -z в многочисленные примеры из этой статьи, но никакой сортировки после добавления этой опции не происходило.

Опция -o

(--output=ФАЙЛ)

Видимо пережиток прошлого, когда не было перенаправления вывода. С помощью этой опции можно задать файл, куда будет помещен вывод команды вместо стандартного вывода на экран дисплея.

Послесловие

Оставшиеся опции варьируют в различных мануалах и руководствах, они достаточно понятны интуитивно, и не требуют специального рассмотрения. Если какой-то из опций нет в вашем мане, не беда, скорее всего опция поддерживается вашей версией программы. Попробуйте, чем вы рискуете? Но попадаются опции, не поддерживаемые GNU Coreutils sort, как например опции -R и --random-source=file, позволяющие "рассортировать" строки и прочие объекты в случайном порядке.

Другое дело сочетания различных опций друг с другом. Если вы соорудили заковыристое заклинание из множества разных опций, а оно не работает, попробуйте убрать ту или другую опцию, может быть поможет. А лучше идти от простого к сложному, постепенно усложняя команду, пока не достигнете нужного результата. Хорошо помогает набрать вашу команду в поисковой строке Гугла, вдруг повезет. Кстати, только этим способом я смог разобраться с некоторыми опциями, о которых пишу в этой статье.

Команда sort и кириллица

Команда sort работает с нашими буквами неадекватно.

Резюме команды sort

Чрезвычайно полезная и "мощная" команда. С ее помощью не проблема выявить в огромной директории файлы, которые вы вчера потеряли (по дате модификации), или собрать "в кучу" все линки, чтобы их проверить, и так далее. А в качестве фильтра в программных каналах (pipes), эта команда просто незаменима и позволяет творить чудеса.

Приложение

[1] Ответ на задачу про Ивановых.

В первом случае мы задали сортировку строго по второй колонке (-uk 2,2), поэтому программа видела всех Ивановых одинаковыми, и включила опцию -u.

Во втором случае мы задали сортировку, не указав конец объекта сортировки (-uk2), и программа сортировала Ивановых по следующим колонкам (могла бы до конца строки). В этом случае одинаковых объектов выявлено не было, и опция -u не включилась.


Информация взята с open-club.ru