https://aidalinux.ru/wiki/index.php?action=history&feed=atom&title=Uniq 2026-04-20T04:45:45Z История изменений этой страницы в вики MediaWiki 1.35.1 https://aidalinux.ru/wiki/index.php?title=Uniq&diff=73&oldid=prev 2011-03-23T15:23:23Z

<p>Новая страница: «== Описание == uniq — утилита Unix, с помощью которой можно вывести или отфильтровать повторяющ...»</p> <p><b>Новая страница</b></p><div>== Описание ==<br /> uniq — утилита Unix, с помощью которой можно вывести или отфильтровать повторяющиеся строки в файле. Если входной файл задан как («-») или не задан вовсе, чтение производится из стандартного ввода. Если выходной файл не задан, запись производится в стандартный вывод. Вторая и последующие копии повторяющихся соседних строк не записываются. Повторяющиеся входные строки не распознаются, если они не следуют строго друг за другом, поэтому может потребоваться предварительная сортировка файлов.<br /> <br /> == Использование ==<br /> <br /> uniq [-c | -d | -u] [-i] [-f число_полей] [-s число_символов] [входной_файл [выходной_файл]]<br /> <br /> Опции программы имеют следующие значения:<br /> <br /> '''''-u''''' Выводить только те строки, которые не повторяются на входе.<br /> <br /> '''''-d''''' Выводить только те строки, которые повторяются на входе.<br /> <br /> '''''-c''''' Перед каждой строкой выводить число повторений этой строки на входе и один пробел.<br /> <br /> '''''-i''''' Сравнивать строки без учёта регистра.<br /> <br /> '''''-s''''' число_символов<br /> <br /> Игнорировать при сравнении первые число_символов символов каждой строки ввода. Если эта опция указана совместно с -f, то будут игнорироваться первые число_полей полей, а затем ещё число_символов символов. Символы также нумеруются начиная с единицы.<br /> <br /> '''''-f''''' число_полей<br /> <br /> Игнорировать при сравнении первые число_полей полей каждой строки ввода. Полем является строка непробельных символов, отделённая от соседних полей пробельными символами. Поля нумеруются начиная с единицы.<br /> <br /> == Команда uniq без опций ==<br /> <br /> Если в тексте следует подряд несколько одинаковых строк, то команда uniq уменьшит их количество до одной.<br /> <br /> echo -e 1234\\n2345\\n3456\\n1111\\n1111\\n1111 | uniq<br /> <br /> 1234<br /> 2345<br /> 3456<br /> 1111<br /> <br /> Расшифрую этот пример. Команду echo, при помощи опции -e можно заставить печатать не в строчку, как обычно, а в несколько строк. Для этого нужно в конце каждой будущей строки поставить знак новой строки \n, а чтобы &quot;экранировать&quot; обратный слэш (\), который сам по себе тоже является знаком, нужно этот обратный слэш удвоить: \\, и получится \\n. Например, напечатаем в две строки какой-нибудь стишок, например:<br /> <br /> echo -e Глупый пингвин\\nРобко прячет<br /> <br /> Глупый пингвин<br /> Робко прячет<br /> <br /> (Кто не знает, сообщу по секрету, что великий пролетарский писатель Максим Горький в слове пингвин ставил ударение на первом слоге - пИнгвин). Пробел между знаком новой строки и первым словом следующей строки не ставится, иначе получится &quot;лесенка&quot;:<br /> <br /> echo -e Глупый пингвин\\n Робко прячет<br /> <br /> Глупый пингвин<br /> Робко прячет<br /> <br /> как в стихах другого великого пролетарского поэта Маяковского:<br /> <br /> echo -e Били копыта\\n пели как-будто...<br /> <br /> Били копыта<br /> пели как-будто...<br /> <br /> Но довольно поэзии; вернемся к нашему числовому примеру:<br /> <br /> echo -e 1234\\n2345\\n3456\\n1111\\n1111\\n1111 | uniq<br /> <br /> 1234<br /> 2345<br /> 3456<br /> 1111<br /> <br /> Итак, в первой части этого программного канала команда echo -e, которая выводит на стандартный вывод столбик чисел. Вывод этот канализируется на ввод команды uniq, которая уменьшает количество одинаковых строк (1111) до одной.<br /> <br /> Тут нужно уточнить очень интересную вещь: команда uniq сравнивает только рядом расположенные строчки, и если составить столбик цифр в другом порядке, скажем:<br /> <br /> echo -e 1234\\n1111\\n2345\\n1111\\n3456\\n1111 | uniq<br /> <br /> 1234<br /> 1111<br /> 2345<br /> 1111<br /> 3456<br /> 1111<br /> <br /> то никакого уменьшения числа повторов не произойдет. Становится понятным, что команда uniq любит уже отсортированные тексты, где все одинаковые строчки собраны вместе. Такой сортировкой славится команда sort, вот и добавим ее в наш программный канал:<br /> <br /> echo -e 1234\\n1111\\n2345\\n1111\\n3456\\n1111 | sort | uniq<br /> <br /> 1111<br /> 1234<br /> 2345<br /> 3456<br /> <br /> Команда sort сортирует, команда uniq убирает повторы, кажется все прекрасно, если бы не одно &quot;но&quot; - у программы sort есть опция -u, которая справляется с этой задачей не хуже:<br /> <br /> echo -e 1234\\n1111\\n2345\\n1111\\n3456\\n1111 | sort -u<br /> <br /> 1111<br /> 1234<br /> 2345<br /> 3456<br /> <br /> Получается, что команда uniq как бы и не нужна...<br /> <br /> Не спешите с выводами, у команды uniq есть еще несколько опций, которых нет у команды sort.<br /> <br /> == Параметры uniq ==<br /> <br /> === Опция -c ===<br /> <br /> --count<br /> <br /> Сообщит, сколько было одинаковых строк до их урезания:<br /> <br /> echo -e кот\\nконь\\nсобака\\nкрыса\\nкрыса | uniq -c<br /> <br /> 1 кот<br /> 1 конь<br /> 1 собака<br /> 2 крыса<br /> <br /> === Опция -d ===<br /> <br /> --repeated<br /> <br /> Эта опция, наоборот, выведет лишь ту строку, которая повторялась в тексте:<br /> <br /> echo -e кот\\nконь\\nсобака\\nкрыса\\nкрыса | uniq -d<br /> <br /> крыса<br /> <br /> Можно узнать и сколько раз эта строка повторялась:<br /> <br /> echo -e кот\\nконь\\nсобака\\nкрыса\\nкрыса | uniq -dc<br /> <br /> 2 крыса<br /> <br /> === Опция -D (расширение GNU) ===<br /> <br /> --all-repeated<br /> <br /> Выведет все повторяющиеся строки, не уменьшая их числа:<br /> <br /> echo -e кот\\nконь\\nсобака\\nкрыса\\nкрыса | uniq -D<br /> <br /> крыса<br /> крыса<br /> <br /> На первый взгляд, это не слишком полезно, но в сочетании с некоторыми другими опциями вполне имеет смысл.<br /> <br /> === Опция -u ===<br /> <br /> --unique<br /> <br /> Выводит только уникальные строки:<br /> <br /> echo -e кот\\nконь\\nсобака\\nкрыса\\nкрыса | uniq -u<br /> <br /> кот<br /> конь<br /> собака<br /> <br /> === Опция -f ===<br /> <br /> --skip-fields=ЧИСЛО<br /> <br /> -ЧИСЛО<br /> <br /> Эта опция пропустит указанное ЧИСЛО &quot;слов&quot;, прежде чем начать искать повторы. Тут следует пояснить, что &quot;словом&quot; команда uniq считает любую непрерывную последовательность символов, отделенную от других символов знаками пробела, либо табуляции (таковых знаков может быть один или больше).<br /> <br /> echo -e Иванов Сергей\\nИванов Михаил\\nИванов Иван\\nИванов Иван\\nИванов Константин | uniq -f 1<br /> <br /> Иванов Сергей<br /> Иванов Михаил<br /> Иванов Иван<br /> Иванов Константин<br /> <br /> В этом примере мы пропустили заведомо одинаковую фамилию, чтобы &quot;отцедить&quot; двойников Иванов. (Правда, безо всяких опций сработало бы не хуже, но в каких-то случаях, скорее всего, эта опция полезна).<br /> <br /> Можно скомбинировать эту опцию с другими, слегка изменив синтаксис:<br /> <br /> echo -e Иванов Сергей\\nИванов Михаил\\nИванов Иван\\nИванов Иван\\nИванов Константин | uniq -f1 -c<br /> <br /> 1 Иванов Сергей<br /> 1 Иванов Михаил<br /> 2 Иванов Иван<br /> 1 Иванов Константин<br /> <br /> В таком виде она имеет определенный смысл.<br /> <br /> Можно было задать эту опцию проще: uniq -1.<br /> <br /> === Опция -s ===<br /> <br /> --skip-chars=ЧИСЛО<br /> <br /> +ЧИСЛО<br /> <br /> Эта опция пропустит необходимое ЧИСЛО символов, прежде начала поиска повторов.<br /> <br /> echo -e пивовар\\nмыловар\\nсыровар | uniq -s 4<br /> <br /> пивовар<br /> <br /> Эту опцию можно комбинировать с другими, если записать без пробела между -s и ЧИСЛОМ:<br /> <br /> echo -e 111222\\n111333\\n111444 | uniq -s3 -c<br /> <br /> 1 111222<br /> 1 111333<br /> 1 111444<br /> <br /> Можно также ставить просто: uniq +3.<br /> <br /> === Опция -w ===<br /> <br /> --check-chars=ЧИСЛО<br /> <br /> Позволяет сравнивать на уникальность указанное ЧИСЛО символов в каждой строке:<br /> <br /> echo -e перестройка\\nпеределка\\nперестрелка | uniq -w4<br /> перестройка<br /> <br /> Работает эта опция и в сочетании с опциями пропуска слов или символов:<br /> <br /> echo -e перестройка\\nпеределка\\nперестрелка | uniq -s2 -w2<br /> перестройка<br /> <br /> Опции --help и --version общеизвестны, останавливаться на них мы не будем.<br /> <br /> Остается добавить, что команда uniq принимает в качестве аргументов не только файлы, которые проверяются на уникальность, но и файлы, куда результат проверки будет записан:<br /> <br /> uniq имя_файла_входящего имя_файла_выходящего<br /> <br /> == Команда uniq и символы кириллицы ==<br /> <br /> Новые версии программы с русскими буквами работают адекватно (версия 5.97 с некоторыми опциями неадекватно обращалась с кириллицей; версия 6.4 никаких нареканий не вызывает).<br /> <br /> == Резюме команды uniq ==<br /> <br /> Сырая и не самая необходимая команда (несмотря на маститых авторов: Richard Stallman и David MacKenzie). Следует обновить до новейшей версии, так как в версии 5.97 замечены ошибки. Для отбраковки одинаковых строк советую, вместо команды uniq, применять команду sort -u.<br /> <br /> <br /> ----<br /> Информация взята с [http://open-club.ru/main/reading/HuMan_uniq open-club.ru]</div>

Langator