技术解析

文本多列对比去重问题求助;对以|分割后的第二列去重,同时对第三列比较大小留最大得条目,输出。
0
2021-06-23 10:59:39
idczone
文本多列对比去重问题求助;对以|分割后的第二列去重,同时对第三列比较大小留最大得条目,输出。
文本格式如下
2018-06-17 22:04:35|/music/2017/12/马车夫之歌-阎维文.mp3|11771904
2018-06-17 22:04:28|/music/2017/12/马车夫之歌-阎维文.mp3|18481152
2018-06-17 22:05:55|/music/2017/12/马车夫之歌-阎维文.mp3|3325952
2018-06-17 22:04:11|/music/2017/12/马车夫之歌-阎维文.mp3|3973120
2018-06-17 22:05:07|/music/2017/12/马车夫之歌-阎维文.mp3|6602752
2018-06-17 22:01:41|/music/2017/12/马车夫之歌-阎维文.mp3|8519680
2018-06-17 22:45:44|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|0
2018-06-17 22:45:16|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|1744896
2018-06-17 22:46:18|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5447680
2018-06-17 22:45:54|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5455872
2018-06-17 22:39:24|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5988352
2018-06-17 22:08:28|/music/2017/12/我的花儿-阎维文.mp3|4702208
2018-06-17 22:08:02|/music/2017/12/我的花儿-阎维文.mp3|8577024
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|28577
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|0
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|2813468
excel

数据比较多 用 awk 能实现吗 搜了半天没找到解决办法

大概这样吧
awk -F'|' '{if(a[$2] < $3) {a[$2] = $3; b[$2] = $0}} END{for(i in b) print b[i]}'

最终仅输出一行的意思?

可用,很神奇,麻烦问问,这个具体是 awk 的什么用法

「第二」是至下标 2 吧?否则按语文理解你这去重只剩下一行啊

来个 Perl 版本的:
perl -F'\|' -ane '{$h{$F[1]}=$_ and $c{$F[1]}=$F[2] if $c{$F[1]} < $F[2]}END{print for values %h}'

再来个 Ruby 版的:
ruby -F'\|' -ane 'x||=[]; x<<$F;END{x.group_by{|e|e[1]}.map{|_,y|y.max_by{|l|l[2].to_i}*"|"}.each{|l|puts l}}'

楼下再补充个 C 版本:

就是基本操作呀;)
具体你可以看下这个链接 https://www.tutorialspoint.com/awk/awk_workflow.htm

awk 'BEGIN{FS=OFS="|";} {if($2 in a){if($3>a[$2]){a[$2]=$3;b[$2]=$0;}}else{a[$2]=$3;b[$2]=$0;}} END{for(i in b){print b[i]}}' aa.unl

6666 一把骚操作,很优秀

数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服