Maison  >  Questions et réponses  >  le corps du texte

java - hadoop数据查找

使用hadoop查找文件中是否含有某些字符串,也就是要查找出set(string)中每个string对应的那一行,每条数据都不重复,请问怎么可以快速的找到呢?我写了简单的

# map.sh
awk -F "\03" '$3==xxx{print $0}' -

结果慢的要死,一直动不都不懂,请问有快点的办法吗?最好是可以一次性找出集合中所有的

阿神阿神2716 Il y a quelques jours570

répondre à tous(1)je répondrai

  • ringa_lee

    ringa_lee2017-04-18 10:50:19

    Écrivez MR pour cela. Si vous souhaitez éviter les problèmes, importez simplement les données dans la ruche et utilisez SQL pour les résoudre

    répondre
    0
  • Annulerrépondre