目录

一、环境准备

1、基础hadoop环境安装

2、Sqoop安装

二、数据准备

1、MySQL数据准备

二、MySQL数据导入到HDFS

1、基础Sqoop命令

2、带查询语句的导入

3、导入指定列

一、环境准备

1、基础hadoop环境安装

【大数据入门核心技术-Zookeeper】（五）ZooKeeper集群搭建

【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建

【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建

【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建

【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建

【大数据入门核心技术-HBase】（三）HBase2.2.2非高可用环境搭建

【大数据入门核心技术-HBase】（四）HBase2.2.2高可用集群搭建

2、Sqoop安装

【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建

二、数据准备

1、MySQL数据准备

drop database if exists sqoop_test;
create database if not exists sqoop_test;
use sqoop_test;
​
drop table if exists student;
create table if not exists student(sid int primary key,sname varchar(100),gender int not null,age int not null
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1;
​
insert into student(sid,sname,gender,age) values
(1,'zhangsan',0,12),
(2,'lisi',1,56),
(3,'wangwu',1,109),
(4,'lucy',0,116),
(5,'anli',1,85),
(6,'wangba',1,12);
​
select * from student;

二、MySQL数据导入到HDFS

1、基础Sqoop命令

sqoop import \
--connect jdbc:mysql://hadoop101:3306/sqoop_test?useSSL=false \
--username root \
--password 123456 \
--table student \
--target-dir /sqooptest \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by ','

导入成功后，去hdfs查询：

hadoop fs -ls /sqooptest/hadoop fs -cat /sqooptest/part-m-00000

2、带查询语句的导入

sqoop import \
--connect jdbc:mysql://hadoop101:3306/sqoop_test?useSSL=false \
--username root \
--password 123456 \
--query 'select sid,sname from student where $CONDITIONS ' \
--target-dir /sqooptest/query \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by ','

导入成功后，去hdfs查询：

hadoop fs -ls /sqooptest/queryhadoop fs -cat /sqooptest/query/part-m-00000

3、导入指定列

sqoop import \
--connect jdbc:mysql://hadoop101:3306/sqoop_test?useSSL=false \
--username root \
--password 123456 \
--table student \
--columns sid,age \
--target-dir /sqooptest/coln_test \
--num-mappers 1 \
--fields-terminated-by '|'

导入成功后，去hdfs查询：

hadoop fs -ls /sqooptest/coln_test hadoop fs -cat /sqooptest/coln_test /part-m-00000