大数据Spark实时处理--问题处理

问题一：telnet: connect to address 192.168.131.66: Connection refused
已解决，修改flume01.conf里的localhost为spark000
1）查看是否已安装

[hadoop@spark000 ~]$ rpm -qa |grep telnet-server
[hadoop@spark000 ~]$ rpm -qa |grep telnet
[hadoop@spark000 ~]$ rpm -qa |grep xinetd

2）安装

[root@spark000 ~]# yum -y install telnet-server.x86_64
[root@spark000 ~]# yum -y install telnet.x86_64
[root@spark000 ~]# yum -y install xinetd.x86_64

3）添加配置文件

[root@spark000 xinetd.d]# vi telnet
[root@spark000 xinetd.d]# pwd
/etc/xinetd.d

service telnet
{
disable = no    #telnet服务器是否打开，yes=不可用，no=可用
flags = REUSE
socket_type = stream
wait = no
user = root
server = /usr/sbin/in.telnetd
log_on_failure += USERID
}

通过以下命令，查看了44444端口，只有本机才能telnet连接
[root@spark000 ~]# netstat -nultp
tcp6 0 0 127.0.0.1:44444 :::* LISTEN 7673/java

所以，spark000这个ip地址是telnet不通的
[root@spark000 ~]# telnet spark000 44444
Trying 192.168.131.66...
telnet: connect to address 192.168.131.66: Connection refused

是因为在配置flume01.conf时，配置的localhost的原因吧
# 通过netcat、本机以及44444端口来接收数据
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

所以，依次启动了flume03、flume02、flume01后，
我只能在flume03上，看到了gifshow、pk等信息的接收
在flume02上，看到了imooc信息的接收
在flume01上，无信息接收

这样的理解

现在，我要在flume01看到信息的加载过程，将上述的localhost改为spark000。

问题二：增加log-ss后，子pom.xml中导依赖报错：Could not transfer artifact org.apache.spark:spark-streaming_2.12:pom:${spark.version} from/to aliyun (http://maven.aliyun.com/nexus/content/groups/public): TransferFailedException
已解决，在主pom文件中添加spark-streaming_2.12依赖问题
在这里，更改了本地Maven的指定路径，并多reload几次，莫名其妙就ok了
- ① File--->Settings--->Maven
- ② 将Maven路径改为本地路径
- ③ Maven home path：D:/maven_3.5.0/apache-maven-3.5.0/apache-maven-3.5.0
- ④ User settings file：C:\Users\jieqiong\.m2\settings.xml
- ⑤ 勾选：Always update snapshots

            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-streaming_2.12</artifactId>
<!--            <version>${spark.version}</version>-->
                <version>3.0.0</version>
            </dependency>

已解决，子pom添加依赖问题
将最新版本的改为指定版本

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.12</artifactId>
        </dependency>
    </dependencies>

问题三：mysql-connector、spark-core、spark-sql依赖导入问题
下载官网：org.apache.spark : spark-sql_2.12 : 3.0.0 - Maven Central Repository Search
mysql导入到：C:\Users\jieqiong\.m2\repository\mysql\mysql-connector-java\5.1.47
mysql导入到：D:\maven_3.5.0\apache-maven-3.5.0\repository\org\apache\spark\spark-streaming_2.12\3.0.0
spark-sql导入到：C:\Users\jieqiong\.m2\repository\org\apache\spark\spark-sql_2.12\3.0.0
spark-sql导入到：：D:\maven_3.5.0\apache-maven-3.5.0\repository\org\apache\spark\spark-sql_2.12\3.0.0
然后重新加载即可。
spark-core可以自动加载依赖，不需要额外下载。

问题四：wc.scala运行报错---org.apache.spark.sql.internal.StaticSQLConf$

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/internal/StaticSQLConf$
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.internal.StaticSQLConf$

org.apache.spark : spark-catalyst_2.12 : 3.0.0 - Maven Central Repository Search

<dependency>
     <groupId>org.apache.spark</groupId>
     <artifactId>spark-catalyst_2.11</artifactId> 
     <version>${spark.version}</version>
     <scope>compile</scope>
</dependency>

问题五：wc.scala运行报错---org.antlr.v4.runtime.misc.ParseCancellationException

Exception in thread "main" java.lang.NoClassDefFoundError: org/antlr/v4/runtime/misc/ParseCancellationException
Caused by: java.lang.ClassNotFoundException: org.antlr.v4.runtime.misc.ParseCancellationException

问题六：org.codehaus.janino.InternalCompilerException

java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException
Caused by: java.lang.ClassNotFoundException: org.codehaus.janino.InternalCompilerException

posted @ 2022-04-11 16:25 酱汁怪兽阅读(566) 评论(0) 收藏举报

刷新页面返回顶部

酱汁怪兽

大数据Spark实时处理--问题处理

公告