2022Tencent Rhino-bird Open-source Training Program—Angel-Peishun Jiao-Week1

[lyjps]

本周工作

• Angel项目的拉取
• Angel项目的编译与本地运行
• 跑通Demo-DeepWalk

环境配置

• JDK: 1.8.0_282
• Scala version: 2.11.8
• Maven version: 3.6.3
• Hadoop version: 2.7.1
• Protobuf：2.5.0

项目的构建与运行

• 拉取代码：git clone https://github.com/Tencent/angel
• 编译：mvn clean package -Dmaven.test.skip=true
• 运行DeepWalkExample：目录spark-on-angel/example/src/main/local/DeepWalkExample，运行结果如下图所示

本周遇到的问题与解决办法

• Q1:Protobuf版本过高与Hadoop不适配
  S1:Protobuf版本改成2.5.0即可
• Q2:Protobuf版本过低，安装过程中与mac(M1)不适配
  S2:在目录src/google/protobuf/stubs/platform_macros.h for version 2.5.0中添加#elif defined(arm64) #define GOOGLE_PROTOBUF_ARCH_ARM 1 #define GOOGLE_PROTOBUF_ARCH_64_BIT 1
  
• Q3:Scala版本与jdk不匹配
  S3:之前使用的版本是JDK11，改为JDK8后适配Scala2.11.8
• Q4: maven编译错误(暂时不明白原因但找到了解决办法)
  [ERROR] error while loading , Error accessing /Users/xxx/.m2/repository/com/github/fommil/netlib/netlib-native_system-linux-
  armhf/1.1/netlib-native_system-linux-armhf-1.1-natives.jar
  S4：删除了一个jar包（具体忘记哪个了），并通过pom重新倒入即可
• Q5:运行DeepWalk时发现找不到类
  S5:修改IDEA的configuration，把provided的包也引入进来
  

下周计划

• 阅读struct2vec论文以及相关资料
• 学习scala相关语法
• 进行结构相似度计算