Tanque autônomo

• Edite jetson-ev3 / toolchain / CROSSTOOL e defina o caminho para o diretório onde este arquivo está.

  # edite com seu caminho para o conjunto de ferramentas 
 linker_flag:"-L / home / andrei / ml / jetson-ev3 / conjunto de ferramentas"  

  [email protected]:~ / ml / jetson-ev3 $ # this is run on my PC 
 [email protected]:~ $ # this is on Jetson Nano 
 [e-mail protegido]:~ $ $ #esta in no EV3  

  [email protected]:~ $ ssh [email protected]  

• jetson-ev3 / apps / ev3 / ping_pong / ping.capnp - define uma interface entre um cliente, que será executado no Isaac Robot Engine, e um servidor, que será executado no EV3.
• jetson-ev3 / apps / ev3 / ping_pong / PongEv3Server.cpp este é o servidor que roda no bloco EV3
• jetson-ev3 / apps / ev3 / ping_pong / Pong.cpp isso foi alterado para chamar o servidor Pong em execução no EV3

  [email protected]:~ / ml / jetson-ev3 $ bazel build --config =ev3dev // apps / ev3 / ping_pong:ev3_pong  

  [email protected]:~ / ml / jetson-ev3 $  /engine/build/deploy.sh --remote_user  -p // apps / ev3 / ping_pong:ping_pong-pkg -d jetpack43 -h   

  [email protected]:~ $ ./ev3_pong ev3dev.local:9999 
 [email protected]:~ / deploy / andrei / ping_pong-pkg $. / apps / ev3 / ping_pong  

  [email protected]:~ / ml / jetson-ev3 $ bazel build --config =ev3dev // packages / ev3 / ev3dev:ev3_control_server 
 [email protegido]:~ $ ./ev3_control_server ev3dev.local:9000  

• command (cmd:Control) - toma as velocidades lineares e angulares como parâmetros e controla os dois motores para atingir as velocidades solicitadas
• state () -> (state:Dynamics); - retorna as velocidades lineares e angulares reais do robô

Parte 2:Construindo o robô

Parte 3:Isaac Apps

• gráfico - nós:esta parte define todos os componentes que fazem o aplicativo. Um nó também pode ser outro gráfico definido em outro arquivo. O nó “voice_detection” do exemplo é um subgráfico.
• gráfico - bordas:Esta parte define o fluxo de mensagens entre os nós. Uma borda tem uma origem e um destino. Por exemplo, o comando detectado do nó “voice_detection” (subgrafo) será enviado ao componente que gera metas.
• configuração - esta parte configura os nós do gráfico

  {
 "name":"voice_control", 
 "modules":[
 "// apps / ev3 / voice_control:voice_control_goal_generator ", 
" @ com_nvidia_isaac // pacotes / navegação ", 
" @ com_nvidia_isaac // pacotes / planejador "
], 
" config_files ":[
" apps / ev3 / voice_control / model / isaac_vcd_model.metadata.json "
], 
" config ":{
" 2d_ev3.ev3_hardware.ev3 ":{
" isaac.Ev3Driver ":{
" endereço ":" ev3dev.local ", 
" porta ":9000 
} 
}, 
" navigation.imu_odometry.odometry ":{ 
 "DifferentialBaseWheelImuOdometry":{
 "use_imu":false 
} 
}, 
 "commander.robot_remote":{
 "isaac.navigation.RobotRemoteControl ":{
" angular_speed_max ":0,6, 
" linear_speed_max ":0,3 
} 
}, 
" websight ":{
" WebsightServer ":{
 "webroot":"external / com_nvidia_isaac / packages / sight / webroot", 
 "ui_config":{
 "windows":{
 "Detecção de comando de voz":{ 
 "renderer":"plot" , 
 "escurece":{
 "largura":400, 
 "altura":200 
}, 
 "canais":[
 {
 "nome":"voice_control / voice_detection.voice_command_detector / isaac.audio.VoiceCommandConstruction / voice_command_id", 
 "ativo":verdadeiro 
} 
] 
} 
} 
} 
} 
}, 
 "navigation.shared_robot_model":{
 "SphericalRobotShapeComponent":{
 "círculos":[
 {"centro":[0,0, 0,0], "raio":0,075}, 
 {"centro":[0,02, 0,03464], "raio":0,055}, 
 {"centro":[0,02, -0,03464], "raio":0,055}, 
 {"centro":[-0,04, 0,0], "raio":0,055}, 
 {"centro":[0,0525, 0,09093 ], "raio":0,035}, 
 {"centro":[0,0525, -0,09093], "raio":0,035}, 
 {"centro":[-0,105, 0,0], "raio ":0,035} 
] 
} 
}, 
" navigation.control.lqr ":{
" isaac.planner.DifferentialBaseLqrPlanner ":{
 "manual_mode_channel":"commander.robot_remote / isaac.navigation.RobotRemoteControl / manual_mode" 
} 
}, 
 "navigation.control.control":{
 "isaac.planner.DifferentialBaseControl":{
 "manual_mode_channel":"commander.robot_remote / isaac.navigation.RobotRemoteControl / manual_mode" 
 } 
} 
}, 
 "gráfico":{
 "nós":[
 {
 "nome":"voz_control_componentes", 
 "componentes":[
 {
 "nome":"message_ledger", 
 "tipo":"isaac ::alice ::MessageLedger" 
}, 
 {
 "nome":"goal_generator", 
 "tipo":"isaac ::VoiceControlGoalGenerator" 
} 
] 
}, 
 {
 "name":"voice_detection", 
 "subgraph":"apps / ev3 / voice_control / voice_command_detection.subgraph.json" 
}, 
 {
 "nome":"2d_ev3", 
 "subgráfico":"apps / ev3 / 2d_ev3.subgraph.json" 
}, 
 
 {
 "nome":"navegação", 
 "subgraph":"@ com_nvidia_isaac // packages / navigation / apps / different_base_navigation.subgraph.json" 
}, 
 {
 "name":"commander", 
 "subgráfico":"@ com_nvidia_isaac // pacotes / navegação / apps / diferencial_base_commander.subgraph.json "
} 
], 
" bordas ":[
 {
" fonte ":" voice_detection.subgraph / interface /ected_command " , 
 "target":"voice_control_components / goal_generator /ected_command" 
}, 
 {
 "source":"voice_control_components / goal_generator / goal", 
 "target" :"navigation.subgraph / interface / goal" 
}, 
 {
 "source":"2d_ev3.subgraph / interface / base_state", 
 "target":"navegação. subgrafo / interface / estado "
}, 
 {
" fonte ":" navigation.subgraph / interface / command ", 
" target ":" commander.subgraph / interface / controle "
}, 
 {
" source ":" commander.subgraph / interface / command ", 
" target ":" 2d_ev3.subgraph / interface / base_command "
}, 
 {
 "fonte":"2d_ev3.subgraph / interface / flatscan", 
 "target":"navigation.subgraph / interface / flatscan_for_localization" 
}, 
 {
 "fonte":"2d_ev3.subgraph / interface / flatscan", 
 "destino":"navegação. subgrafo / interface / flatscan_for_obstacles "
} 
] 
} 
}  

  {
 "modules":[
 "@ com_nvidia_isaac // packages / audio", 
 "@ com_nvidia_isaac // packages / ml:tensorflow "
], 
" gráfico ":{
" nós ":[
 {
" nome ":" subgrafo ", 
" componentes ":[
 {
" nome ":" message_ledger ", 
" tipo ":" isaac ::alice ::MessageLedger "
}, 
 {
 "nome":"interface", 
 "tipo":"isaac ::alice ::Subgrafo" 
} 
] 
}, 
 {
 "nome":"audio_capture", 
 "componentes":[
 {
 "nome":"ml", 
 "tipo":"isaac ::alice ::MessageLedger "
}, 
 {
" nome ":" isaac.audio.AudioCapture ", 
" type ":" isaac ::audio ::AudioCapture "
} 
] 
}, 
 {
 "nome":"voice_command_detector", 
 "componentes":[
 {
 " nome ":" ml ", 
" tipo ":" isaac ::alice ::MessageLedger "
}, 
 {
" nome ":" isaac.audio.VoiceCommandFeatureExtraction " , 
 "tipo":"isaac ::audio ::VoiceCommandFeatureExtraction" 
}, 
 {
 " nome ":" isaac.ml.TensorflowInference ", 
" tipo ":" isaac ::ml ::TensorflowInference "
}, 
 {
" nome ":" isaac. audio.VoiceCommandConstruction ", 
" type ":" isaac ::audio ::VoiceCommandConstruction "
} 
] 
} 
], 
" bordas " :[
 {
 "source":"audio_capture / isaac.audio.AudioCapture / audio_capture", 
 "target":"voice_command_detector / isaac.audio.VoiceCommandFeatureExtraction / audio_packets" 
 }, 
 {
 "source":"voice_command_detector / isaac.audio.VoiceCommandFeatureExtraction / feature_tensors", 
 "target":"voice_command_detector / isaac.ml.TensorflowInference / input_tensors" 
 }, 
 {
 "source":"voice_command_detector / isaac.ml.TensorflowInference / output_tensors", 
 "target":"voice_command_detector / isaac.audio.VoiceCommandConstruction / keyword_probabilities" 
 }, 
 {
 "source":"voice_command_detector / isaac.audio.VoiceCommandConstruction /usted_command", 
 "target":"subgraph / interface /ected _command "
} 
] 
}, 
" config ":{
" audio_capture ":{
" isaac.audio.AudioCapture ":{
 "sample_rate":16000, 
 "num_channels":1, 
 "audio_frame_in_milliseconds":100, 
 "ticks_per_frame":5 
} 
}, 
 "voice_command_detector":{
 "isaac.audio.VoiceCommandFeatureExtraction":{
 "audio_channel_index":0, 
 "minimum_time_between_inferences":0,1 
}, 
 "isaac.ml.TensorflowInference":{
 "model_file_path":"apps / ev3 / voice_control / model / isaac_vcd_model.pb", 
 "config_file_path":"apps / ev3 / voice_control / model / isaac_vcd_config. pb "
}, 
" isaac.audio.VoiceCommandConstruction ":{
" command_list ":[
" jetson ", 
" jetson left ", 
 "jetson right" 
], 
 "command_ids":[0, 1, 2], 
 "max_frames_allowed_after_keyword_detected":14 
} 
} 
 } 
}  

Parte 4:Executando Isaac Apps no EV3

• app de joystick - controla um robô DifferentialBase com um joystick. Possui um LiDAR para geração de mapas locais

• gmapping distribuído:ev3 e host do robô Kaya - permite criar um GMap usando o robô EV3 e YDLIDAR X4.
• navegação completa - adicionei subgráficos para hardware e navegação 2D para o robô EV3 para que possam ser usados ​​por outros aplicativos tão facilmente quanto usar Carter ou Kaya.

Parte 5:Odometria

  [email protected]:~ / ml / jetson-ev3 $ ./engine/build/deploy.sh --remote_user andrei -p // apps / ev3:ev3 -pkg -d jetpack43 -h 192.168.0.173 
 
 [email protegido]:~ $ brickrun ./ev3_control_server ev3dev.local:9000 
 
 [email protegido]:~ / deploy / andrei / ev3-pkg $ ./apps/ev3/ev3 --graph ./apps/assets/maps/map.graph.json --config ./apps/assets/maps/map.config.json  

• velocidade linear
• velocidade angular

• quando ambas as velocidades do motor são iguais - a velocidade linear é igual à velocidade certa (e à esquerda)
• quando a velocidade do motor esquerdo é oposta à velocidade do motor direito, a velocidade linear é 0, o tanque girará no lugar
• quando a velocidade do motor esquerdo é 0 (caso descrito à direita). A velocidade linear é a metade da velocidade certa (o centro do robô se move em um arco menor).

Parte 6:Reunindo tudo

  {
 "source":"voice_detection.subgraph / interface /ected_command", 
 "target":"voice_control_components / goal_generator /ected_command" 
}  

  auto proto =rx_detected_command (). getProto (); 
 int id =proto.getCommandId (); 
 auto goal_proto =tx_goal (). initProto (); 
 goal_proto.setStopRobot (true); 
 goal_proto.setTolerance (0.1); 
 goal_proto.setGoalFrame ("robô"); 
 ToProto (Pose2d ::Rotation ( 90), goal_proto.initGoal ()); 
 tx_goal (). Publish ();  

  {
 "source":"voice_control_components / goal_generator / goal", 
 "target":"navigation.subgraph / interface / goal" 
}  

Parte 7:Mapeamento

  [email protected]:~ / ml / jetson-ev3 $ ./engine/build/deploy.sh --remote_user andrei -p // apps / ev3:gmapping_distributed_ev3 -pkg -d jetpack43 -h 192.168.0.218 
 
 [email protegido]:~ / deploy / andrei / gmapping_distributed_ev3-pkg $ ./apps/ev3/gmapping_distributed_ev3 
 
 [email protegido]:~ / ml / jetson-ev3 $ bazel executar apps / ev3:gmapping_distributed_host  

  "tcp_subscriber":{
 "isaac.alice.TcpSubscriber":{
 "porta":5000, 
 "host" :"192.168.0.218" 
} 
}