You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
b4rtaz@raspberrypi3:~/distributed-llama $ ./main inference --prompt "The Eiffel Tower is" --weights-float-type q40 --buffer-float-type q80 --nthreads 4 --model ../dllama_llama-2-7b_q40.bin --tokenizer ../dllama-llama2-tokenizer.t --steps 64 --workers 10.0.0.4:9998 10.0.0.1:9998 10.0.0.2:9998
💡 arch: llama2
💡 dim: 4096
💡 hiddenDim: 11008
💡 nLayers: 32
💡 nHeads: 32
💡 nKvHeads: 32
💡 vocabSize: 32000
💡 seqLen: 2048
💡 nSlices: 4
💡 ropeTheta: 10000.0
📄 bosId: 1
📄 eosId: 2
...
⏩ Loaded 4241833984 bytes
🔶 G 218 ms I 163 ms T 55 ms S 2670078 kB R 784 kB The
🔶 G 229 ms I 163 ms T 66 ms S 2046 kB R 784 kB E
🔶 G 200 ms I 150 ms T 50 ms S 2046 kB R 784 kB iff
🔶 G 248 ms I 166 ms T 82 ms S 2046 kB R 784 kB el
🔶 G 202 ms I 152 ms T 50 ms S 2046 kB R 784 kB Tower
🔶 G 205 ms I 163 ms T 42 ms S 2046 kB R 784 kB is
🔶 G 206 ms I 159 ms T 46 ms S 2046 kB R 784 kB a
🔶 G 206 ms I 153 ms T 53 ms S 2046 kB R 784 kB monument
🔶 G 206 ms I 167 ms T 39 ms S 2046 kB R 784 kB of
🔶 G 207 ms I 166 ms T 41 ms S 2046 kB R 784 kB iron
🔶 G 209 ms I 152 ms T 56 ms S 2046 kB R 784 kB ,
🔶 G 206 ms I 145 ms T 61 ms S 2046 kB R 784 kB which
🔶 G 207 ms I 161 ms T 45 ms S 2046 kB R 784 kB is
🔶 G 235 ms I 167 ms T 68 ms S 2046 kB R 784 kB the
🔶 G 203 ms I 156 ms T 47 ms S 2046 kB R 784 kB symbol
🔶 G 217 ms I 167 ms T 50 ms S 2046 kB R 784 kB of
🔶 G 214 ms I 168 ms T 45 ms S 2046 kB R 784 kB Paris
🔶 G 211 ms I 167 ms T 44 ms S 2046 kB R 784 kB .
🔶 G 212 ms I 159 ms T 50 ms S 2046 kB R 784 kB compag
🔶 G 209 ms I 164 ms T 45 ms S 2046 kB R 784 kB ny
🔶 G 206 ms I 152 ms T 53 ms S 2046 kB R 784 kB of
🔶 G 207 ms I 151 ms T 55 ms S 2046 kB R 784 kB the
🔶 G 232 ms I 175 ms T 57 ms S 2046 kB R 784 kB E
🔶 G 214 ms I 160 ms T 54 ms S 2046 kB R 784 kB iff
🔶 G 262 ms I 182 ms T 80 ms S 2046 kB R 784 kB el
🔶 G 204 ms I 154 ms T 50 ms S 2046 kB R 784 kB Tower
🔶 G 232 ms I 168 ms T 63 ms S 2046 kB R 784 kB .
🔶 G 255 ms I 175 ms T 79 ms S 2046 kB R 784 kB It
🔶 G 218 ms I 156 ms T 62 ms S 2046 kB R 784 kB is
🔶 G 233 ms I 166 ms T 67 ms S 2046 kB R 784 kB the
🔶 G 204 ms I 160 ms T 44 ms S 2046 kB R 784 kB most
🔶 G 211 ms I 163 ms T 48 ms S 2046 kB R 784 kB visited
🔶 G 210 ms I 165 ms T 45 ms S 2046 kB R 784 kB monument
🔶 G 208 ms I 161 ms T 46 ms S 2046 kB R 784 kB in
🔶 G 207 ms I 158 ms T 49 ms S 2046 kB R 784 kB the
🔶 G 209 ms I 158 ms T 51 ms S 2046 kB R 784 kB world
🔶 G 206 ms I 154 ms T 52 ms S 2046 kB R 784 kB .
🔶 G 208 ms I 162 ms T 46 ms S 2046 kB R 784 kB The
🔶 G 208 ms I 158 ms T 50 ms S 2046 kB R 784 kB tower
🔶 G 244 ms I 170 ms T 73 ms S 2046 kB R 784 kB was
🔶 G 220 ms I 157 ms T 62 ms S 2046 kB R 784 kB built
🔶 G 244 ms I 164 ms T 79 ms S 2046 kB R 784 kB to
🔶 G 220 ms I 163 ms T 57 ms S 2046 kB R 784 kB comm
🔶 G 221 ms I 164 ms T 57 ms S 2046 kB R 784 kB emor
🔶 G 221 ms I 167 ms T 54 ms S 2046 kB R 784 kB ate
🔶 G 216 ms I 164 ms T 52 ms S 2046 kB R 784 kB the
🔶 G 214 ms I 160 ms T 53 ms S 2046 kB R 784 kB cent
🔶 G 210 ms I 160 ms T 50 ms S 2046 kB R 784 kB en
🔶 G 210 ms I 157 ms T 52 ms S 2046 kB R 784 kB ary
🔶 G 212 ms I 166 ms T 46 ms S 2046 kB R 784 kB of
🔶 G 211 ms I 161 ms T 49 ms S 2046 kB R 784 kB the
🔶 G 212 ms I 163 ms T 49 ms S 2046 kB R 784 kB French
🔶 G 227 ms I 168 ms T 58 ms S 2046 kB R 784 kB Revolution
🔶 G 219 ms I 166 ms T 52 ms S 2046 kB R 784 kB ,
🔶 G 214 ms I 167 ms T 46 ms S 2046 kB R 784 kB and
🔶 G 214 ms I 168 ms T 45 ms S 2046 kB R 784 kB was
🔶 G 212 ms I 165 ms T 46 ms S 2046 kB R 784 kB named
🔶 G 246 ms I 173 ms T 73 ms S 2046 kB R 784 kB after
🔶 G 259 ms I 180 ms T 79 ms S 2046 kB R 784 kB the
🔶 G 251 ms I 189 ms T 61 ms S 2046 kB R 784 kB engineer
🔶 G 213 ms I 166 ms T 47 ms S 2046 kB R 784 kB Gust
🔶 G 282 ms I 176 ms T 105 ms S 2046 kB R 784 kB ave
🔶 G 225 ms I 173 ms T 52 ms S 2046 kB R 784 kB E
🔶 G 220 ms I 166 ms T 53 ms S 2046 kB R 784 kB iff
Generated tokens: 64
Avg generation time: 219.08 ms
Avg inference time: 163.42 ms
Avg transfer time: 55.25 ms
2 x Raspberry Pi 5 8GB
b4rtaz@raspberrypi3:~/distributed-llama $ ./main inference --prompt "The Eiffel Tower is" --weights-float-type q40 --buffer-float-type q80 --nthreads 4 --model ../dllama_llama-2-7b_q40.bin --tokenizer ../dllama-llama2-tokenizer.t --steps 64 --workers 10.0.0.4:9998
💡 arch: llama2
💡 dim: 4096
💡 hiddenDim: 11008
💡 nLayers: 32
💡 nHeads: 32
💡 nKvHeads: 32
💡 vocabSize: 32000
💡 seqLen: 2048
💡 nSlices: 2
💡 ropeTheta: 10000.0
📄 bosId: 1
📄 eosId: 2
...
⏩ Loaded 4241833984 bytes
🔶 G 370 ms I 244 ms T 126 ms S 1779278 kB R 522 kB The
🔶 G 369 ms I 254 ms T 115 ms S 590 kB R 522 kB E
🔶 G 344 ms I 247 ms T 97 ms S 590 kB R 522 kB iff
🔶 G 452 ms I 352 ms T 100 ms S 590 kB R 522 kB el
🔶 G 363 ms I 280 ms T 83 ms S 590 kB R 522 kB Tower
🔶 G 311 ms I 235 ms T 76 ms S 590 kB R 522 kB is
🔶 G 379 ms I 291 ms T 87 ms S 590 kB R 522 kB the
🔶 G 348 ms I 258 ms T 89 ms S 590 kB R 522 kB most
🔶 G 344 ms I 258 ms T 85 ms S 590 kB R 522 kB recogn
🔶 G 345 ms I 261 ms T 84 ms S 590 kB R 522 kB izable
🔶 G 320 ms I 245 ms T 75 ms S 590 kB R 522 kB land
🔶 G 346 ms I 257 ms T 88 ms S 590 kB R 522 kB mark
🔶 G 345 ms I 256 ms T 89 ms S 590 kB R 522 kB of
🔶 G 314 ms I 250 ms T 64 ms S 590 kB R 522 kB Paris
🔶 G 347 ms I 264 ms T 82 ms S 590 kB R 522 kB and
🔶 G 345 ms I 259 ms T 86 ms S 590 kB R 522 kB France
🔶 G 346 ms I 253 ms T 93 ms S 590 kB R 522 kB .
🔶 G 345 ms I 254 ms T 89 ms S 590 kB R 522 kB zwar
🔶 G 304 ms I 239 ms T 64 ms S 590 kB R 522 kB te
🔶 G 348 ms I 256 ms T 92 ms S 590 kB R 522 kB g
🔶 G 316 ms I 252 ms T 64 ms S 590 kB R 522 kB or
🔶 G 336 ms I 256 ms T 80 ms S 590 kB R 522 kB illa
🔶 G 313 ms I 249 ms T 63 ms S 590 kB R 522 kB free
🔶 G 349 ms I 255 ms T 94 ms S 590 kB R 522 kB download
🔶 G 349 ms I 260 ms T 88 ms S 590 kB R 522 kB -
🔶 G 304 ms I 253 ms T 51 ms S 590 kB R 522 kB Gor
🔶 G 337 ms I 255 ms T 81 ms S 590 kB R 522 kB illa
🔶 G 346 ms I 251 ms T 95 ms S 590 kB R 522 kB ,
🔶 G 306 ms I 252 ms T 53 ms S 590 kB R 522 kB Gor
🔶 G 349 ms I 258 ms T 91 ms S 590 kB R 522 kB illa
🔶 G 350 ms I 255 ms T 95 ms S 590 kB R 522 kB ,
🔶 G 308 ms I 245 ms T 62 ms S 590 kB R 522 kB Gor
🔶 G 350 ms I 260 ms T 90 ms S 590 kB R 522 kB illa
🔶 G 353 ms I 261 ms T 92 ms S 590 kB R 522 kB ,
🔶 G 348 ms I 259 ms T 89 ms S 590 kB R 522 kB and
🔶 G 332 ms I 253 ms T 79 ms S 590 kB R 522 kB many
🔶 G 308 ms I 257 ms T 51 ms S 590 kB R 522 kB more
🔶 G 349 ms I 256 ms T 92 ms S 590 kB R 522 kB programs
🔶 G 308 ms I 247 ms T 60 ms S 590 kB R 522 kB .
🔶 G 354 ms I 258 ms T 95 ms S 590 kB R 522 kB
</s>
Generated tokens: 41
Avg generation time: 341.46 ms
Avg inference time: 257.78 ms
Avg transfer time: 83.27 ms
1 x Raspberry Pi 5 8GB
b4rtaz@raspberrypi3:~/distributed-llama $ ./main inference --prompt "The Eiffel Tower is" --weights-float-type q40 --buffer-float-type q80 --nthreads 4 --model ../dllama_llama-2-7b_q40.bin --tokenizer ../dllama-llama2-tokenizer.t --steps 64
💡 arch: llama2
💡 dim: 4096
💡 hiddenDim: 11008
💡 nLayers: 32
💡 nHeads: 32
💡 nKvHeads: 32
💡 vocabSize: 32000
💡 seqLen: 2048
💡 nSlices: 1
💡 ropeTheta: 10000.0
📄 bosId: 1
📄 eosId: 2
...
⏩ Loaded 4241833984 bytes
🔶 G 516 ms I 510 ms T 2 ms S 0 kB R 0 kB The
🔶 G 405 ms I 403 ms T 0 ms S 0 kB R 0 kB E
🔶 G 408 ms I 405 ms T 1 ms S 0 kB R 0 kB iff
🔶 G 446 ms I 438 ms T 8 ms S 0 kB R 0 kB el
🔶 G 406 ms I 404 ms T 1 ms S 0 kB R 0 kB Tower
🔶 G 445 ms I 437 ms T 8 ms S 0 kB R 0 kB is
🔶 G 406 ms I 405 ms T 0 ms S 0 kB R 0 kB an
🔶 G 407 ms I 405 ms T 0 ms S 0 kB R 0 kB iron
🔶 G 406 ms I 405 ms T 0 ms S 0 kB R 0 kB lattice
🔶 G 510 ms I 501 ms T 8 ms S 0 kB R 0 kB tower
🔶 G 443 ms I 436 ms T 6 ms S 0 kB R 0 kB located
🔶 G 449 ms I 442 ms T 7 ms S 0 kB R 0 kB on
🔶 G 408 ms I 404 ms T 1 ms S 0 kB R 0 kB the
🔶 G 408 ms I 405 ms T 1 ms S 0 kB R 0 kB Champ
🔶 G 442 ms I 436 ms T 6 ms S 0 kB R 0 kB de
🔶 G 408 ms I 406 ms T 0 ms S 0 kB R 0 kB Mars
🔶 G 448 ms I 440 ms T 7 ms S 0 kB R 0 kB in
🔶 G 410 ms I 407 ms T 0 ms S 0 kB R 0 kB Paris
🔶 G 473 ms I 462 ms T 10 ms S 0 kB R 0 kB ,
🔶 G 450 ms I 441 ms T 8 ms S 0 kB R 0 kB France
🔶 G 454 ms I 448 ms T 6 ms S 0 kB R 0 kB .
🔶 G 451 ms I 440 ms T 8 ms S 0 kB R 0 kB Unterscheidung
🔶 G 408 ms I 408 ms T 0 ms S 0 kB R 0 kB .
🔶 G 447 ms I 438 ms T 9 ms S 0 kB R 0 kB Access
🔶 G 454 ms I 444 ms T 10 ms S 0 kB R 0 kB to
🔶 G 411 ms I 409 ms T 1 ms S 0 kB R 0 kB the
🔶 G 451 ms I 441 ms T 9 ms S 0 kB R 0 kB tower
🔶 G 452 ms I 446 ms T 6 ms S 0 kB R 0 kB '
🔶 G 454 ms I 442 ms T 11 ms S 0 kB R 0 kB s
🔶 G 451 ms I 443 ms T 8 ms S 0 kB R 0 kB upper
🔶 G 452 ms I 442 ms T 9 ms S 0 kB R 0 kB platforms
🔶 G 449 ms I 440 ms T 9 ms S 0 kB R 0 kB is
🔶 G 412 ms I 411 ms T 1 ms S 0 kB R 0 kB by
🔶 G 412 ms I 410 ms T 0 ms S 0 kB R 0 kB st
🔶 G 412 ms I 410 ms T 0 ms S 0 kB R 0 kB airs
🔶 G 411 ms I 410 ms T 0 ms S 0 kB R 0 kB .
🔶 G 447 ms I 438 ms T 9 ms S 0 kB R 0 kB [
🔶 G 415 ms I 411 ms T 0 ms S 0 kB R 0 kB 1
🔶 G 455 ms I 448 ms T 7 ms S 0 kB R 0 kB 5
🔶 G 413 ms I 411 ms T 1 ms S 0 kB R 0 kB 3
🔶 G 455 ms I 447 ms T 7 ms S 0 kB R 0 kB ][
🔶 G 454 ms I 446 ms T 8 ms S 0 kB R 0 kB 1
🔶 G 452 ms I 442 ms T 10 ms S 0 kB R 0 kB 5
🔶 G 452 ms I 442 ms T 10 ms S 0 kB R 0 kB 4
🔶 G 449 ms I 439 ms T 10 ms S 0 kB R 0 kB ],
🔶 G 449 ms I 439 ms T 9 ms S 0 kB R 0 kB The
🔶 G 456 ms I 448 ms T 8 ms S 0 kB R 0 kB E
🔶 G 415 ms I 414 ms T 0 ms S 0 kB R 0 kB iff
🔶 G 500 ms I 494 ms T 5 ms S 0 kB R 0 kB el
🔶 G 457 ms I 448 ms T 9 ms S 0 kB R 0 kB Tower
🔶 G 457 ms I 448 ms T 8 ms S 0 kB R 0 kB is
🔶 G 470 ms I 463 ms T 7 ms S 0 kB R 0 kB one
🔶 G 419 ms I 415 ms T 0 ms S 0 kB R 0 kB of
🔶 G 417 ms I 414 ms T 0 ms S 0 kB R 0 kB the
🔶 G 457 ms I 452 ms T 5 ms S 0 kB R 0 kB most
🔶 G 458 ms I 448 ms T 9 ms S 0 kB R 0 kB icon
🔶 G 451 ms I 441 ms T 10 ms S 0 kB R 0 kB ic
🔶 G 417 ms I 416 ms T 0 ms S 0 kB R 0 kB structures
🔶 G 444 ms I 435 ms T 9 ms S 0 kB R 0 kB in
🔶 G 463 ms I 452 ms T 9 ms S 0 kB R 0 kB the
🔶 G 456 ms I 449 ms T 6 ms S 0 kB R 0 kB world
🔶 G 459 ms I 453 ms T 6 ms S 0 kB R 0 kB ,
🔶 G 461 ms I 453 ms T 7 ms S 0 kB R 0 kB being
🔶 G 457 ms I 450 ms T 6 ms S 0 kB R 0 kB a
Generated tokens: 64
Avg generation time: 441.09 ms
Avg inference time: 434.84 ms
Avg transfer time: 5.25 ms
reacted with thumbs up emoji reacted with thumbs down emoji reacted with laugh emoji reacted with hooray emoji reacted with confused emoji reacted with heart emoji reacted with rocket emoji reacted with eyes emoji
-
Distributed Llama Version: 0.3.1
Model: Llama 2 7B Q40
Switch: TP-Link LS1008G Switch
4 x Raspberry Pi 5 8GB
2 x Raspberry Pi 5 8GB
1 x Raspberry Pi 5 8GB
Beta Was this translation helpful? Give feedback.
All reactions