Trudno dziś rozmawiać o sztucznej inteligencji (AI) bez poruszania tematu zużycia energii. Najnowsza fala dużych modeli językowych i generatorów obrazów jest pod tym względem daleka od wydajności. Istnieje nadzieja na opracowanie bardziej wydajnych algorytmów w przyszłości, ale do tego czasu Squeez Labs stworzyło projekt, który mógłby pomóc.
Zespół zbudował urządzenie o nazwie CrankGPT, które, jak można się domyślić po nazwie, obsługuje duży model językowy i jest napędzane wyłącznie korbką ręczną. Bez podłączenia korbki do silnika spalinowego nie wygeneruje wystarczającej ilości energii elektrycznej do zasilania nowoczesnego procesora graficznego. Squeez Labs udało się jednak utrzymać Raspberry Pi 5 włączonym wystarczająco długo, aby mógł się uruchomić i działać jako asystent głosowy AI, jedynie kręcąc korbką.
Korbka zamiast baterii
System zbudowano na bazie standardowego Raspberry Pi 5, wyposażonego w 8 GB pamięci RAM i wentylator chłodzący. Komputer jest połączony z mikrofonem HAT Seeed Studio ReSpeaker, który zapewnia zarówno wejście, jak i wyjście audio, umożliwiając użytkownikom interakcję z systemem wyłącznie za pomocą głosu. Prawdziwym wyzwaniem nie było jednak umożliwienie sprzętowi lokalnej obsługi modeli AI, lecz utrzymanie komputera przy życiu przy zasilaniu z generatora z korbką.
Czytaj więcej
Koszty korzystania ze sztucznej inteligencji stały się dla firm coraz większym problemem. OpenAI rozważa znaczące obniżki cen swoich usług, przygot...
Raspberry Pi obsługujący obciążenia AI jest dość wymagający. Rozpoznawanie mowy może zwiększyć pobór mocy do około 8 watów, podczas gdy jednoczesne uruchamianie modelu językowego i modułu przetwarzania tekstu na mowę może wymagać około 15 watów. Zespół odkrył, że skoki prądu podczas kręcenia korbką były wystarczające, aby uruchomić obwody zabezpieczające generatora i spowodować spadki napięcia. Aby rozwiązać ten problem, zaprojektowali niestandardową płytkę kondensatora, która działa jak tymczasowy zbiornik energii, wygładzając wahania napięcia i dostarczając wystarczającą ilość zmagazynowanej energii, aby utrzymać działanie systemu podczas krótkich przerw w rozruchu.
AI oszczędza prąd
Zamiast polegać na usługach chmurowych, każdy komponent działa lokalnie na Raspberry Pi. Ograniczona instalacja DietPi pomaga zminimalizować czas rozruchu, a oprogramowanie zostało napisane specjalnie z myślą o tym rozwiązaniu i działaniu z niskim opóźnieniem na skromnym sprzęcie. Rozpoznawaniem mowy zajmuje się Moonshine ASR, wykrywaniem aktywności głosowej zajmuje się Silero VAD, a odpowiedzi generowane są przez mniejsze modele językowe działające w llama.cpp.
Za przetwarzanie tekstu na mowę odpowiada Piper, który został wybrany, ponieważ mógł syntetyzować mowę znacznie szybciej niż konkurencyjne, lekkie rozwiązania. Odpowiedzi są przesyłane strumieniowo zdanie po zdaniu, co pozwala urządzeniu zacząć mówić, zanim zostanie wygenerowana cała odpowiedź.
CrankGPT nie rozwiąże problemów energetycznych świata, ale jeśli kiedykolwiek znajdziesz się bez prądu, nadal możesz skorzystać z pomocy sztucznej inteligencji.
