ChatGPT war der Hype diesen Jahres. Deshalb mal eine Frage in die Runde: Wäre es nicht schön, LLM´s für ein Smarthome zu nutzen ?
Ich denke, man braucht ein Basisprogramm, welches die LLM enthält und Kontext-bezogen Befehle senden kann. Unter Python experimentiere ich mit LLAMA 2 und Langchain um über ein Tool solche Befehle zu erstellen. Diese sollen dann über einen Webhook an IP-Symcon gesendet werden, welches dann auf diese reagiert.
Verrückt, nicht machbar, gefährlich ?
Viele Grüße
André
@Paresy: ich habe längere Zeit keine Threads mehr erstellt. Mir fehlt ein wenig die Vorschaufunktion, die ich früher anklicken konnte, um die Formatierung und eventuelle Fehler noch anpassen zu können. Beim wiederholten aufrufen/bearbeiten gibt es die jedoch noch.
jein. Ich habe es nochmal nachgestellt. Für antworten bzw. bearbeiten trifft das für mich unter Chrome auch zu. Beim Thread erstellen habe ich aber nur Vorschläge zu ähnlichen Themen rechts:
Nachtrag: Sorry, hab´s gefunden - das kann man wegklicken. Gedanke: Vielleicht kann sich das Fenster automatisch beim Wechsel in die Texteingabe schließen.
Dennoch: wie sieht die Gemeinde ein KI-gesteuertes Smarthome ?
Was würdest du denn mit dem LLM erreichen wollen? Per API habe ich schon GPT4 angebunden, also ihr meinen Objektbaum „gegeben“ und dann Befehle auswerten lassen… also sowas wie „Ich möchte alle Lampen im Erdgeschoss ausschalten, gib mir die IDs der Geräte“ z.B., sowas kann er beantworten „out-of-the-box“ .
Ich habe vor Jahren schon mal eine App gebaut die per Spracherkennung und natürlicher Sprache IPS bedienen konnte, aber ohne selber ein Hotword integrieren zu können machte es als Assistent keinen Sinn, seit dem liegt es irgendwo auf der Platte
Ja, im ersten Ansatz genau so etwas. Für mich schließe ich jedoch ein Anbinden an GPT4 aus. Es muss lokal sein. LLAMA 2 in Q4 bekommt man auf einem lokalen Rechner lauffähig (hier testweise ein LLAMA 2 70b), so dass alles im eigenen Netzwerk bleiben kann.
Anwendungen sehe ich auch in Reaktion auf bestimmte Situationen oder Erlernen von Vorlieben.
Die „Vorhersage“ habe ich schon vor 3 Jahren mal probiert, als ML aufkam, aber hab dann festgestellt, dass alles was vorhersagbar war eh in Scenen oder Scripten schon abgebildet ist. Den größten Vorteil sehe ich in „freier“ Text/aka Spracheingabe und die Übersetzung in Befehle, aber dafür müssten die Sprachassistenten also Google Alexa eine Einbindung ermöglichen, denn wenn man ehrlich ist haben sie die einzigen brauchbaren Spracherkennungen, lokal läuft alles Mist.
Du hast Recht, dennoch schaue ich mir späterhin jedoch auch mal SpeechRecognition an. Whisper scheint leider auch eine API zu OpenAI zu sein. Gesehen habe ich auch mal eine Wandlung Audio zu Spektren also Bild und dann eine Auswertung über ein trainiertes CNN.
Wie hast Du GPT4 eingebunden ? Lokal finde ich es schwierig erst einmal die richtigen Templates zu erstellen, aber vielleicht kann man da Ideen generieren.
Es ist auf jeden Fall unglaublich interessant, wenn man im Debug-Modus die „Gedanken“ liest. Als Ansatz habe ich ein paar LangChain Tools erstellt. Wie man sieht sind hier primär Fragestellungen nach aktuellen Wissen enthalten und geplant dann auch die Sichtung eigener Dokumente. Das hat letztlich nichts mit Smarthome zu tun, aber letzteres wäre eben Nebenprodukt (SendPost).
tools = [
Tool(
name='Time',
func=GetCurrentTime.run,
#func=actual_time.run,
description='useful for getting date and time'
),
#Tool(
# name="SerperSearch",
# func=serper_search.run,
# description="useful for when you need to answer questions about everything you does not know"
#),
Tool(
name="GoogleSearch",
func=google_search.run,
description="useful for when you need to answer general questions or current events. You should ask targeted questions"
),
Tool(
name="Wikipedia",
func=wikipedia.run,
description="useful when you need an answer about encyclopedic general knowledge"
),
Tool(
name='PubMed',
func=pubmed.run,
description='useful only for querying medical publications'
),
#IFTTTWebhook(
# name="Spotify",
# description="Play a song from spotify playlist",
# url=url
#),
Tool(
name='SendPost',
func=send_post_to_server.run,
description="useful only for switching devices. Input should be a json string with the keys: 'source':'AI', room, device, action."
)
]
Ich finde das Thema spannend und wundere mich, dass das hier schon ein Jahr alt ist.
Mit einem LLM könnte man endlich Star Trek Level erreichen
Das Problem bei einer lokalen Installation wird aber die GPU sein.
Die meisten werden Symcon ja auf einem pi oder ähnlich sparsamen System laufen haben.
Da ist man mit einer lokalen KI raus.
Hat man aber einen vernünftigen (Gaming) Rechner am Start, könnte man mittels Ollama doch einiges erreichen.
Llama3 ist nicht ganz so eloquent wie GPT4, aber für das vollkommen ausreichend.
Kann ich nicht die Spracheingabe von Alexa in Symcon abgreifen?
Ich möchte mich mit Symcon unterhalten, wie mit dem Star Trek Computer.
Angefangen vom Licht einschalten ohne die Rückfrage, „ich habe mehrere Geräte mit Namen Licht …“ bis hin zu Wissensfragen. Ich will mich unterhalten können, als sei es ein Mensch.
Ich beschäftige mich an mehreren Ecken mit KI Unterstützung und finde es Teilweise schon sehr ernüchternd aber auch beeindruckend, wenn es dann mal soweit ist, erhoffe ich mir schon eine Zeitersparnis.
speziell für Symcon, würde ich mir wünschen, dass eine KI direkt mit integriert wird und sich perfekt mit dem Programm auskennt und auch am eigenen System dazulernt.
was mir spontan einfällt:
selbstständige Erstellung von Scripten oder Abläufen, z.b.
„IPS“ - " schalte in der Werkstatt die Beleuchtung solange aus, bis ich mich wieder dazu melde." (simple Partyschaltung)
oder
„schalte die Außensteckdose für 3min an, wenn eine Bewegung im Eingang erkannt wird aber nur wenn ich nicht zuhause bin“
oder (höheres Level)
„schalte mir die Werkstattsteckdose, ab morgen für 3h am Tag an, wenn die Temperatur für länger als 24h unter 3grad ist, bis der Winter vorbei ist“
oder
„gib mir eine Zusammenfassung der Außentemperaturen und Gasverbrauch der letzten 2 Jahre und vergleiche diese-> Warum war der Verbrauch 2023 höher?“ (Als Antwort würde ich da z.B. erwarten: Es war 2023 kälter und die Solltemperaturen der Zimmer x/y waren höher als 2024, außerdem waren die Fenster bei niedrigen Temperaturen verhältnismäßig lange offen)
die Frage/Antworten bitte nicht auf die Goldwaage legen, war nur mal runtergeschrieben.
Aber so oder so ähnlich würde ich es mir vorstellen… ein Helferlein beim erstellen, steuern und auswerten.
alles sollte natürlich lokal ablaufen, wie z.b. die Kombination aus Ollama, Piper TTS, Whisperer
Das wäre so meine Vorstellung für die nächsten Jahre…
Falls es Absurd klingt, es aber trotzdem jemand so ähnlich am laufen hat, wäre ich für Infos der Umsetzung dankbar.
Aktuell eher noch unrealistisch. Ich bin in einigen Feldern über KI unterwegs und es ist meist nicht vollständig eingebunden und funktioniert eher ernüchternd.
Oft macht es mich wütend.
Ich bin gespannt auf Apple Intelligence & Siri i.V.m dem im März angekündigten KI-Display.
Ja, das kenne ich, vor allem wenn Ergebnisse nicht stimmen und wenn man dann mehrfach nachfragt wird das Ergebnis immer verwirrender…
In einigen Fällen wäre man dann schneller es selbst zu tun und hätte dazu kein mulmiges Gefühl ob das Ergebnis korrekt ist.
ja, die Entwicklung wird die Jahre wohl Wahnsinns Fortschritte machen… beängstigend, wenn man die aktuellen DeepFake Videos anschaut. (gleichzeitig faszinierend )
Aber zurück zum Thema.
Wenn eine KI wenigstens komplett IPS versteht und einem an jeder Ecke hilfreich zur Seite steht, dann wäre das ja schon eine große Zeitersparnis.
Aber wäre doch ideal IPS komplett wegzulassen, weil das wäre dann ja die größte Zeitersparnis. Oder nicht ?
Persönlich geht mir der AI Hype schon ziemlich auf den Keks. Kannst ja fast nicht mal mehr ein Packerl Milch kaufen ohne das du AI seitig zwangsbeglückt wirst. In der Firma sinds sowieso komplett verrückt. Projekte kriegst nur genehmigt wenn AI oder Ml draufsteht. Für was AI dann steht und was damit passiert interessiert und kapiert keine Sau, hauptsache es ist drin.
Is so wie vor ein paar Jahren wo unbedingt alles alles per Blockchain gemacht werden mußte, oder noch früher wo jede Company ein .com im Namen haben mußte.
oder Bildern.
)